Bisakah OpenRE-Bench menilai apakah AI mengubah isu GitHub menjadi persyaratan yang bisa dipakai?
Tolok ukur dengan sepuluh kasus ini membandingkan bagaimana kerangka kerja agen mengubah permintaan fitur menjadi persyaratan. Sebuah contoh menunjukkan apa yang perlu dinilai sebelum kode ditulis.
Sebuah isu di GitHub berbunyi, “Pertahankan filter saya ketika saya kembali.” Agen pemrograman bisa langsung mengimplementasikannya, tetapi bisa juga memilih tafsir yang salah. Apakah “kembali” berarti membuka daftar setelah melihat sebuah item, memuat ulang halaman, masuk lagi besok, atau pindah ke ruang kerja lain? Setiap jawaban menghasilkan fitur dan serangkaian uji penerimaan yang berbeda.
OpenRE-Bench mengkaji apa yang terjadi antara sebuah isu dan implementasinya. Pracetak yang diajukan ke arXiv pada 10 November 2026 memperkenalkan sistem pengujian bersama untuk kerangka kerja agen yang menghasilkan persyaratan. Rangkaian pertamanya berisi sepuluh kasus. Lima berasal dari permintaan fitur publik di GitHub dan lima ditulis oleh para peneliti. Penulis menyediakan tiga contoh adaptor agar masukan dan aturan penilaian yang sama dapat diterapkan ke kerangka kerja yang berbeda. Pracetak OpenRE-Bench
Tolok ukur ini membantu mengajukan pertanyaan yang lebih tajam tentang keluaran agen. Apakah dua orang yang membaca usulan persyaratan akan membangun dan menguji perilaku yang sama? Contoh filter di bawah menunjukkan mengapa jejak keputusan sama pentingnya dengan naskah akhir dan bagaimana tim dapat memeriksa alurnya sendiri dari isu hingga persyaratan.
Buat keputusan terlihat sebelum kode ditulis
Rekayasa persyaratan memperjelas tujuan, batasan, dan perilaku yang dapat diamati sehingga semua pihak bisa menyepakatinya. Sebuah isu dapat menggambarkan masalah pengguna dengan baik sambil membiarkan beberapa keputusan implementasi terbuka. Dua pemangku kepentingan bisa sepakat bahwa berpindah halaman perlu mempertahankan pekerjaan pengguna, tetapi berbeda pendapat soal apakah preferensi harus berlaku lintas perangkat. Draf awal yang berguna mencatat perbedaan tersebut agar pihak yang berwenang dapat menyelesaikannya.
Berikut satu kemungkinan tafsir untuk permintaan filter tadi. Ketika pengguna yang sudah masuk membuka suatu item lalu kembali ke daftar dalam ruang kerja yang sama, daftar memulihkan nilai filter sebelumnya. Perubahan preferensi di ruang kerja lain berada di luar cakupan hingga tim mengambil keputusan tersendiri. Uji penerimaannya punya keadaan awal, tindakan, dan hasil yang dapat diamati. Uji ini bisa dijalankan pada prototipe maupun fitur yang sudah selesai.
Tafsir kedua menyimpan filter setelah pengguna keluar dari akun dan saat memakai perangkat lain. Versi ini memerlukan keputusan tentang penyimpanan di tingkat akun dan aturan jika dua perangkat punya filter tersimpan yang berbeda. Isu satu baris tadi membiarkan perilaku ini terbuka. Jika agen menambahkannya karena terasa praktis, perbaikan navigasi kecil dapat berubah menjadi perubahan produk dengan biaya dan dampak privasi berbeda.
| Bagian permintaan | Draf awal yang dapat ditinjau | Keputusan yang masih diperlukan |
|---|---|---|
| Kembali dari item ke daftar | Pulihkan filter yang terlihat di ruang kerja yang sama | Apakah posisi dalam daftar juga dipulihkan |
| Muat ulang atau masuk lagi | Catat sebagai keputusan terbuka | Berapa lama preferensi bertahan dan di mana disimpan |
| Pindah ruang kerja | Cegah filter satu ruang kerja muncul di ruang kerja lain | Apakah tiap ruang kerja menyimpan riwayat sendiri |
| Bagikan tautan dengan filter | Perlakukan berbagi tautan sebagai kasus penggunaan terpisah | Nilai apa yang bisa disertakan di URL bersama |
Contoh untuk meninjau persyaratan hasil agen sebelum implementasi. Ilustrasi asli oleh Telli.sh.
Pembaca dapat menguji baris pertama tanpa perlu memahami detail lapisan penyimpanan. Peninjau juga bisa melihat baris mana yang masih menunggu keputusan. Persyaratan yang berguna menyebutkan dengan tepat perilaku yang dijanjikan dan mempertahankan pertanyaan yang masih perlu dijawab oleh tim.
Tolok ukur memakai format masukan dan bukti yang sama
Pracetak OpenRE-Bench menjelaskan format bersama CaseInput yang berisi nama kasus, deskripsi, dan teks persyaratan. Adaptor menerjemahkan antara format ini dan setiap kerangka kerja peserta. Tugasnya menjaga data yang diperlukan untuk perbandingan sembari membiarkan tiap kerangka kerja menentukan cara agen-agennya berkolaborasi. Contoh yang disertakan adalah MARE, iReDev, dan QUARE. Penulis menjelaskan bahwa MARE dan iReDev merupakan implementasi ulang berdasarkan makalah aslinya. Makalah OpenRE-Bench, bagian II
Sistem pengujian mengumpulkan keluaran dari empat tahap. Sistem mencatat model awal, catatan negosiasi, model terpadu, dan keluaran verifikasi. Setiap tahap menjawab pertanyaan peninjauan yang berbeda. Apa yang dilihat para agen pada awalnya? Di mana mereka berbeda pendapat? Pilihan apa yang tetap ada setelah integrasi? Bukti apa yang tersedia untuk memeriksa hasil? Struktur ini memudahkan orang mengikuti suatu keputusan meskipun kerangka kerja memakai nama peran internal yang berbeda.

Gambar 1 dari Cheng dkk., OpenRE-Bench, 10 November 2026. Dipotong dari PDF penulis dan diubah ukurannya untuk ditampilkan. Gambar asli · CC BY 4.0.
Dalam contoh filter, keluaran Tahap 1 dapat mengusulkan “pertahankan daftar saat ini ketika kembali” dan “ingat preferensi lintas perangkat”. Catatan Tahap 2 bisa menandai keduanya sebagai cakupan yang berbeda. Artefak terpadu dapat mempertahankan yang pertama dan membiarkan yang kedua terbuka. Verifikasi akhir kemudian memeriksa perilaku yang dipertahankan. Peninjauan atas empat tahap membantu membedakan keputusan cakupan yang disengaja dan kelalaian.
Bagi orang yang membandingkan kerangka kerja agen, adaptor juga membantu menjelaskan batas perbandingan. Sebagian nuansa representasi internal yang kaya bisa hilang saat sistem mengekspornya ke skema bersama. Simpan artefak asli apabila membantu menjelaskan hasil. Keluaran standar memberi dasar perbandingan yang konsisten, sedangkan artefak asli dapat menunjukkan di mana suatu kerangka kerja bertindak berbeda.
Sepuluh kasus lebih banyak menguji alur kerja daripada mencakup seluruh bidang
Cheng dan rekan penulis melaporkan bahwa mereka memulai dengan 3.000 isu dari lima proyek yang mencakup Python, TypeScript, dan Java. Penyaringan menyisakan 1.396 isu. Dari kumpulan ini, 18 isu membentuk lima kasus hasil penambangan, yang kemudian digabung dengan lima kasus buatan peneliti dalam rangkaian v1.0. Ukuran kumpulan awal dan jumlah kasus evaluasi adalah dua angka berbeda. Pengujian dengan rangkaian bawaan menjalankan sepuluh kasus, walaupun alur awalnya menggunakan ribuan catatan isu. Makalah OpenRE-Bench, tabel I
Proses itu sendiri merupakan bagian dari kontribusi tolok ukur ini. Urutan pengambilan dan penyaringan yang tercatat menunjukkan bagaimana isu proyek sungguhan berubah menjadi kasus uji. Catatan tersebut membantu membandingkan pengujian baru dengan hasil yang sudah dipublikasikan. Peninjau juga dapat melihat jenis permintaan yang cenderung masuk ke korpus, termasuk pengaruh label, komentar, periode pengumpulan, dan penyaring lain.
Pilihan itu membentuk jenis masalah yang diwakili oleh tolok ukur. Repositori publik sering membahas cakupan fitur di tempat yang bisa dibaca siapa saja. Tim yang merencanakan perubahan izin internal mungkin membahas banyak bagian dalam percakapan dengan pelanggan atau tinjauan desain tertutup. Model yang berhasil pada kasus publik mungkin masih memerlukan uji khusus untuk konteks itu. Tambahkan kasus dengan konteks kurang lengkap, persyaratan yang tersebar di beberapa dokumen, atau komentar yang saling bertentangan jika sering muncul di antrean kerja Anda.
Lima kasus buatan peneliti memberi rangkaian uji titik awal yang berbeda. Kasus yang disusun sengaja memudahkan pengujian ambiguitas tertentu, sedangkan kasus hasil penambangan mempertahankan cara permintaan biasanya muncul. Laporkan hasil masing-masing kelompok. Jika kerangka kerja membaik pada kasus yang rapi tetapi kehilangan jejak keputusan dalam percakapan publik, kerangka kerja itu mungkin perlu instruksi atau bukti pendukung berbeda sebelum dipakai untuk memilah isu.
Penilaian bersama memberi dasar perbandingan yang tetap dan tempat bagi peninjau untuk menambahkan pemeriksaan sesuai pekerjaan mereka. Ilustrasi asli oleh Telli.sh.
Periksa sumber bersama skor keterverifikasian
Makalah menjelaskan skor keterverifikasian struktural 1–5 yang dapat direproduksi berdasarkan tanda kepatuhan yang terkait dengan ISO/IEC/IEEE 29148. Makalah ini juga melaporkan jumlah elemen, seberapa baik makna dipertahankan antara keluaran awal dan terpadu dalam satu pengujian, serta waktu yang dibutuhkan. Secara bersama, ukuran ini dapat menunjukkan apakah sistem konsisten menghasilkan artefak terstruktur dan mempertahankan gagasan sepanjang alur kerja. Ketepatan asumsi bisnis yang diwarisi oleh semua tahap tetap memerlukan pemeriksaan tersendiri. Makalah OpenRE-Bench, metrik
Misalkan model awal menafsirkan “kembali” sebagai “masuk lagi minggu depan”. Jika tafsir yang sama muncul dalam keluaran terpadu, metrik pelestarian makna bisa mencerminkan konsistensi antartahap. Namun, orang yang membaca isu itu tetap dapat menandai tafsir tersebut sebagai asumsi tanpa dasar. Metrik dan peninjauan menjawab pertanyaan yang berbeda. Keduanya berguna jika cakupannya jelas.
Siapkan sekumpulan kecil jawaban acuan untuk klaim tentang sumber. Untuk setiap isu, tandai kalimat yang mendukung persyaratan secara langsung dan keputusan yang masih dibuka oleh sumber. Minta peninjau menandai batasan yang hilang, dugaan yang terdengar masuk akal tetapi disajikan sebagai fakta, dan pertentangan antara usulan uji dan isu. Daftar periksa dengan lima pertanyaan spesifik bisa mengungkap lebih banyak tentang penerapan Anda daripada satu nilai rata-rata dari berbagai kasus.
Ambil contoh lain dari fitur ekspor hipotetis. Sebuah isu meminta agar laporan tetap terbaca di spreadsheet setelah format tanggal regional berubah. Satu draf mendefinisikan aktor, sumber data, urutan tindakan, dan catatan verifikasi. Verifikasinya berbunyi “Pastikan tanggal diekspor dengan benar.” Draf lain hanya berbunyi “Setelah memilih lokal dengan hari di depan dan mengekspor baris bertanggal 4 Maret 2026, pastikan spreadsheet hasil ekspor masih menyimpan tanggal sebagai 4 Maret 2026 saat dibuka kembali dengan lokal yang menempatkan bulan di depan.” Kalimat kedua mudah dijadikan uji. Draf pertama lebih kaya unsur formal, tetapi rumusan verifikasinya memungkinkan dua pembaca berbeda pendapat tentang hasil yang benar.
Cara lain untuk memeriksa peninjauan itu sendiri adalah meminta dua peninjau menyusun data uji minimum untuk usulan pengujian yang sama. Jika satu memilih tanggal ambigu dan yang lain memilih tanggal 28, data mereka mungkin mengungkap jenis masalah yang berbeda. Uji penerimaan yang baik menyebutkan data yang bisa memperlihatkan kesalahan. Agen dapat membantu menyusunnya apabila memahami mengapa isu awal itu penting.
Biaya dan waktu juga perlu diperiksa. Beberapa kerangka kerja membuat lebih banyak panggilan model ketika menyelaraskan berbagai pandangan. Alur yang lebih lambat bisa sepadan jika mengungkap konflik yang sering luput dari tim. Jika keputusannya sama dengan metode pembanding yang lebih sederhana, sementara artefak antaranya lebih panjang, catat selisihnya dalam perbandingan biaya. Jalankan metode pembanding dan kerangka kerja pada kasus yang sama sebelum memutuskan apakah langkah tambahan layak dilakukan.
Bandingkan beberapa persyaratan yang bisa Anda nilai
- Mulai dengan artefak berversi dari makalah dan lakukan uji dasar secara luring. Penulis mendokumentasikan pengaturan
single_agentyang tidak memerlukan kunci API. Gunakan untuk memeriksa lingkungan eksekusi dan jalur artefak sebelum membayar perbandingan yang memakai model. Petunjuk artefak OpenRE-Bench - Pilih sedikit isu yang publik atau yang Anda berwenang gunakan. Sertakan satu permintaan sederhana, satu dengan komentar yang bertentangan, dan satu dengan keputusan kebijakan yang masih terbuka. Tulis perilaku yang diharapkan dan pertanyaan yang tersisa sebelum melihat keluaran agen.
- Jalankan tiap kandidat dengan masukan yang sama, lalu catat versi kerangka kerja, konfigurasi model, dan pengaturan eksekusi. Simpan artefak antara. Terapkan kriteria yang sama untuk menentukan persyaratan yang hilang atau asumsi tanpa dasar.
- Bandingkan keluaran pada tingkat keputusan. Tanyakan apa yang dapat diverifikasi dengan mengamati produk dan bagian mana dari teks isu yang mendukungnya. Catat apakah ada isu yang memerlukan klarifikasi manusia sebelum kode ditulis.
- Pakai hasilnya untuk memilih peran agen. Beberapa permintaan siap dibuatkan draf uji penerimaan. Permintaan lainnya lebih terbantu oleh daftar pertanyaan bagi penulis isu. Tampilkan kedua jenis keluaran secara jelas dalam alur kerja.
Langkah lanjutan yang berguna adalah membawa satu persyaratan ke rapat peninjauan sungguhan. Bandingkan draf agen dengan hasil yang akhirnya disepakati untuk dirilis oleh tim. Jika peninjau terus menulis ulang jenis klaim yang sama, buat pengujian untuk bagian itu. Persyaratan dengan hasil yang tepat dan sumber yang dapat ditelusuri sudah berguna meskipun bagian lain dari dokumen masih harus diedit.
OpenRE-Bench memungkinkan perbandingan sebelum kode pertama diubah. Ukur apakah orang berikutnya dapat melihat perilaku yang disepakati, sumber buktinya, dan keputusan yang masih perlu diambil oleh seseorang.
Sumber
- Cheng dkk., pracetak OpenRE-Bench, 10 November 2026
- Makalah lengkap dengan metode, data, dan Gambar 1 asli
- Artefak berversi yang disediakan penulis
- Creative Commons Atribusi 4.0 Internasional
Agar keputusan di balik permintaan fitur dan peninjauan tetap mudah dicari, buat akun Telli.sh.