AI Research9 minit bacaan

Bolehkah OpenRE-Bench menilai sama ada AI menukar isu GitHub menjadi keperluan yang boleh digunakan?

Penanda aras sepuluh kes membolehkan pasukan membandingkan cara rangka kerja ejen menukar permintaan ciri menjadi keperluan. Contoh terperinci menunjukkan perkara yang patut dinilai sebelum kod ditulis.

K
Ken Jo

Satu isu GitHub berbunyi, “Kekalkan penapis saya apabila saya kembali.” Ejen pengekodan boleh terus melaksanakan sesuatu. Ia juga boleh memilih tafsiran yang salah. Adakah “kembali” bermaksud membuka senarai selepas melihat satu item, memuat semula pelayar, mendaftar masuk esok atau berpindah ke ruang kerja lain? Setiap jawapan menghasilkan ciri dan set ujian penerimaan yang berbeza.

OpenRE-Bench mengkaji apa yang berlaku antara penerimaan isu dengan pelaksanaannya. Pracetak yang diserahkan kepada arXiv pada 10 November 2026 memperkenalkan persekitaran ujian bersama untuk rangka kerja ejen yang menghasilkan keperluan. Set pertamanya mengandungi sepuluh kes. Lima diambil daripada permintaan ciri awam di GitHub dan lima ditulis oleh penyelidik. Penulis menyediakan tiga penyesuai contoh supaya input dan aturan pemarkahan yang sama boleh digunakan pada rangka kerja berlainan. Pracetak OpenRE-Bench

Gunakan penanda aras ini untuk mengemukakan soalan yang lebih tepat tentang keluaran ejen. Adakah dua orang yang membaca keperluan yang dicadangkan akan membina dan menguji tingkah laku yang sama? Contoh penapis di bawah menunjukkan mengapa jejak keputusan sama pentingnya dengan teks akhir, serta cara pasukan boleh menyemak aliran kerja mereka daripada isu kepada keperluan.

Pastikan keputusan jelas sebelum kod ditulis

Kejuruteraan keperluan memperjelas matlamat, kekangan dan tingkah laku yang boleh diperhatikan supaya pihak yang terlibat dapat mencapai persetujuan. Sesuatu isu boleh menerangkan masalah pengguna dengan baik sambil membiarkan beberapa keputusan pelaksanaan terbuka. Dua pihak berkepentingan mungkin bersetuju bahawa navigasi patut mengekalkan kerja pengguna, tetapi berbeza pandangan tentang sama ada tetapan harus mengikut pengguna merentas peranti. Draf awal yang berguna merekodkan perbezaan itu supaya pihak yang bertanggungjawab dapat menyelesaikannya.

Pertimbangkan satu tafsiran untuk permintaan penapis tadi. Apabila pengguna yang sudah mendaftar masuk membuka satu item dan kembali ke senarai dalam ruang kerja yang sama, senarai memulihkan nilai penapis sebelumnya. Skop itu tidak merangkumi perubahan tetapan ruang kerja lain sehingga pasukan membuat keputusan berasingan. Semakan penerimaan mempunyai keadaan awal, tindakan dan hasil yang boleh diperhatikan. Ia boleh dijalankan pada prototaip atau ciri yang telah siap.

Tafsiran kedua menyimpan penapis selepas pengguna mendaftar keluar dan pada peranti lain. Versi itu memerlukan keputusan untuk menyimpan tetapan pada peringkat akaun serta aturan bagi dua peranti yang menyimpan penapis berbeza. Isu satu baris itu tidak menentukan tingkah laku tersebut. Jika ejen menambahkannya kerana kelihatan mudah, pembaikan navigasi yang kecil boleh bertukar menjadi perubahan produk dengan kos dan implikasi privasi yang berbeza.

Bahagian permintaanDraf awal yang boleh disemakKeputusan yang masih perlu dibuat
Kembali daripada item ke senaraiPulihkan penapis yang kelihatan dalam ruang kerja yang samaSama ada kedudukan dalam senarai juga patut dipulihkan
Muat semula atau daftar masuk lagiRekodkan perkara ini sebagai keputusan terbukaBerapa lama tetapan kekal dan di mana ia disimpan
Bertukar ruang kerjaCegah penapis satu ruang kerja daripada muncul dalam ruang kerja lainSama ada setiap ruang kerja menyimpan sejarahnya sendiri
Kongsi pautan dengan penapisAnggap perkongsian pautan sebagai kes penggunaan tersendiriNilai mana yang boleh dimasukkan dalam URL yang dikongsi

Satu permintaan ciri yang kabur menjadi keperluan berskop, semakan penerimaan yang boleh diperhatikan dan senarai keputusan yang belum dibuat

Contoh langkah demi langkah untuk menyemak keperluan yang dijana sebelum pelaksanaan. Ilustrasi asal oleh Telli.sh.

Pembaca boleh menguji baris pertama tanpa huraian teknikal tentang storan. Penyemak juga boleh melihat bahawa baris lain masih menunggu keputusan. Keperluan yang berguna menyatakan tingkah laku yang dijanjikan dengan khusus dan menunjukkan perkara yang masih perlu diputuskan oleh pasukan.

Penanda aras menggunakan aturan input dan bukti yang sama

Pracetak OpenRE-Bench menghuraikan CaseInput bersama yang mengandungi nama kes, penerangan dan teks keperluan. Penyesuai menghubungkan format itu dengan setiap rangka kerja yang mengambil bahagian. Fungsinya ialah mengekalkan perkara yang diperlukan oleh persekitaran ujian untuk membuat perbandingan, sambil membenarkan setiap rangka kerja memilih cara ejennya bekerjasama. Contoh yang disertakan ialah MARE, iReDev dan QUARE. Penulis menyifatkan MARE dan iReDev sebagai pelaksanaan semula berdasarkan makalah asal. Makalah OpenRE-Bench, bahagian II

Persekitaran ujian mengumpulkan keluaran dalam empat fasa. Ia merekodkan model awal, rekod rundingan, model bersepadu dan hasil pengesahan. Setiap fasa menjawab soalan semakan yang berlainan. Apakah yang dilihat oleh ejen pada awalnya? Di manakah mereka tidak bersetuju? Pilihan manakah yang dikekalkan selepas penyepaduan? Apakah bukti yang boleh digunakan untuk menyemak hasilnya? Struktur bersama ini memudahkan penjejakan keputusan walaupun rangka kerja menggunakan nama yang berlainan untuk peranan dalaman.

Rajah 1 pracetak menunjukkan proses melombong isu, input bersama, penyesuai rangka kerja dan keluaran piawai

Rajah 1 daripada Cheng dan rakan penulis, OpenRE-Bench, 10 November 2026. Dipangkas daripada PDF penulis dan diubah saiz untuk paparan. Rajah asal · CC BY 4.0.

Dalam contoh penapis, keluaran fasa 1 mungkin mencadangkan “kekalkan senarai semasa apabila kembali” dan “ingat tetapan merentas peranti”. Rekod fasa 2 boleh menandakan kedua-duanya sebagai pilihan skop. Artifak bersepadu boleh mengekalkan pilihan pertama dan membiarkan yang kedua terbuka. Pengesahan akhir kemudian memeriksa tingkah laku yang dikekalkan. Semakan keempat-empat fasa membantu membezakan keputusan skop yang disengajakan daripada keciciran yang tidak disengajakan.

Bagi sesiapa yang membandingkan rangka kerja ejen, penyesuai juga memudahkan penjelasan tentang had perbandingan. Sistem dengan perwakilan dalaman yang terperinci mungkin kehilangan sebahagian perincian apabila mengeksport ke skema bersama. Simpan artifak asal jika ia membantu menjelaskan hasil. Keluaran piawai memberikan asas perbandingan yang konsisten, manakala artifak asal boleh menerangkan sebab prestasi sesebuah rangka kerja berbeza.

Sepuluh kes ini lebih banyak menguji proses daripada meliputi seluruh bidang

Cheng dan rakan penulis melaporkan bahawa mereka bermula dengan 3,000 isu daripada lima projek yang meliputi Python, TypeScript dan Java. Selepas penapisan, 1,396 isu kekal. Daripada kumpulan itu, 18 isu digunakan dalam lima kes yang dilombong dan digabungkan dengan lima kes binaan penyelidik untuk membentuk set v1.0. Saiz kumpulan asal berbeza daripada bilangan kes yang dinilai. Satu larian pada set yang disertakan menggunakan sepuluh kes walaupun proses di peringkat awal bermula dengan ribuan rekod isu. Makalah OpenRE-Bench, jadual I

Proses itu sendiri ialah sebahagian daripada sumbangan penanda aras. Urutan kutipan dan penapisan yang direkodkan menunjukkan bagaimana isu projek sebenar menjadi kes ujian. Ini membantu apabila anda mahu membandingkan larian baharu dengan keputusan terbitan. Penyemak juga dapat melihat jenis permintaan yang cenderung dipilih, termasuk kesan label, komen, tempoh pengumpulan dan tapisan lain.

Pilihan tersebut membentuk masalah yang diwakili oleh penanda aras. Repositori awam sering membincangkan skop ciri secara terbuka. Pasukan yang merancang perubahan kebenaran dalaman mungkin membincangkan kebanyakan skopnya dalam panggilan pelanggan atau semakan reka bentuk tertutup. Model yang berjaya pada kes awam mungkin masih memerlukan ujian khusus bidang. Tambah kes dengan konteks yang tidak lengkap, keperluan yang berselerak dalam beberapa dokumen atau komen yang bercanggah jika keadaan itu biasa dalam senarai kerja anda.

Lima kes tulisan tangan memberi set ujian jenis titik mula yang berlainan. Kes yang dibina boleh mengasingkan satu kekaburan tertentu. Kes hasil lombongan pula boleh mengekalkan cara permintaan tiba secara semula jadi. Laporkan keputusan bagi setiap kumpulan. Rangka kerja yang bertambah baik pada kes yang jelas, tetapi kehilangan jejak keputusan dalam perbincangan sebenar, mungkin memerlukan arahan atau bukti sokongan yang berlainan sebelum digunakan untuk menyaring isu.

Kes hasil lombongan dan tulisan tangan melalui aturan penyesuai yang sama dan menghasilkan artifak yang boleh dibandingkan, sementara penyemak memeriksa keperluan yang tertinggal

Pemarkahan bersama memberi penyemak asas perbandingan yang stabil serta ruang untuk menambah semakan bagi kerja mereka sendiri. Ilustrasi asal oleh Telli.sh.

Skor kebolehsahan perlu disertakan dengan semakan sumber

Makalah itu menerangkan skor kebolehsahan struktur antara 1 hingga 5 yang boleh dihasilkan semula, berdasarkan petunjuk pematuhan berkaitan ISO/IEC/IEEE 29148. Penulis turut melaporkan bilangan unsur, pengekalan makna antara keluaran awal dan bersepadu dalam larian yang sama, serta masa berlalu. Bersama-sama, ukuran ini menunjukkan sama ada sistem menghasilkan artifak berstruktur dengan konsisten dan mengekalkan idea sepanjang proses. Ukuran itu tidak dapat menentukan sama ada andaian perniagaan betul jika semua fasa mewarisinya. Makalah OpenRE-Bench, metrik

Sebagai contoh, andaikan model pertama mentafsirkan “kembali” sebagai “daftar masuk minggu depan”. Jika tafsiran itu muncul semula dalam keluaran bersepadu, metrik pengekalan makna mungkin menunjukkan konsistensi antara fasa. Seseorang yang membaca isu itu masih boleh menandakan tafsiran tersebut sebagai tidak berasas. Metrik dan semakan menjawab soalan yang berlainan. Kedua-duanya berguna apabila skopnya jelas.

Simpan satu set rujukan kecil untuk menyemak dakwaan tentang sumber. Bagi setiap isu, kenal pasti ayat yang menyokong keperluan secara langsung dan pilihan yang dibiarkan terbuka. Minta penyemak menandakan kekangan yang tertinggal, andaian munasabah yang dikemukakan sebagai fakta dan percanggahan antara ujian cadangan dengan isu asal. Senarai semak dengan lima soalan khusus boleh memberi lebih banyak maklumat tentang pelaksanaan anda daripada satu purata merentas banyak kes dengan skop berbeza.

Ambil satu lagi contoh daripada ciri eksport rekaan. Isu meminta supaya laporan kekal boleh dibaca dalam hamparan apabila format tarikh mengikut wilayah berubah. Satu draf menyenaraikan pelaku, sumber data, urutan dan rekod pengesahan. Arahan pengesahannya ialah “Pastikan tarikh dieksport dengan betul.” Draf lain menyatakan, “Selepas memilih tetapan wilayah dengan hari di hadapan dan mengeksport baris bertarikh 4 Mac 2026, sahkan bahawa hamparan masih menyimpan 4 Mac 2026 apabila dibuka semula dengan tetapan bulan di hadapan.” Ayat kedua mudah dijadikan ujian. Draf pertama lebih lengkap dari segi unsur formal, tetapi bahasanya membenarkan dua pembaca memilih hasil betul yang berlainan.

Di sini proses semakan sendiri boleh diuji. Minta dua penyemak menulis persediaan ujian minimum yang diperlukan untuk cadangan yang sama. Jika seorang memilih tarikh yang boleh ditafsirkan dalam dua cara dan seorang lagi memilih hari ke-28, data ujian mereka mungkin mendedahkan masalah berlainan. Semakan penerimaan yang baik menyatakan data yang boleh menampakkan ralat. Ejen boleh membantu menyediakan semakan itu jika ia mengetahui sebab isu asal penting.

Kos dan masa memerlukan perhatian yang sama. Sesetengah rangka kerja membuat lebih banyak panggilan ketika mendamaikan pandangan yang bercanggah. Aliran kerja yang lebih perlahan boleh berbaloi jika ia mendedahkan konflik yang kerap terlepas daripada pasukan anda. Jika ia membuat keputusan yang sama seperti kaedah rujukan yang lebih ringkas sambil menambah artifak perantaraan yang panjang, perbezaan itu wajar masuk dalam perbandingan kos. Jalankan kaedah rujukan dan rangka kerja pada kes yang sama sebelum memutuskan bahawa langkah tambahan berbaloi.

Buat perbandingan kecil pada keperluan yang anda boleh nilai

  1. Mulakan dengan artifak versi tetap daripada makalah dan ujian asas luar talian. Penulis mendokumenkan tetapan single_agent yang tidak memerlukan kunci API. Gunakannya untuk memeriksa persekitaran larian dan lokasi artifak sebelum membayar untuk perbandingan yang menggunakan model. Arahan artifak OpenRE-Bench
  2. Pilih beberapa isu awam atau yang diluluskan. Sertakan satu permintaan mudah, satu dengan komen yang bercanggah dan satu yang membiarkan keputusan dasar terbuka. Tulis tingkah laku yang dijangka dan soalan terbuka sebelum melihat keluaran ejen.
  3. Jalankan setiap calon dengan input yang sama dan rekodkan versi rangka kerja, konfigurasi model dan tetapan larian. Simpan artifak perantaraan. Gunakan kriteria sama untuk keperluan yang tertinggal atau andaian yang tidak disokong.
  4. Bandingkan keluaran pada peringkat keputusan. Tanyakan perkara yang boleh disahkan melalui pemerhatian produk dan teks isu yang menyokongnya. Rekodkan sama ada seseorang perlu memperjelas skop sebelum kod ditulis.
  5. Gunakan keputusan untuk memilih peranan yang sesuai bagi ejen. Sesetengah permintaan sudah sedia untuk draf ujian penerimaan. Yang lain memerlukan senarai soalan untuk pengarang isu. Pastikan kedua-dua keluaran itu dapat dilihat dalam aliran kerja.

Langkah susulan yang berguna ialah membawa satu keperluan ke mesyuarat semakan sebenar. Bandingkan draf ejen dengan perkara yang akhirnya dipersetujui untuk dikeluarkan. Jika penyemak berulang kali menulis semula dakwaan dalam kategori yang sama, tambah satu ujian untuk kategori itu. Keperluan dengan hasil jangkaan yang tepat dan sumber yang boleh dijejaki berguna walaupun bahagian lain dokumen masih perlu disunting.

OpenRE-Bench memudahkan perbandingan sebelum kod diubah buat kali pertama. Perkara yang patut dinilai ialah sama ada orang seterusnya boleh melihat tingkah laku yang dipersetujui oleh pasukan, sumber buktinya dan keputusan yang masih belum dibuat.

Sumber


Untuk menyimpan keputusan di sebalik permintaan ciri dan semakan supaya mudah dicari, cipta akaun Telli.sh.


← Kembali ke blog