OpenRE-Bench có biết AI đã biến một issue GitHub thành yêu cầu dùng được không?
Bộ đánh giá mười tình huống cho phép so cách các hệ thống tác nhân chuyển đề xuất tính năng thành yêu cầu. Một ví dụ cho thấy cần chấm gì trước khi viết mã.
Một issue GitHub ghi “Giữ bộ lọc của tôi khi quay lại”. Tác nhân lập trình có thể làm ngay và chọn sai cách hiểu. “Quay lại” có nghĩa là mở lại danh sách sau khi xem một mục, tải lại trình duyệt, đăng nhập ngày mai hay chuyển sang không gian làm việc khác? Mỗi đáp án tạo ra tính năng và bộ kiểm thử nghiệm thu khác nhau.
OpenRE-Bench xem xét khoảng giữa issue và khâu triển khai. Bản thảo gửi lên arXiv ngày 10 tháng 11 năm 2026 trình bày môi trường kiểm thử chung cho hệ thống tác nhân tạo yêu cầu. Bộ đầu tiên có mười ca, năm lấy từ đề xuất tính năng công khai trên GitHub và năm do nhóm nghiên cứu viết. Các tác giả cung cấp ba bộ điều hợp ví dụ để áp dụng cùng đầu vào và quy tắc chấm cho các hệ thống khác nhau. Bản thảo OpenRE-Bench
Bộ đánh giá giúp đặt câu hỏi chính xác hơn về đầu ra tác nhân. Hai người đọc yêu cầu đề xuất có xây và kiểm tra cùng một hành vi không? Ví dụ bộ lọc bên dưới cho thấy vì sao dấu vết quyết định quan trọng cùng với văn bản cuối, và cách nhóm kiểm tra quy trình từ issue thành yêu cầu của mình.
Giữ quyết định rõ ràng trước khi có mã
Kỹ nghệ yêu cầu làm rõ mục tiêu, giới hạn và hành vi quan sát được để mọi người thống nhất. Issue tốt có thể giải thích rõ vấn đề của người dùng và vẫn để ngỏ vài quyết định. Hai bên có thể đồng ý rằng chuyển màn hình nên giữ công việc, nhưng chưa thống nhất tùy chọn có đi theo người dùng qua các thiết bị không. Bản nháp hữu ích ghi lại khác biệt để người chịu trách nhiệm giải quyết.
Đây là một cách hiểu để minh họa. Khi người dùng đã đăng nhập mở một mục rồi quay về danh sách trong cùng không gian làm việc, danh sách khôi phục giá trị bộ lọc trước đó. Thay đổi tùy chọn ở không gian khác nằm ngoài phạm vi cho đến khi có quyết định riêng. Bài kiểm tra nghiệm thu có trạng thái đầu, hành động và kết quả quan sát được. Có thể chạy trên nguyên mẫu hoặc tính năng hoàn chỉnh.
Cách hiểu thứ hai lưu bộ lọc sau khi đăng xuất và trên thiết bị khác. Phiên bản này cần quyết định lưu ở cấp tài khoản và quy tắc khi hai thiết bị lưu bộ lọc khác nhau. Issue một dòng chưa nêu các hành vi đó. Nếu tự thêm vì thấy tiện, tác nhân có thể biến sửa đổi điều hướng nhỏ thành thay đổi sản phẩm có chi phí và ảnh hưởng riêng tư khác.
| Phần yêu cầu | Bản nháp đầu có thể duyệt | Điều còn phải quyết định |
|---|---|---|
| Từ một mục trở về danh sách | Khôi phục bộ lọc đang thấy trong cùng không gian | Có khôi phục cả vị trí trong danh sách không |
| Tải lại hoặc đăng nhập lại | Ghi là quyết định còn bỏ ngỏ | Tùy chọn tồn tại bao lâu và được lưu ở đâu |
| Đổi không gian làm việc | Không để bộ lọc của nơi này xuất hiện ở nơi khác | Mỗi nơi có giữ lịch sử riêng không |
| Chia sẻ liên kết đã lọc | Xem chia sẻ là trường hợp sử dụng riêng | Giá trị nào được đưa vào URL chia sẻ |
Ví dụ rà soát yêu cầu do AI tạo trước khi triển khai. Minh họa do Telli.sh thực hiện.
Người đọc có thể thử hàng đầu mà không cần giải thích tầng lưu trữ. Người duyệt cũng thấy các hàng còn lại cần quyết định. Yêu cầu hữu ích nói cụ thể hành vi cam kết và chỉ rõ câu hỏi nào vẫn thuộc về nhóm.
Bộ đánh giá giữ chung quy tắc đầu vào và bằng chứng
Bản thảo OpenRE-Bench mô tả CaseInput chung chứa tên, mô tả và văn bản yêu cầu. Bộ điều hợp chuyển giữa hợp đồng này và từng hệ thống tham gia. Nó giữ dữ liệu cần để so sánh, đồng thời để mỗi hệ thống tự quyết định cách các tác nhân cộng tác. Ví dụ đi kèm gồm MARE, iReDev và QUARE. Các tác giả nói MARE và iReDev là bản triển khai lại dựa trên bài báo gốc. Bài OpenRE-Bench, mục II
Môi trường thu đầu ra ở bốn giai đoạn. Nó ghi các mô hình ban đầu, hồ sơ thương lượng, mô hình tích hợp và kết quả xác minh. Mỗi giai đoạn trả lời một câu hỏi khác. Tác nhân thấy gì lúc đầu? Họ không đồng ý ở đâu? Lựa chọn nào còn lại sau tích hợp? Có bằng chứng nào để kiểm tra kết quả? Cấu trúc chung giúp lần theo quyết định dù mỗi hệ thống gọi vai trò nội bộ theo cách khác.

Hình 1 từ OpenRE-Bench của Cheng và cộng sự, ngày 10 tháng 11 năm 2026. Đã cắt từ PDF của tác giả và đổi kích thước hiển thị. Hình gốc · CC BY 4.0.
Trong ví dụ bộ lọc, đầu ra giai đoạn một có thể đề xuất cả “giữ danh sách hiện tại khi quay lại” và “nhớ tùy chọn qua các thiết bị”. Giai đoạn hai có thể đánh dấu hai phạm vi. Tài liệu tích hợp có thể giữ cách đầu và để ngỏ cách hai. Khâu xác minh cuối sẽ kiểm tra hành vi được giữ. Duyệt cả bốn giai đoạn giúp phân biệt quyết định về phạm vi với bỏ sót vô tình.
Bộ điều hợp cũng giúp nêu giới hạn khi so các hệ thống tác nhân. Hệ thống có biểu diễn nội bộ phức tạp có thể mất sắc thái lúc xuất sang lược đồ chung. Giữ tài liệu gốc của hệ thống nếu giúp giải thích kết quả. Đầu ra chuẩn hóa tạo cơ sở so sánh nhất quán, còn tài liệu gốc cho thấy hệ thống khác ở đâu.
Mười ca kiểm tra quy trình rõ hơn mức bao quát lĩnh vực
Cheng và cộng sự bắt đầu từ 3.000 issue thu thập ở năm dự án dùng Python, TypeScript và Java. Bộ lọc giữ lại 1.396 issue. Từ đó, 18 issue tạo thành năm ca khai thác, rồi gộp với năm ca viết tay trong bộ v1.0. Kho đầu vào và số ca đánh giá là hai đại lượng khác nhau. Lượt chạy trên bộ kèm theo dùng mười ca dù quy trình ban đầu lấy hàng nghìn issue. Bài OpenRE-Bench, bảng I
Quy trình chọn ca là một phần đóng góp của bộ đánh giá. Hồ sơ lấy và lọc cho biết một issue thực tế thành ca thử thế nào. Nó giúp so lượt mới với kết quả đã công bố. Người duyệt cũng thấy loại yêu cầu mà kho thường chọn, gồm tác động của nhãn, bình luận, thời kỳ tổng hợp và các bộ lọc khác.
Những lựa chọn đó định hình vấn đề được đại diện. Kho công khai thường thảo luận phạm vi tính năng ở nơi ai cũng đọc được. Nhóm đổi quyền nội bộ có thể thương lượng nhiều trong cuộc gọi khách hàng hoặc buổi duyệt thiết kế riêng. Mô hình làm tốt ca công khai vẫn có thể cần bài thử theo lĩnh vực. Hãy thêm tình huống thiếu ngữ cảnh, yêu cầu rải ở nhiều tài liệu hoặc bình luận mâu thuẫn nếu chúng thường gặp trong danh sách việc.
Năm ca viết tay cho bộ đánh giá một xuất phát điểm khác. Ca dựng sẵn giúp cô lập một điểm mơ hồ, còn ca khai thác giữ được cách đề xuất đến một cách tự nhiên. Báo kết quả từng nhóm. Một hệ thống cải thiện trên ca rõ nhưng bỏ sót quyết định trong chuỗi issue có thể cần lời nhắc hoặc bằng chứng khác trước khi dùng để phân loại yêu cầu.
Lượt chấm chung cho người duyệt phép so sánh ổn định và chỗ bổ sung các kiểm tra của riêng họ. Minh họa do Telli.sh thực hiện.
Điểm khả năng xác minh cần có kiểm tra nguồn đi kèm
Bài nghiên cứu mô tả điểm khả năng xác minh cấu trúc có thể tái lập từ 1 đến 5, dựa vào dấu hiệu tuân thủ liên quan đến ISO/IEC/IEEE 29148. Bài còn báo số thành phần, mức giữ nguyên ngữ nghĩa giữa đầu ra ban đầu và đầu ra tích hợp của cùng lượt, cùng thời gian. Những thước đo này cho biết hệ thống có thường xuyên tạo đầu ra có cấu trúc và giữ ý qua các bước không. Chúng không quyết định được một giả định kinh doanh có đúng nếu mọi giai đoạn đều kế thừa nó. Bài OpenRE-Bench, chỉ số
Giả sử mô hình đầu tiên hiểu “quay lại” là “đăng nhập tuần sau”. Nếu cách hiểu đó xuất hiện trong đầu ra tích hợp, chỉ số giữ ngữ nghĩa có thể cho thấy các giai đoạn nhất quán. Người đọc issue vẫn có thể đánh dấu cách hiểu đó thiếu căn cứ. Chỉ số và lượt duyệt trả lời hai câu hỏi khác nhau. Cả hai đều có ích khi phạm vi rõ ràng.
Giữ một bộ chuẩn nhỏ cho các nhận định dựa vào nguồn. Với mỗi issue, chỉ rõ câu nào trực tiếp hỗ trợ yêu cầu và lựa chọn nào nguồn còn để ngỏ. Yêu cầu người duyệt đánh dấu giới hạn bị bỏ, giả định hợp lý nhưng bị trình bày như sự thật, và mâu thuẫn giữa bài thử đề xuất với issue. Danh sách năm câu hỏi cụ thể có thể cho biết về triển khai nhiều hơn trung bình của nhiều ca khác phạm vi.
Xét một tính năng xuất giả định. Issue yêu cầu báo cáo vẫn đọc được trong bảng tính sau khi thay đổi định dạng ngày theo vùng. Một bản nháp xác định người thao tác, dữ liệu, chuỗi bước và hồ sơ xác minh. Bước xác minh chỉ ghi “Xác nhận ngày được xuất đúng”. Bản khác ghi “Chọn thiết lập vùng dùng ngày trước tháng và xuất một hàng đề ngày 4 tháng 3 năm 2026. Khi mở lại bảng tính trong thiết lập dùng tháng trước ngày, xác minh giá trị vẫn là ngày 4 tháng 3 năm 2026”. Câu thứ hai dễ chuyển thành bài kiểm tra. Bản đầu có nhiều phần hình thức hơn nhưng cách viết cho phép hai người hiểu kết quả đúng khác nhau.
Có thể kiểm tra chính lượt duyệt. Nhờ hai người viết bộ dữ liệu tối thiểu cho cùng bài thử. Nếu một người chọn ngày mơ hồ còn người kia chọn ngày 28, các bộ có thể làm lộ các loại lỗi khác nhau. Bài nghiệm thu tốt chỉ rõ dữ liệu nào làm lộ lỗi. Tác nhân có thể giúp chuẩn bị bài thử nếu thấy vì sao issue ban đầu quan trọng.
Chi phí và thời gian cũng cần xem kỹ. Một số hệ thống gọi mô hình nhiều hơn khi dung hòa các góc nhìn đối lập. Quy trình chậm hơn có thể đáng thời gian nếu phát hiện xung đột nhóm thường bỏ sót. Nếu nó đưa ra cùng quyết định như cách đơn giản và chỉ thêm tài liệu trung gian dài, đưa khác biệt đó vào phần so chi phí. Chạy cách cơ sở và hệ thống trên cùng ca trước khi quyết định bước thêm có đáng không.
So sánh quy mô nhỏ với yêu cầu bạn có thể tự đánh giá
- Bắt đầu từ tài nguyên đã cố định phiên bản của bài và lượt kiểm tra nhanh ngoại tuyến. Các tác giả mô tả thiết lập
single_agentkhông cần khóa. Có thể kiểm tra môi trường và đường dẫn đầu ra trước khi trả phí cho lượt so có mô hình. Hướng dẫn tài nguyên OpenRE-Bench - Chọn ít issue công khai hoặc được phép. Gồm một yêu cầu đơn giản, một yêu cầu có bình luận mâu thuẫn và một yêu cầu còn bỏ ngỏ quyết định chính sách. Ghi hành vi mong đợi và câu hỏi trước khi xem đầu ra tác nhân.
- Chạy từng ứng viên với cùng đầu vào và ghi phiên bản hệ thống, cấu hình mô hình và thiết lập lượt chạy. Lưu kết quả trung gian. Dùng cùng tiêu chí cho yêu cầu bị thiếu hoặc giả định thiếu căn cứ.
- So sánh ở mức quyết định. Hỏi điều gì có thể xác minh bằng cách quan sát sản phẩm và câu nào trong issue làm căn cứ. Ghi issue nào cần người làm rõ phạm vi trước khi viết mã.
- Dựa vào kết quả để chọn vai trò của tác nhân. Có yêu cầu đã sẵn sàng để nháp bài nghiệm thu, có yêu cầu cần danh sách câu hỏi cho người viết. Giữ cả hai loại đầu ra trong quy trình.
Bước tiếp theo có thể là đưa một yêu cầu qua buổi duyệt thật. So bản nháp tác nhân với điều nhóm cuối cùng đồng ý phát hành. Nếu người duyệt sửa cùng loại nhận định mỗi lần, thêm bài thử riêng. Yêu cầu có kết quả mong đợi chính xác và nguồn truy được vẫn hữu ích khi phần còn lại của tài liệu cần biên tập.
OpenRE-Bench giúp so sánh trước thay đổi mã đầu tiên. Hãy đánh giá người tiếp theo có thấy hành vi đã thống nhất, nguồn bằng chứng và quyết định còn chờ người xử lý hay không.
Nguồn
- Cheng và cộng sự, bản thảo OpenRE-Bench ngày 10 tháng 11 năm 2026
- Toàn văn bài báo có phương pháp, dữ liệu và Hình 1 gốc
- Tài nguyên có phiên bản do tác giả cung cấp
- Creative Commons Ghi công 4.0 Quốc tế
Để lưu và tìm lại các quyết định trong đề xuất tính năng và các lượt duyệt, hãy tạo tài khoản Telli.sh.