OpenRE-Bench 能判断 AI 有没有把 GitHub Issue 写成可用需求吗?
十个案例的基准可比较智能体框架如何把功能请求转成需求。用一个具体例子,看看在动手写代码之前该评什么。
一条 GitHub Issue 写着:“我回来时请保留筛选条件。”编程智能体马上就能实现一种做法,也可能选错含义。“回来”是打开一项后回到列表、刷新浏览器、第二天重新登录,还是切换到另一个工作区?每种理解都会产生不同的功能和验收测试。
OpenRE-Bench 考察的是从 Issue 到实现之间发生的工作。2026 年 11 月 10 日提交到 arXiv 的预印本,为生成需求的智能体框架提出了一个共同的测试环境。首套基准有十个案例,五个来自公开的 GitHub 功能请求,五个由研究人员编写。作者提供了三个适配器示例,使不同框架可以使用同样的输入和评分约定。OpenRE-Bench 预印本
这套基准让人可以更具体地追问智能体的产出:两个人读完建议需求,会实现并测试同一种行为吗?下面的筛选例子说明,为什么决策过程和最终文字都值得检查,也展示了团队可以怎样评估自己从 Issue 到需求的工作流。
写代码前,先让决策过程看得见
需求工程要把目标、约束和可观察行为说明白,让相关人员能够达成一致。一条好的 Issue 可以很好地描述用户问题,同时留下多个实现选择。两名相关人员可能都赞成在页面跳转时保留操作,却对偏好是否该跨设备同步有不同意见。可用的初稿会保留这种区别,让负责的人作决定。
筛选请求可以这样理解:已登录用户打开一项内容,再返回同一工作区的列表时,列表恢复之前的筛选值。其他工作区的偏好设置暂不纳入,除非团队另有决定。验收检查有明确的起始状态、一个操作和可观察结果,可以对着原型或完成的功能运行。
另一种解释是在退出后和其他设备上仍保留筛选条件。这样就需要确定账户级存储方式,以及两台设备保存不同条件时怎样处理。原来的一行 Issue 没有指定这些行为。如果智能体觉得方便就自行加入,一处小小的导航修复可能变成成本和隐私影响都不同的产品改动。
| 请求的一部分 | 可审核的初稿 | 仍需决定的事项 |
|---|---|---|
| 从某一项返回列表 | 在同一工作区恢复之前可见的筛选条件 | 是否也要恢复列表位置 |
| 刷新或重新登录 | 记为尚未决定的问题 | 偏好保留多久,存放在哪里 |
| 切换工作区 | 不把一个工作区的筛选条件显示在另一个工作区 | 每个工作区是否保留自己的历史 |
| 分享带筛选条件的链接 | 将链接分享当作独立用例 | 哪些值可以放进共享 URL |
实现之前审核生成需求的具体例子。Telli.sh 原创插图。
读者不需要了解存储层的技术细节,也能测试表格第一行。审核者也能看出其他行还需要哪些决定。可用的需求应具体说明它承诺的行为,并标清仍由团队决定的问题。
基准统一了输入和证据的约定
OpenRE-Bench 预印本描述了一套通用的 CaseInput,包括案例名称、说明和需求文本。适配器负责在这一约定与各参与框架之间转换。它保留测试环境用来比较的信息,同时让各框架自行决定智能体怎样协作。随附示例是 MARE、iReDev 与 QUARE。作者将 MARE 和 iReDev 描述为依据原论文重新实现的版本。OpenRE-Bench 论文,第 II 节
测试环境收集四个阶段的产出:初始模型、协商记录、整合模型和验证结果。每一阶段回答不同的审核问题。智能体一开始看到了什么?在哪些地方有分歧?哪些选择进入了最终整合稿?可以用什么证据检查结果?即使各框架给内部角色起了不同名字,共同结构也能让决策过程更容易追溯。

Cheng 等人的 OpenRE-Bench 图 1,2026 年 11 月 10 日。从作者的 PDF 裁剪并调整尺寸。原图 · CC BY 4.0。
在筛选例子里,第一阶段的产出可能同时提出“返回时保留当前列表状态”和“跨设备记住偏好”。第二阶段可以把它们标为两个不同范围。整合产出可以保留前者,把后者列为未决。最后验证采用的行为。对照四个阶段,可以区分有意作出的范围决定和无意漏掉的内容。
比较智能体框架时,适配器也让比较的局限更容易说明。内部表示很细的系统,导出到共同模式时可能丢失部分差别。原生中间材料能帮助解释结果时,可以一并保留。标准化产出适合一致地比较,原生材料则有助于说明框架在哪个环节表现不同。
十个案例更能检验流程,覆盖的领域仍有限
Cheng 与合著者称,他们从横跨 Python、TypeScript 和 Java 的五个项目获取了 3,000 条 Issue,筛选后剩下 1,396 条。从中用了 18 条构成五个挖掘案例,再加上五个人工编写案例组成 v1.0 套件。上游候选池与实际评估案例数是不同的数字。即使上游从几千条 Issue 开始,随附套件运行的仍是十个案例。OpenRE-Bench 论文,表 I
这个流程本身也是基准的贡献之一。保留获取和筛选记录,就能知道真实项目中的 Issue 怎样变成测试案例。比较新运行与已发表的结果时,这些记录很有用。审核人员也能看出语料倾向于选中哪些请求,以及标签、评论、聚合时段和其他筛选条件有什么影响。
筛选会决定基准能代表哪些问题。公开仓库往往在人人可读的地方讨论功能范围。团队计划修改内部权限时,范围却可能在客户电话或私有设计评审中敲定。在公开案例上表现好的模型,在这些场景中仍可能需要专门测试。积压工作里如果经常出现上下文缺失、需求分散在几份文件中或评论相互矛盾,可以把相应案例加进去。
五个手工案例提供了另一种起点。精心写好的案例容易单独检验某种歧义,从公开项目挖掘的案例则保留了请求自然出现的样子。两组分别报告。如果框架在干净案例上有改进,却在真实讨论串里丢失决策,可能要先改提示词或补充证据,再用来给 Issue 分流。
同一套评分让比较更稳定,也给审核人员留下加入本地检查的位置。Telli.sh 原创插图。
可验证性评分旁边,还要有对原始来源的核查
论文介绍了按 ISO/IEC/IEEE 29148 相关合规特征构建的、可复现的 1 到 5 分结构可验证性评分。它还报告元素数量、同一运行中初始与整合产出之间的语义保留,以及耗时。这些指标可以展示系统能否稳定产出结构化材料,并在工作流中保留原始想法。如果各阶段都继承了同一业务假设,单靠指标无法判断假设是否正确。OpenRE-Bench 论文,指标
例如,假设初始模型把“回来”理解为“下周登录”。整合结果继续使用同样的解释,语义保留指标就能反映各阶段的一致性。人看过原始 Issue 后,仍可能指出这种解释没有根据。指标与审核回答了两个不同的问题。明确各自范围,两者都有价值。
为核查来源的说法准备一小组参考答案。对每个 Issue,找出直接支持需求的句子,并列出来源没有决定的选择。请审核者标出丢掉的约束、被当作事实写出的合理假设,以及建议测试与 Issue 的矛盾。五个具体问题组成的清单,有时比许多范围各异案例的平均分更能说明实际部署的问题。
再看一个虚构的导出功能。Issue 要求地区日期格式变化后,报告在电子表格里仍能正确读取。一份初稿定义了操作者、数据资源、步骤和验证记录,却只写“确认日期正确导出”。另一份写道:“选择日优先的区域设置,导出日期为 2026 年 3 月 4 日的一行,再用月优先的区域设置重新打开,验证电子表格中保存的日期仍是 2026 年 3 月 4 日。”第二句话容易变成测试。第一份形式元素更多,验证措辞却允许两个读者对正确结果有不同判断。
审核本身也可以测试。请两名审核者分别写出同一建议测试所需的最小数据。如果一人选了日月容易混淆的日期,另一人选了某月 28 日,两组数据可能会发现不同类型的问题。好的验收检查会指出能把错误暴露出来的数据。智能体理解了原 Issue 为什么重要,才能帮忙写出这样的检查。
成本和时间也要同样考虑。有些框架为了协调不同观点,会发出更多调用。如果较慢的流程发现了团队经常漏掉的矛盾,额外时间可能值得。它若和较简单的基线作出同样决定,只多了冗长的中间产出,就应把差别记进成本比较。在判断额外步骤是否有用前,用同一个案例运行基线和框架。
用自己能判断的需求做一次小比较
- 从论文指定版本的产物开始,离线试跑一次。作者记录了无需密钥的
single_agent配置。它可以在付费调用模型比较之前,先验证运行环境和产物路径。OpenRE-Bench 产物使用说明 - 选少数公开或获准使用的 Issue。包含简单请求、评论彼此矛盾的请求和留有政策决定的请求。查看智能体产出前,先写下预期行为与未解决的问题。
- 让每个候选使用同样输入,记录框架版本、模型配置和运行设置。保存中间产物。用同一标准判定缺失需求和无依据的假设。
- 在决策层面比较结果。问哪些可以通过观察产品验证,Issue 的哪些文字支持它们。记录有没有 Issue 需要人工澄清范围,才可以开始写代码。
- 用结果决定智能体应在哪一步参与。有些请求已经可以起草验收测试,另一些更适合先列一组问题交给作者。两种产出都应在工作流里可见。
可以接着把一项需求带进真实评审会议,对照智能体草案和团队最终同意交付的内容。如果审核者每次都要改同一类说法,就为它补一项测试。即使文档其他部分还要编辑,一项预期结果准确、来源可追溯的需求也已经有用。
OpenRE-Bench 让团队在第一次改动代码之前就能做比较。要判断的是,下一位参与者能不能看懂团队同意了什么行为、证据来自哪里,以及还有哪些决定等着人来作出。
来源
想让功能请求和评审背后的决定可以检索,可以创建 Telli.sh 账户。