AI가 깃허브 이슈를 쓸 만한 요구사항으로 바꿨는지 OpenRE-Bench로 알 수 있을까?
10개 사례를 담은 벤치마크로 에이전트 프레임워크가 기능 요청을 요구사항으로 바꾸는 과정을 비교할 수 있다. 코드를 쓰기 전에 무엇을 평가할지 예제로 살펴본다.
깃허브 이슈에 “다시 돌아왔을 때 필터를 유지해 주세요”라고 적혀 있다. 코딩 에이전트는 곧장 구현에 착수할 수 있다. 문제는 ‘돌아왔을 때’를 어떻게 해석하느냐다. 항목을 보고 목록으로 돌아갈 때인가, 브라우저를 새로고침할 때인가, 다음 날 다시 로그인할 때인가, 아니면 다른 작업 공간으로 옮길 때인가? 답이 달라지면 기능과 인수 테스트도 달라진다.
OpenRE-Bench는 이슈를 받고 구현하기까지의 과정을 살펴본다. 2026년 11월 10일 arXiv에 제출된 사전 공개 논문은 요구사항을 작성하는 에이전트 프레임워크를 위한 공통 테스트 환경을 제안한다. 첫 테스트 모음에는 공개 깃허브 기능 요청에서 뽑은 사례 5개와 연구진이 작성한 사례 5개가 있다. 같은 입력과 채점 규칙을 여러 프레임워크에 적용할 수 있도록 예제 어댑터 3개도 제공한다. OpenRE-Bench 사전 공개 논문
이 벤치마크로 에이전트의 산출물에 더 구체적인 질문을 던질 수 있다. 두 사람이 요구사항 초안을 읽고 같은 동작을 구현하고 시험할 수 있을까? 아래 필터 사례를 통해 결정 과정의 기록이 최종 문장만큼 중요한 이유와, 팀이 이슈에서 요구사항을 만드는 과정을 검증하는 방법을 살펴본다.
코드를 쓰기 전에 결정할 사항을 드러낸다
요구사항 공학은 목표와 제약, 관찰할 수 있는 동작을 명확히 해 관계자들이 합의할 수 있게 하는 일이다. 이슈가 사용자의 문제를 잘 설명해도 구현에 필요한 결정은 몇 가지 남을 수 있다. 두 관계자가 화면을 이동해도 사용자의 작업을 유지해야 한다는 데는 동의하면서, 설정이 다른 기기에도 이어져야 하는지를 두고 의견이 갈릴 수 있다. 첫 초안에 이 차이를 기록하면 책임자가 논의해 정할 수 있다.
필터 요청을 이렇게 해석할 수 있다. 로그인한 사용자가 항목을 열었다가 같은 작업 공간의 목록으로 돌아오면 이전 필터 값을 복원한다. 다른 작업 공간의 설정 변경은 팀이 별도로 결정하기 전까지 범위에 포함하지 않는다. 인수 조건에는 출발 상태, 사용자 동작, 관찰할 결과가 각각 명확하다. 프로토타입과 완성된 기능에서 모두 시험할 수 있다.
다른 해석은 로그아웃한 뒤에도, 다른 기기에서도 필터를 유지하는 것이다. 이 경우 계정 단위로 설정을 저장할지 결정해야 하고, 두 기기에 서로 다른 필터가 저장됐을 때 적용할 규칙도 필요하다. 한 줄짜리 이슈에는 이런 동작이 명시되지 않았다. 에이전트가 편리해 보인다는 이유로 추가하면 작은 화면 이동 개선이 비용과 개인정보 영향이 다른 제품 변경으로 커질 수 있다.
| 요청의 일부 | 검토 가능한 첫 초안 | 아직 정해야 할 사항 |
|---|---|---|
| 항목에서 목록으로 돌아가기 | 같은 작업 공간에서 화면에 표시되는 필터를 복원한다 | 목록에서 보던 위치도 복원할지 |
| 새로고침하거나 다시 로그인하기 | 미결 사항으로 기록한다 | 설정 유지 기간과 저장 위치 |
| 작업 공간 전환하기 | 한 작업 공간의 필터가 다른 공간에 나타나지 않게 한다 | 작업 공간마다 이력을 따로 유지할지 |
| 필터를 적용한 링크 공유하기 | 링크 공유를 별도 사용 사례로 다룬다 | 공유 URL에 어떤 값을 넣을 수 있는지 |
구현에 앞서 생성된 요구사항을 검토하는 예시. Telli.sh 자체 제작.
첫 행은 저장 계층의 기술 설명 없이도 시험할 수 있다. 나머지 행에 필요한 결정도 검토자에게 보인다. 쓸 만한 요구사항은 약속하는 동작이 구체적이고, 팀이 여전히 결정해야 할 질문을 분명히 남긴다.
벤치마크는 입력과 증거 형식을 동일하게 유지한다
OpenRE-Bench 논문은 사례 이름, 설명, 요구사항 텍스트로 구성된 공통 CaseInput을 설명한다. 어댑터는 이 형식과 각 프레임워크의 입력 방식을 연결한다. 테스트 환경이 비교에 필요한 정보는 보존하되, 에이전트가 협업하는 방식은 프레임워크마다 자유롭게 선택할 수 있게 한다. 함께 제공하는 예시는 MARE, iReDev, QUARE다. 저자들은 MARE와 iReDev 예제를 원 논문에 근거한 재구현이라고 설명한다. OpenRE-Bench 논문 2장
테스트 환경은 네 단계의 산출물을 모은다. 초기 모델, 조율 기록, 통합 모델, 검증 결과다. 단계마다 확인하는 질문이 다르다. 에이전트는 시작할 때 무엇을 봤는가? 어떤 부분에서 의견이 갈렸는가? 통합 후 어떤 선택이 남았는가? 결과를 확인할 증거는 무엇인가? 공통 구조 덕분에 프레임워크마다 내부 역할의 이름이 달라도 결정 과정을 따라갈 수 있다.

Cheng 외, OpenRE-Bench 그림 1, 2026년 11월 10일. 저자 PDF에서 잘라내고 표시 크기를 조정했다. 원본 그림 · CC BY 4.0.
필터 사례의 1단계는 ‘돌아오면 현재 목록 상태 유지’와 ‘기기가 바뀌어도 설정 기억’을 모두 제안할 수 있다. 2단계는 이를 서로 다른 두 범위로 기록할 수 있다. 통합 결과는 첫 제안을 남기고 두 번째를 미결로 둘 수 있다. 마지막 검증은 살아남은 동작을 확인한다. 네 단계의 기록을 함께 보면 합리적인 범위 결정과 실수로 인한 누락을 구분할 수 있다.
어댑터를 두면 에이전트 프레임워크를 비교할 때 한계도 설명하기 쉽다. 세밀한 내부 표현을 쓰는 시스템은 공통 스키마로 내보내면서 일부 세부사항을 잃을 수 있다. 결과 해석에 도움이 된다면 프레임워크가 자체적으로 만든 산출물도 보존하자. 표준 산출물은 공통 비교 기준을 제공하고, 원래 산출물은 프레임워크의 동작이 어디서 달랐는지 설명하는 데 도움이 된다.
10개 사례는 분야 전체보다 처리 과정을 검증한다
Cheng과 공동 저자들은 Python, TypeScript, Java에 걸친 프로젝트 5개에서 이슈 3,000개를 가져왔다고 보고했다. 필터링 후 1,396개가 남았고, 그중 이슈 18개를 사례 5개로 구성했다. 여기에 연구진이 직접 만든 사례 5개가 합쳐져 v1.0 테스트 모음이 됐다. 수집한 이슈 수와 평가 사례 수는 다르다. 앞단에서 이슈 수천 개를 처리했어도 기본 테스트 모음은 10개 사례로 실행된다. OpenRE-Bench 논문 표 I
이 과정 자체가 벤치마크의 기여다. 수집과 필터링 순서를 기록하면 실제 프로젝트 이슈가 어떻게 테스트 사례가 됐는지 알 수 있다. 새 실행을 발표된 결과와 비교할 때도 도움이 된다. 검토자는 레이블, 댓글, 수집 기간 등의 조건이 어떤 요청을 골라내는지 살필 수 있다.
그 선택에 따라 벤치마크가 대표하는 문제도 달라진다. 공개 저장소에서는 기능의 범위를 누구나 읽을 수 있는 곳에서 자주 논의한다. 내부 권한 변경을 계획하는 팀은 고객 통화나 비공개 설계 검토에서 범위를 상당 부분 조율할 수 있다. 공개 사례에서 좋은 결과를 낸 모델도 이런 환경에서는 분야에 맞는 추가 테스트가 필요할 수 있다. 맥락이 빠진 이슈, 여러 문서에 요구사항이 흩어진 이슈, 댓글 의견이 서로 충돌하는 이슈가 자주 들어온다면 테스트에 추가하자.
직접 작성한 사례 5개는 다른 출발점을 제공한다. 설계한 사례는 특정 모호함을 따로 살피기 쉽고, 실제 이슈에서 뽑은 사례는 요청이 들어오는 방식을 보존할 수 있다. 두 그룹의 결과를 각각 기록하자. 깔끔한 사례에서는 나아졌지만 실제 토론의 결정 과정을 놓치는 프레임워크라면 이슈 분류에 투입하기 전에 다른 지시문이나 추가 근거가 필요할 수 있다.
같은 채점 방식으로 비교하고, 팀에 맞는 검증 항목을 더할 수 있다. Telli.sh 자체 제작.
검증 가능성 점수는 원문 대조와 함께 본다
논문은 ISO/IEC/IEEE 29148과 관련된 준수 신호를 바탕으로, 구조적 검증 가능성을 1~5점으로 재현 가능하게 평가하는 방식을 설명한다. 요소 수, 한 실행 안에서 초기 산출물과 통합 산출물 사이의 의미 보존 정도, 소요 시간도 보고한다. 이런 측정값은 시스템이 구조화된 산출물을 꾸준히 만드는지, 처리 과정에서 내용이 유지되는지 보여준다. 모든 단계가 같은 업무 가정을 이어받았다면 그 가정이 맞는지는 점수로 판단할 수 없다. OpenRE-Bench 논문의 평가 지표
가령 초기 모델이 ‘돌아온다’를 ‘다음 주에 로그인한다’고 해석했다고 하자. 통합 산출물에 같은 해석이 들어 있으면 의미 보존 지표는 단계 간 일관성을 반영할 수 있다. 이슈를 읽은 사람은 근거가 없는 해석이라고 표시할 수 있다. 지표와 사람의 검토가 답한 질문이 다르다. 범위를 분명히 하면 둘 다 쓸 수 있다.
원문에 대한 주장을 점검할 수 있도록 소규모 기준 자료를 만들어 두자. 각 이슈에서 요구사항을 직접 뒷받침하는 문장과 결론이 나지 않은 선택지를 확인한다. 빠진 제약, 사실처럼 표현한 그럴듯한 가정, 이슈와 제안된 테스트가 충돌하는 부분을 표시하도록 검토자에게 요청한다. 구체적인 질문 다섯 가지를 담은 체크리스트가 범위가 다른 여러 사례를 평균 낸 점수보다 팀의 도입 판단에 더 많은 정보를 줄 수 있다.
가상의 내보내기 기능을 예로 들어 보자. 이슈는 지역에 따른 날짜 표시 형식이 바뀌어도 스프레드시트에서 보고서를 읽을 수 있게 해 달라고 한다. 한 초안에는 주체, 데이터 자원, 순서, 검증 기록이 있다. 검증 문구는 “날짜가 올바르게 내보내지는지 확인한다”다. 다른 초안에는 “일을 먼저 쓰는 지역 설정에서 2026년 3월 4일자 행을 내보낸 다음, 월을 먼저 쓰는 지역 설정으로 스프레드시트를 다시 열어 저장된 날짜가 여전히 2026년 3월 4일인지 확인한다”고 적혀 있다. 두 번째 문장은 테스트로 옮기기 쉽다. 첫 번째 초안은 형식적 요소를 더 많이 갖췄지만, 읽는 사람마다 기대 결과를 다르게 정할 수 있다.
검토 방식도 시험해 볼 수 있다. 두 검토자에게 같은 테스트에 필요한 최소 테스트 데이터를 써 달라고 하자. 한 사람은 일과 월이 뒤바뀌어도 유효한 날짜를 고르고 다른 사람은 28일을 고른다면, 각 데이터는 다른 종류의 문제를 드러낼 수 있다. 좋은 인수 조건은 오류를 드러낼 데이터를 명시한다. 에이전트가 원래 이슈의 취지를 알면 이런 검증 항목을 작성하는 데 도움이 될 수 있다.
비용과 시간도 같은 수준으로 살피자. 의견을 조율하느라 호출이 늘어나는 프레임워크가 있다. 팀이 자주 놓치는 충돌을 찾아낸다면 처리 시간이 더 걸려도 가치가 있다. 간단한 기준 방식과 같은 결정을 내리면서 긴 중간 문서만 늘어난다면 그 차이를 비용에 반영해야 한다. 같은 사례에서 기준 방식과 후보 프레임워크를 실행한 뒤 추가 단계가 필요한지 판단하자.
판단할 수 있는 요구사항으로 작게 비교한다
- 논문에 명시된 버전의 산출물과 오프라인 기본 동작 검사로 시작한다. 저자들은 API 키가 필요 없는
single_agent설정을 문서화했다. 모델을 사용하는 비교에 비용을 쓰기 전에 실행 환경과 산출물 경로를 확인할 수 있다. OpenRE-Bench 산출물 사용 안내 - 공개됐거나 사용이 승인된 이슈를 몇 개 고른다. 간단한 요청, 댓글이 충돌하는 요청, 정책 결정이 남아 있는 요청을 하나씩 넣는다. 에이전트 산출물을 보기 전에 예상 동작과 미결 질문을 쓴다.
- 후보별로 같은 입력을 실행하고 프레임워크 버전, 모델 구성, 실행 설정을 기록한다. 중간 산출물을 보관한다. 요구사항 누락과 근거 없는 가정을 판단할 때 같은 기준을 적용한다.
- 결정 단위로 산출물을 비교한다. 제품을 관찰해 무엇을 검증할 수 있고 이슈의 어느 문장이 이를 뒷받침하는지 확인한다. 코드를 쓰기 전에 사람이 범위를 명확히 해야 하는지도 기록한다.
- 결과를 보고 에이전트를 어디에 투입할지 정한다. 바로 인수 테스트를 초안으로 만들 수 있는 요청도 있고, 작성자에게 물을 질문 목록이 먼저 필요한 요청도 있다. 두 종류의 산출물이 작업 흐름에서 모두 보이도록 한다.
후속 검증으로 요구사항 하나를 실제 검토 회의에 올려 보자. 에이전트의 초안과 팀이 최종적으로 출시하기로 합의한 내용을 비교한다. 검토자가 같은 유형의 주장을 매번 고친다면 그 유형의 테스트를 추가하자. 예상 결과가 정확하고 출처를 추적할 수 있는 요구사항은 문서의 다른 부분에 수정이 남아 있어도 쓸 수 있다.
OpenRE-Bench를 이용하면 코드를 처음 바꾸기 전에도 비교할 수 있다. 다음 담당자가 팀이 합의한 동작과 그 근거를 찾고, 아직 결정할 사항을 파악할 수 있는지 보자.
출처
- Cheng 외, OpenRE-Bench 사전 공개 논문, 2026년 11월 10일
- 방법, 데이터와 그림 1 원본이 담긴 전체 논문
- 저자가 제공한 버전별 산출물
- 크리에이티브 커먼즈 저작자표시 4.0 국제
기능 요청과 검토 과정에서 내린 결정을 검색할 수 있게 정리하려면 Telli.sh 계정을 만들어 보세요.