OpenRE-Bench บอกได้ไหมว่า AI เปลี่ยน GitHub issue ให้เป็นข้อกำหนดที่ใช้ได้จริงหรือยัง
เกณฑ์ประเมิน 10 กรณีนี้ช่วยเทียบว่าเฟรมเวิร์กเอเจนต์แปลงคำขอฟีเจอร์เป็นข้อกำหนดอย่างไร พร้อมตัวอย่างสิ่งที่ควรประเมินก่อนลงมือเขียนโค้ด
GitHub issue รายการหนึ่งเขียนว่า “ตอนกลับมา ขอให้ตัวกรองของฉันยังอยู่” เอเจนต์เขียนโค้ดลงมือทำได้ทันที แต่อาจเลือกความหมายผิด “กลับมา” หมายถึงย้อนจากหน้ารายละเอียดไปหน้ารายการ รีเฟรชเบราว์เซอร์ ลงชื่อเข้าใช้อีกครั้งวันพรุ่งนี้ หรือย้ายไปอีกพื้นที่ทำงานกันแน่ แต่ละคำตอบนำไปสู่ฟีเจอร์และชุดทดสอบการยอมรับที่ต่างกัน
OpenRE-Bench ศึกษาสิ่งที่เกิดขึ้นระหว่าง issue กับการลงมือพัฒนา บทความฉบับก่อนตีพิมพ์ที่ส่งเข้า arXiv วันที่ 10 พฤศจิกายน 2026 เสนอระบบทดสอบกลางสำหรับเฟรมเวิร์กเอเจนต์ที่สร้างข้อกำหนด ชุดแรกมีสิบกรณี ห้ากรณีมาจากคำขอฟีเจอร์สาธารณะบน GitHub อีกห้ากรณีนักวิจัยเขียนขึ้นเอง ผู้เขียนให้ตัวอย่างอะแดปเตอร์สามตัวเพื่อให้เฟรมเวิร์กต่าง ๆ ใช้ข้อมูลเข้าและเกณฑ์ให้คะแนนชุดเดียวกันได้ บทความฉบับก่อนตีพิมพ์ OpenRE-Bench
เกณฑ์นี้ช่วยให้ถามได้ชัดขึ้นว่าผลงานของเอเจนต์นำไปใช้ได้หรือยัง คนสองคนที่อ่านข้อกำหนดที่เสนอมาจะสร้างและทดสอบพฤติกรรมเดียวกันหรือไม่ ตัวอย่างตัวกรองด้านล่างแสดงว่าร่องรอยการตัดสินใจสำคัญพอ ๆ กับข้อความฉบับสุดท้าย และทีมจะตรวจขั้นตอนของตนเองตั้งแต่ issue จนถึงข้อกำหนดได้อย่างไร
ทำให้เห็นการตัดสินใจก่อนเริ่มเขียนโค้ด
วิศวกรรมข้อกำหนดช่วยทำให้เป้าหมาย ข้อจำกัด และพฤติกรรมที่สังเกตได้ชัดพอที่ทุกฝ่ายจะตกลงร่วมกัน issue ที่ดีอาจอธิบายปัญหาของผู้ใช้ได้ชัดเจนและยังมีรายละเอียดการพัฒนาหลายจุดให้ตัดสินใจ ผู้เกี่ยวข้องสองคนอาจเห็นพ้องว่าการย้ายหน้าควรรักษาสิ่งที่ผู้ใช้ทำไว้ แต่เห็นต่างว่าค่าที่ตั้งไว้ควรตามผู้ใช้ไปข้ามอุปกรณ์หรือไม่ ร่างแรกที่นำไปใช้ได้จะบันทึกความเห็นที่ต่างกันไว้ให้ผู้รับผิดชอบตัดสิน
ลองตีความคำขอเกี่ยวกับตัวกรองแบบหนึ่ง เมื่อผู้ใช้ที่ลงชื่อเข้าใช้แล้วเปิดรายการหนึ่งและกลับมาที่หน้ารายการในพื้นที่ทำงานเดิม ระบบจะคืนค่าตัวกรองก่อนหน้า การเปลี่ยนค่าที่ตั้งไว้ในพื้นที่ทำงานอื่นอยู่นอกขอบเขตจนกว่าทีมจะตัดสินแยกต่างหาก การทดสอบการยอมรับมีทั้งสถานะเริ่มต้น การกระทำ และผลที่สังเกตได้อย่างชัดเจน จึงใช้ทดสอบได้ทั้งต้นแบบและฟีเจอร์ที่เสร็จแล้ว
อีกความหมายหนึ่งคือให้ระบบจำตัวกรองไว้หลังออกจากระบบและเมื่อใช้อุปกรณ์อื่น กรณีนี้ต้องตัดสินใจเรื่องการเก็บค่าระดับบัญชีและกติกาเมื่อสองอุปกรณ์มีตัวกรองที่บันทึกไว้ต่างกัน issue บรรทัดเดียวไม่ได้ระบุพฤติกรรมเหล่านี้ หากเอเจนต์เพิ่มเองเพราะดูสะดวก งานแก้การย้อนหน้าจุดเล็ก ๆ อาจกลายเป็นการเปลี่ยนผลิตภัณฑ์ที่มีต้นทุนและผลต่อความเป็นส่วนตัวอีกแบบ
| ส่วนของคำขอ | ร่างแรกที่ตรวจทานได้ | เรื่องที่ยังต้องตัดสินใจ |
|---|---|---|
| กลับจากหน้ารายละเอียดไปหน้ารายการ | คืนค่าตัวกรองที่แสดงในพื้นที่ทำงานเดิม | จะคืนตำแหน่งในรายการด้วยหรือไม่ |
| โหลดหน้าใหม่หรือลงชื่อเข้าใช้อีกครั้ง | บันทึกเป็นเรื่องที่ยังต้องตัดสิน | เก็บค่าไว้นานแค่ไหนและเก็บไว้ที่ใด |
| สลับพื้นที่ทำงาน | กันตัวกรองของพื้นที่หนึ่งออกจากอีกพื้นที่ | แต่ละพื้นที่ทำงานจะมีประวัติของตนเองหรือไม่ |
| แชร์ลิงก์ที่มีตัวกรอง | แยกการแชร์ลิงก์เป็นอีกกรณีใช้งาน | ค่าใดใส่ลงใน URL ที่แชร์ได้ |
ตัวอย่างการตรวจทานข้อกำหนดที่เอเจนต์สร้างก่อนลงมือพัฒนา ภาพประกอบต้นฉบับโดย Telli.sh
ผู้อ่านทดสอบแถวแรกได้โดยไม่ต้องรู้รายละเอียดชั้นจัดเก็บข้อมูล และผู้ตรวจทานเห็นได้ว่าแถวใดยังต้องตัดสินใจ ข้อกำหนดที่มีประโยชน์ระบุพฤติกรรมที่รับปากไว้อย่างเจาะจงและเก็บคำถามที่ทีมยังต้องตอบไว้อย่างชัดเจน
เกณฑ์ประเมินกำหนดรูปแบบข้อมูลเข้าและหลักฐานให้เหมือนกัน
บทความ OpenRE-Bench อธิบายรูปแบบร่วมชื่อ CaseInput ซึ่งประกอบด้วยชื่อกรณี คำอธิบาย และข้อความข้อกำหนด อะแดปเตอร์จะแปลงข้อมูลระหว่างรูปแบบนี้กับแต่ละเฟรมเวิร์กที่เข้าร่วม หน้าที่คือเก็บข้อมูลที่ระบบทดสอบต้องใช้เพื่อเปรียบเทียบ พร้อมเปิดให้แต่ละเฟรมเวิร์กกำหนดวิธีทำงานร่วมกันของเอเจนต์เอง ตัวอย่างที่ให้มาคือ MARE, iReDev และ QUARE ผู้เขียนระบุว่า MARE และ iReDev เป็นการเขียนขึ้นใหม่ตามงานวิจัยต้นฉบับ บทความ OpenRE-Bench ส่วนที่ II
ระบบทดสอบเก็บผลลัพธ์สี่ช่วง ได้แก่ แบบจำลองตั้งต้น บันทึกการเจรจา แบบจำลองที่รวมแล้ว และผลการตรวจสอบ แต่ละช่วงตอบคำถามคนละข้อ เอเจนต์เห็นอะไรในตอนเริ่มต้น เห็นต่างกันตรงไหน ทางเลือกใดเหลืออยู่หลังการรวม และมีหลักฐานอะไรให้ตรวจผล โครงสร้างร่วมนี้ช่วยให้ติดตามการตัดสินใจได้แม้เฟรมเวิร์กจะตั้งชื่อบทบาทภายในต่างกัน

ภาพที่ 1 จาก Cheng และคณะ, OpenRE-Bench, 10 พฤศจิกายน 2026 ตัดจาก PDF ของผู้เขียนและปรับขนาดเพื่อแสดงผล ภาพต้นฉบับ · CC BY 4.0.
ในตัวอย่างตัวกรอง ผลลัพธ์ช่วงที่ 1 อาจเสนอทั้ง “คงหน้ารายการปัจจุบันเมื่อย้อนกลับ” และ “จำค่าที่ตั้งไว้ข้ามอุปกรณ์” บันทึกช่วงที่ 2 อาจระบุว่าเป็นคนละขอบเขต ชิ้นงานที่รวมแล้วอาจเก็บข้อแรกและเปิดข้อสองไว้ จากนั้นขั้นตรวจสอบสุดท้ายจึงทดสอบพฤติกรรมที่ถูกเก็บไว้ การทบทวนครบสี่ช่วงช่วยแยกการเลือกขอบเขตโดยเจตนาออกจากรายละเอียดที่ตกหล่นโดยไม่ตั้งใจ
สำหรับผู้เปรียบเทียบเฟรมเวิร์ก อะแดปเตอร์ยังทำให้ระบุขีดจำกัดของการเปรียบเทียบได้ง่ายขึ้น ระบบที่มีการแทนข้อมูลภายในละเอียดอาจสูญเสียความหมายบางส่วนเมื่อส่งออกตามโครงสร้างร่วม ควรเก็บชิ้นงานในรูปแบบเดิมหากช่วยอธิบายผล ผลลัพธ์มาตรฐานใช้เป็นฐานเปรียบเทียบ ส่วนชิ้นงานเดิมช่วยอธิบายว่าเฟรมเวิร์กทำงานต่างจากตัวอื่นตรงไหน
สิบกรณีบอกเรื่องกระบวนการได้มากกว่าภาพรวมทั้งวงการ
Cheng และคณะรายงานว่าเริ่มจาก issue 3,000 รายการในห้าโครงการที่ใช้ Python, TypeScript และ Java การกรองเหลือ 1,396 รายการ จากนั้นนำ 18 issue ไปสร้างกรณีจากโครงการจริงห้ากรณี แล้วรวมกับอีกห้ากรณีที่นักวิจัยเขียนเองในชุด v1.0 จำนวน issue ต้นทางกับจำนวนกรณีที่ประเมินเป็นคนละตัวเลข เมื่อใช้ชุดที่ให้มา การทดสอบรันสิบกรณีแม้ขั้นตอนต้นทางเริ่มจาก issue หลายพันรายการ บทความ OpenRE-Bench ตารางที่ I
กระบวนการนี้เป็นส่วนหนึ่งของสิ่งที่เกณฑ์ประเมินนำเสนอ ลำดับการดึงและกรองข้อมูลที่บันทึกไว้บอกว่า issue จากโครงการจริงกลายเป็นกรณีทดสอบได้อย่างไร จึงช่วยเมื่อจะเทียบผลการรันใหม่กับผลที่ตีพิมพ์ไว้ ผู้ตรวจทานยังเห็นได้ว่าชุดข้อมูลมักเลือกคำขอแบบใด รวมถึงผลของป้ายกำกับ ความเห็น ช่วงเวลาที่รวบรวม และเงื่อนไขกรองอื่น ๆ
ทางเลือกเหล่านั้นกำหนดว่าชุดทดสอบเป็นตัวแทนของปัญหาประเภทใด โครงการสาธารณะมักหารือขอบเขตฟีเจอร์ในที่ที่ทุกคนอ่านได้ ทีมที่วางแผนเปลี่ยนสิทธิ์ภายในอาจหารือขอบเขตส่วนใหญ่ในสายคุยกับลูกค้าหรือการทบทวนการออกแบบแบบปิด โมเดลที่ทำได้ดีในกรณีสาธารณะจึงอาจยังต้องทดสอบกับงานเฉพาะด้าน หากงานค้างของคุณมักมีข้อมูลแวดล้อมไม่ครบ ข้อกำหนดกระจายอยู่หลายเอกสาร หรือความเห็นขัดกัน ให้เพิ่มกรณีแบบนั้นเข้าไปด้วย
ห้ากรณีที่นักวิจัยเขียนขึ้นเองมีจุดเริ่มต้นอีกแบบ กรณีที่ออกแบบไว้ช่วยแยกทดสอบความกำกวมเฉพาะจุด ส่วนกรณีจาก issue จริงสะท้อนว่าคำขอมาถึงทีมอย่างไร ควรรายงานผลแยกตามกลุ่ม หากเฟรมเวิร์กทำได้ดีขึ้นในกรณีที่จัดระเบียบดีแต่ตามการตัดสินใจไม่ทันในกระทู้จริง อาจต้องเปลี่ยนพรอมป์หรือเพิ่มหลักฐานประกอบก่อนนำไปใช้คัดแยก issue
การให้คะแนนด้วยเงื่อนไขร่วมกันทำให้ผู้ตรวจทานมีฐานเปรียบเทียบและเพิ่มการตรวจที่เหมาะกับงานของตนได้ ภาพประกอบต้นฉบับโดย Telli.sh
ตรวจแหล่งที่มาควบคู่กับคะแนนความสามารถในการตรวจสอบ
บทความอธิบายคะแนนความสามารถในการตรวจสอบเชิงโครงสร้างระดับ 1–5 ที่ทำซ้ำได้ โดยอิงสัญญาณการปฏิบัติตามเกณฑ์ที่สัมพันธ์กับ ISO/IEC/IEEE 29148 นอกจากนี้ยังรายงานจำนวนองค์ประกอบ ระดับการคงความหมายระหว่างผลลัพธ์ตั้งต้นกับผลที่รวมแล้วในการรันเดียวกัน และเวลาที่ใช้ เมื่อพิจารณาร่วมกัน ตัววัดเหล่านี้บอกได้ว่าระบบผลิตชิ้นงานที่มีโครงสร้างและรักษาแนวคิดไว้ตลอดกระบวนการอย่างสม่ำเสมอแค่ไหน ส่วนความถูกต้องของสมมติฐานทางธุรกิจที่ทุกช่วงรับต่อกันมายังต้องตรวจแยก บทความ OpenRE-Bench ส่วนตัววัด
สมมติว่าแบบจำลองตั้งต้นตีความ “กลับมา” ว่า “ลงชื่อเข้าใช้อีกทีสัปดาห์หน้า” หากความหมายเดียวกันปรากฏในผลที่รวมแล้ว ตัววัดการคงความหมายอาจสะท้อนความสอดคล้องระหว่างช่วง แต่คนที่อ่าน issue ยังอาจชี้ว่าไม่มีข้อความสนับสนุนการตีความนี้ ตัววัดและการตรวจทานตอบคนละคำถาม ทั้งสองอย่างมีประโยชน์เมื่อระบุขอบเขตชัดเจน
ทำชุดคำตอบอ้างอิงขนาดเล็กไว้ตรวจข้ออ้างเกี่ยวกับต้นทาง สำหรับแต่ละ issue ให้ระบุประโยคที่สนับสนุนข้อกำหนดโดยตรงและทางเลือกที่ต้นทางเปิดไว้ ขอให้ผู้ตรวจทานทำเครื่องหมายข้อจำกัดที่ตกหล่น สมมติฐานที่ดูสมเหตุสมผลแต่ถูกนำเสนอเป็นข้อเท็จจริง และจุดที่การทดสอบที่เสนอมาขัดกับ issue รายการตรวจห้าคำถามที่เจาะจงอาจบอกเรื่องการใช้งานจริงของทีมได้มากกว่าคะแนนเฉลี่ยเดียวจากกรณีที่มีขอบเขตต่างกัน
ลองดูอีกตัวอย่างจากฟีเจอร์ส่งออกสมมติ issue ขอให้รายงานยังอ่านได้ในสเปรดชีตหลังเปลี่ยนรูปแบบวันที่ตามภูมิภาค ร่างหนึ่งระบุผู้กระทำ แหล่งข้อมูล ลำดับการทำงาน และบันทึกการตรวจสอบ ซึ่งเขียนว่า “ยืนยันว่าส่งออกวันที่ได้ถูกต้อง” อีกร่างระบุว่า “หลังเลือกภาษาหรือภูมิภาคที่วางวันไว้ก่อนและส่งออกแถวลงวันที่ 4 มีนาคม 2026 ให้ตรวจว่าสเปรดชีตยังเก็บเป็นวันที่ 4 มีนาคม 2026 เมื่อเปิดอีกครั้งในภาษาหรือภูมิภาคที่วางเดือนไว้ก่อน” ประโยคหลังแปลงเป็นการทดสอบได้ง่าย ร่างแรกมีองค์ประกอบทางการมากกว่า แต่คำตรวจสอบยังเปิดให้ผู้อ่านสองคนเข้าใจผลที่ถูกต้องต่างกัน
ยังตรวจคุณภาพการทบทวนได้โดยขอให้ผู้ตรวจสองคนเตรียมข้อมูลทดสอบขั้นต่ำสำหรับกรณีเดียวกัน ถ้าคนหนึ่งเลือกวันที่ที่สลับวันกับเดือนได้และอีกคนเลือกวันที่ 28 ข้อมูลทั้งสองชุดอาจจับปัญหาคนละชนิด การทดสอบการยอมรับที่ดีระบุข้อมูลที่ทำให้เห็นข้อผิดพลาด เอเจนต์ช่วยสร้างการทดสอบแบบนั้นได้เมื่อเห็นเหตุผลที่ issue ต้นทางมีความสำคัญ
ต้นทุนและเวลาก็ควรตรวจอย่างเดียวกัน บางเฟรมเวิร์กเรียกโมเดลบ่อยขึ้นเมื่อต้องประสานมุมมองที่ขัดกัน กระบวนการที่ช้าลงอาจคุ้มถ้าทำให้เห็นความขัดแย้งที่ทีมมักพลาด หากได้การตัดสินใจเหมือนวิธีพื้นฐานที่ง่ายกว่าและเพิ่มเพียงชิ้นงานระหว่างทางที่ยืดยาว ให้นับส่วนต่างนั้นในการเปรียบเทียบต้นทุน ทดสอบวิธีพื้นฐานและเฟรมเวิร์กกับกรณีเดียวกันก่อนตัดสินว่าขั้นตอนเพิ่มเติมคุ้มหรือไม่
ลองเปรียบเทียบกับข้อกำหนดไม่กี่ข้อที่ตัดสินผลได้
- เริ่มจากชุดไฟล์ที่บทความระบุเวอร์ชันไว้และทดสอบเบื้องต้นแบบออฟไลน์ ผู้เขียนอธิบายการตั้งค่า
single_agentที่ไม่ต้องใช้คีย์ API ใช้ตรวจสภาพแวดล้อมและตำแหน่งไฟล์ก่อนเสียเงินเปรียบเทียบด้วยโมเดล คู่มือชุดไฟล์ OpenRE-Bench - เลือก issue สาธารณะหรือที่ได้รับอนุญาตให้ใช้จำนวนเล็กน้อย ให้มีคำของ่าย ๆ หนึ่งข้อ ข้อที่มีความเห็นขัดกันหนึ่งข้อ และข้อที่ยังเปิดให้ตัดสินนโยบายอีกหนึ่งข้อ เขียนพฤติกรรมที่คาดหวังและคำถามค้างไว้ก่อนดูผลงานเอเจนต์
- รันแต่ละตัวด้วยข้อมูลเข้าเดียวกัน และบันทึกเวอร์ชันเฟรมเวิร์ก การกำหนดค่าโมเดล และการตั้งค่าการรัน เก็บชิ้นงานระหว่างทางไว้ ใช้เกณฑ์เดียวกันในการระบุข้อกำหนดที่หายไปหรือสมมติฐานที่ไม่มีหลักฐาน
- เทียบผลลัพธ์ทีละการตัดสินใจ ถามว่าส่วนไหนยืนยันได้ด้วยการสังเกตผลิตภัณฑ์ และข้อความส่วนใดใน issue รองรับ บันทึกว่า issue ใดต้องให้คนช่วยกำหนดขอบเขตก่อนลงมือเขียนโค้ด
- ใช้ผลเลือกบทบาทของเอเจนต์ บางคำขอพร้อมให้ร่างการทดสอบการยอมรับ ส่วนบางคำขอเหมาะกับการทำรายการคำถามส่งกลับไปหาผู้เขียน issue แสดงผลงานทั้งสองแบบให้เห็นชัดในกระบวนการ
ขั้นถัดไปที่น่าลองคือเอาข้อกำหนดหนึ่งข้อเข้าที่ประชุมตรวจทานจริง เทียบร่างของเอเจนต์กับสิ่งที่ทีมตกลงจะส่งมอบ หากผู้ตรวจต้องเขียนข้ออ้างประเภทเดิมใหม่ทุกครั้ง ให้เพิ่มกรณีทดสอบสำหรับปัญหานั้น ข้อกำหนดที่ระบุผลที่คาดไว้อย่างแม่นยำและตามกลับไปหาต้นทางได้ยังมีประโยชน์แม้ส่วนอื่นในเอกสารจะต้องแก้ต่อ
OpenRE-Bench ช่วยให้เปรียบเทียบได้ตั้งแต่ก่อนแก้โค้ดบรรทัดแรก สิ่งที่ควรตัดสินคือคนที่รับงานต่อจะเห็นหรือไม่ว่าทีมตกลงพฤติกรรมอะไร หลักฐานมาจากไหน และเรื่องใดยังต้องให้คนตัดสินใจ
แหล่งข้อมูล
- Cheng และคณะ บทความฉบับก่อนตีพิมพ์ OpenRE-Bench วันที่ 10 พฤศจิกายน 2026
- บทความฉบับเต็มพร้อมวิธีวิจัย ข้อมูล และภาพที่ 1 ต้นฉบับ
- ชุดไฟล์พร้อมเวอร์ชันจากผู้เขียน
- สัญญาอนุญาต Creative Commons Attribution 4.0 International
หากต้องการให้ค้นหาการตัดสินใจเบื้องหลังคำขอฟีเจอร์และการตรวจทานได้ภายหลัง สร้างบัญชี Telli.sh