GPT-6 Cyber ชวนมองขอบเขตของการทดสอบความปลอดภัย

ผู้ดูแลโครงการได้รับรายงานบั๊กของเบราว์เซอร์ ก่อนให้เอเจนต์ลองทำให้บั๊กเกิดซ้ำ ทีมต้องเตรียมบิลด์ทดสอบ รายชื่อระบบที่อนุญาตให้เข้าถึงอย่างชัดเจน และบันทึกการเปลี่ยนแปลงที่จะแก้ปัญหา การพบจุดอ่อนที่เป็นไปได้เป็นเพียงจุดเริ่มต้นของงานนี้

OpenAI เปิดตัว GPT-6 Cyber เมื่อวันที่ 5 พฤศจิกายน และระบุว่าระยะแรกจะเปิดให้ลูกค้า Daybreak Red บางรายที่ได้รับอนุมัติใช้ผ่าน API และ Codex บริษัทอธิบายว่าโมเดลได้รับการฝึกเพื่อค้นคว้าช่องโหว่และปฏิบัติตามขอบเขตการทดสอบที่ได้รับอนุญาต ผลที่ประกาศควบคู่กับบันทึกแพตช์ของ Mozilla ช่วยให้เห็นทั้งงานค้นหาช่องโหว่และกระบวนการส่งการแก้ไขไปถึงผู้ใช้ Firefox

อาคารในซานฟรานซิสโกที่เป็นสำนักงานใหญ่ของ OpenAI ในเดือนมิถุนายน 2025 ภาพประกอบบริบทโดย Coolcaesar ตัดขอบและปรับขนาด ภายใต้ CC BY 4.0 ที่มาของภาพ · สัญญาอนุญาต

การทดสอบที่มีประโยชน์ต้องมีขอบเขตที่เครื่องมือบังคับใช้ได้

การทดสอบความปลอดภัยที่ได้รับอนุญาต ภาพประกอบจัดทำโดย Telli.sh

ทีมความปลอดภัยอาจอนุญาตให้เอเจนต์ตรวจคลังโค้ด ทดสอบกับบริการภายในเครื่อง และร่างแพตช์ สิทธิ์เข้าคลังโค้ดทดสอบครอบคลุมเฉพาะคลังนั้น การสแกนบริการที่เกี่ยวข้องหรือเชื่อมต่อโฮสต์อื่นต้องได้รับอนุญาตต่างหาก ระบุเป้าหมายที่อนุญาตให้เอเจนต์ทราบ แล้วตั้งค่าสภาพแวดล้อมให้บังคับใช้ขอบเขตนั้น

ให้ถือขอบเขตที่อนุมัติเป็นข้อตกลงระหว่างผู้ปฏิบัติงานกับเครื่องมือ ข้อจำกัดเครือข่ายยังคงบังคับใช้แม้โมเดลจะเข้าใจคำขอผิด สิทธิ์ของเครื่องมือช่วยกันการเขียนไปยังระบบที่ไม่เกี่ยวกับงาน และบันทึกการทำงานช่วยให้ผู้ตรวจทราบว่ามีการเข้าถึงทรัพยากรใดจริง

รายละเอียดขึ้นอยู่กับสภาพแวดล้อม บิลด์แบบออฟไลน์อาจเพียงพอสำหรับบั๊กตัวแยกวิเคราะห์ ส่วนการทดสอบฟีเจอร์ที่รับการเชื่อมต่ออาจต้องตั้งบริการที่โฮสต์และอนุญาตไว้โดยเฉพาะ ทั้งสองกรณีทีมควรย้อนกลับมาสร้างขอบเขตเดิมจากบันทึกได้ คำสั่งกว้าง ๆ อย่าง “ทดสอบเท่าที่จำเป็น” ทำให้กำหนดจุดจบของงานและสิ่งที่ผู้ตรวจคนถัดไปควรดูได้ยากขึ้น

เกณฑ์ทดสอบสองแบบตอบคนละคำถาม

ตัวเลข ExploitGym ของ OpenAI เปรียบเทียบผลงานในการทดสอบที่ระบุช่องโหว่ให้ระบบลองใช้ประโยชน์ บริษัทแจ้งผล 48.5% สำหรับ GPT-6 Cyber และ 32.1% สำหรับ GPT-5.6 Cyber ต่างกัน 16.4 จุดเปอร์เซ็นต์ภายในเงื่อนไขดังกล่าว การทดสอบอีกชุดวัดว่าโมเดลอยู่ในขอบเขตงานที่มอบหมายในสภาพแวดล้อมแยกหรือไม่

การทำให้ช่องโหว่เกิดซ้ำได้เก่งขึ้นอาจช่วยให้ทีมยืนยันรายงานได้เร็วขึ้น การปฏิบัติตามขอบเขตเป็นอีกคุณสมบัติที่ต้องตรวจควบคู่กัน OpenAI รายงานว่าโมเดลทำได้ดีภายใต้เงื่อนไขที่ทดสอบ และได้คะแนนเต็มเมื่อใช้พรอมต์สำหรับการใช้งานจริงในการประเมินนั้น แผนปฏิบัติงานยังต้องกำหนดขอบเขตและกระบวนการตรวจไว้ชัดเจน

ดูจุดเริ่มต้นของเกณฑ์ทดสอบแต่ละแบบด้วย เมื่อมีช่องโหว่ที่ทราบแล้วและเป้าหมายในห้องทดลอง เอเจนต์ใช้เวลาไปกับการทำให้พฤติกรรมเกิดซ้ำได้เต็มที่ แต่ผู้ดูแลที่ได้รับรายงานคลุมเครือต้องพิจารณาว่ารายงานใช้ได้กับกรณีใด รุ่นใดได้รับผลกระทบ และแพตช์จะเปลี่ยนอะไรบ้าง ข้อสรุปเหล่านั้นต้องอาศัยหลักฐานจากโค้ดจริง

แพตช์ Firefox มีช่วงเวลาระหว่างออกรุ่นกับการติดตั้ง

การกระจายแพตช์ ภาพประกอบจัดทำโดย Telli.sh

OpenAI รายงานว่าโมเดลช่วยพบปัญหาความรุนแรงสูงใน Firefox ที่ยังไม่มีใครทราบ และลิงก์ไปยังประกาศความปลอดภัย Firefox 159 ของ Mozilla ประกาศนั้นยืนยันได้โดยอิสระว่ามีการออกแพตช์ในรุ่นดังกล่าว และระบุส่วนประกอบที่ได้รับผลกระทบ ระดับความรุนแรง และข้อมูลการออกรุ่น ส่วนจำนวนและบทบาทของโมเดลตามประกาศ OpenAI มาจากการวิจัยของบริษัทเอง

คำอธิบายของ Mozilla เมื่อวันที่ 29 ตุลาคมเกี่ยวกับช่องว่างการกระจายแพตช์ช่วยให้เห็นงานอีกครึ่งหนึ่ง เมื่อคนภายนอกเห็นแพตช์ก่อนผู้ใช้ส่วนใหญ่จะติดตั้ง ก็อาจอนุมานช่องโหว่จากการเปลี่ยนแปลงได้ การส่งโค้ดเข้าคลัง การเปิดให้อัปเดต และการที่ผู้ใช้ติดตั้งจริงเกิดขึ้นต่างเวลากัน ทีมความปลอดภัยต้องประสานทั้งสามช่วง

จึงควรตัดสินใจว่าจะเผยหลักฐานชิ้นใดเมื่อใด ขั้นตอนทำให้บั๊กเกิดซ้ำแบบกระชับช่วยให้ผู้ดูแลตรวจแพตช์ได้ แต่หากเผยแพร่เร็วเกินไปก็อาจทำให้รุ่นที่ยังไม่ได้อัปเดตตกเป็นเป้าได้ง่ายขึ้น ใช้กระบวนการเปิดเผยข้อมูลของโครงการ ให้ผู้รับผิดชอบการออกรุ่นตรวจทั้งเนื้อหาและจังหวะการเปิดเผย

จัดหลักฐานให้ผู้ตรวจทำซ้ำได้

1. ระบุระบบ รุ่น ข้อมูล และการกระทำที่อนุญาตเป็นลายลักษณ์อักษร ใช้สภาพแวดล้อมที่จำกัดเครือข่ายและสิทธิ์ใช้เครื่องมือตามขอบเขตนั้น
2. ตั้งคำถามให้เจาะจง เช่น พฤติกรรมที่ถดถอยตามรายงานเกิดซ้ำในบิลด์ทดสอบที่ได้รับผลกระทบหรือไม่ กันข้อมูลรับรองระบบจริงและบริการที่ไม่เกี่ยวข้องออกจากพื้นที่ทำงาน
3. ขอให้ระบุส่วนประกอบที่ได้รับผลกระทบ ขั้นตอนทดสอบแบบย่อในสภาพแวดล้อมที่อนุญาต และหลักฐานที่แยกพฤติกรรมตามรายงานออกจากข้อผิดพลาดทั่วไป
4. ตรวจแพตช์ที่เสนอด้วยชุดทดสอบและพฤติกรรมเดิม ให้ผู้ดูแลตรวจการเปลี่ยนแปลงและผลกระทบที่อาจเกิดขึ้นโดยไม่ตั้งใจ
5. บันทึกสิ่งที่ยืนยันแล้ว รุ่นที่ได้รับผลกระทบ และวิธีที่แพตช์จะไปถึงผู้ใช้ ใช้ช่องทางรายงานส่วนตัวของโครงการระหว่างรอเปิดเผย
6. ติดตามการออกรุ่นและการติดตั้งแยกกัน เมื่ออัปเดตออกแล้ว ทีมสนับสนุนและทีมปฏิบัติการช่วยผู้ใช้ระบุและย้ายไปยังรุ่นที่แก้ไขแล้วได้

ชุดหลักฐานที่ดีบันทึกผลเชิงลบด้วย หากทำให้ปัญหาเกิดซ้ำไม่ได้ภายใต้เงื่อนไขที่คาดไว้ คำอธิบายที่ชัดเจนช่วยให้ผู้ตรวจคนถัดไปตัดสินใจว่าจะปิดรายงานหรือลองเปลี่ยนข้อมูลทดสอบ บันทึกเช่นนี้มีค่ากว่าข้อสรุปที่มั่นใจแต่ตรวจซ้ำไม่ได้

ใช้การทดสอบถดถอยตรวจแพตช์อีกครั้ง

ผู้ดูแลอาจเริ่มจากรายงานของผู้ทดสอบภายในที่พบว่าเบราว์เซอร์หรือบริการล่มเมื่อประมวลผลข้อมูลทดสอบที่มีรูปแบบผิด คำถามแรกคือเกิดซ้ำได้กับรีวิชันใดและการตั้งค่าใด โมเดลที่ทำงานในขอบเขตช่วยคัดบันทึกที่เกี่ยวข้อง ชี้ส่วนประกอบที่อาจมีปัญหา และจัดหลักฐานขั้นต่ำให้ตรวจได้ เพื่อนร่วมทีมควรทำให้เกิดซ้ำในสภาพแวดล้อมแยกเดียวกันได้

การยืนยันแพตช์ต้องใช้การทดสอบแยกกัน นำข้อมูลทดสอบเดิมไปรันทั้งบนรีวิชันที่มีช่องโหว่และรีวิชันที่เสนอ แล้วทดสอบพฤติกรรมปกติที่เกี่ยวข้องด้วย แพตช์อาจหยุดการล่มโดยข้ามเส้นทางโค้ดที่ผู้ใช้ยังต้องใช้งาน หลักฐานควรบอกผู้ตรวจว่าระบบจัดการข้อมูลผิดรูปแบบอย่างถูกต้องหรือไม่ และข้อมูลที่ถูกต้องยังให้ผลตามคาดหรือเปล่า บันทึกผลนี้ก่อนวัดว่าโมเดลเสนอคำอธิบายได้เร็วเพียงใด

ผู้รับผิดชอบการทยอยปล่อยต้องตัดสินใจอีกขั้น โค้ดได้รับการแก้ในสาขาซอร์สและแพตช์ติดตั้งบนเครื่องที่ได้รับผลกระทบคือคนละหมุดหมาย ระบุว่าช่องทางการออกรุ่นที่ยังรองรับ เครื่องปลายทางที่มีการจัดการ และแพ็กเกจปลายทางจะได้รับการเปลี่ยนแปลงอย่างไร สำหรับบริการ ให้ตรวจว่ารีวิชันใดรับทราฟฟิกจริงและอินสแตนซ์รุ่นเก่าหยุดรับงานเร็วเพียงใด ผลทดสอบต้องผูกกับรีวิชันที่ทดสอบโดยตรง ส่วนการปล่อยใช้งานต้องมีหลักฐานของตัวเอง

ใช้ฐานนับแยกระหว่างความสามารถกับการเคารพขอบเขต

OpenAI รายงานว่าโครงการ GPT-6 Cyber พบปัญหาที่ไม่เคยทราบมาก่อน 81 รายการในระดับความรุนแรงสูงตามเกณฑ์ Mozilla และมีการประเมินความรุนแรงใหม่ 30 รายการ ตัวเลขนี้มาจากการรายงานโครงการของ OpenAI ส่วนประกาศ Firefox 159 ของ Mozilla บันทึกแพตช์และการให้เครดิตในรุ่นนั้น ทั้งสองแหล่งตอบคนละคำถาม และเมื่ออ่านคู่กัน ผู้อ่านจะทราบรุ่นที่ออกจริงและตรวจสอบได้

ExploitGym Honeypot ของ OpenAI ใช้ประเมินขอบเขตต่างหาก รายงานให้ผล 99.93% ในเงื่อนไขที่ไม่มีพรอมต์กำกับ และ 100% เมื่อใช้พรอมต์สำหรับการใช้งานจริงภายใต้การตั้งค่าที่รายงาน ตัวเลขนี้อธิบายพฤติกรรมในการทดสอบของผู้ขาย ควรอ่านพร้อมเงื่อนไขและกรณีที่ทำพลาด และยังต้องใช้เครือข่ายฝั่งไคลเอนต์ รายชื่อเป้าหมายที่อนุญาต และการตรวจสิทธิ์ผู้ปฏิบัติงานตามขอบเขต ส่วนผล ExploitGym ด้านความสามารถใช้เทียบสัดส่วนงานเทคนิคที่แก้สำเร็จ

การประเมินภายในทำให้ความต่างนี้นำไปใช้ได้จริง ลองทั้งงานที่อยู่ในขอบเขตและกรณีทดสอบนอกขอบเขตที่ไม่เป็นอันตราย ผู้ช่วยควรเดินหน้างานแรกได้ และสภาพแวดล้อมต้องหยุดการกระทำในกรณีหลังแม้โมเดลจะเสนอให้ทำ ให้ถือข้อความจากบันทึกและหน้าเว็บเป็นข้อมูล แม้ข้อความจะแสดงตนว่าเป็นคำสั่งใหม่ เก็บบันทึกการทำงานเพื่อแยกสิ่งที่โมเดลเสนอ สิ่งที่ระบบปฏิเสธ และสิ่งที่ทำจริง

ปิดรายงานเมื่อผู้รับผิดชอบตรวจหลักฐานได้

ผู้ดูแลอาจต้องส่งหลักฐานย่อแบบส่วนตัวให้เจ้าของส่วนประกอบ และจัดทำบันทึกการออกรุ่นสำหรับผู้ใช้แยกต่างหาก ตัดข้อมูลของเป้าหมายที่ไม่จำเป็นออกจากทั้งสองฉบับ เอกสารภายในที่ใช้ได้จริงควรมีรีวิชันที่ทดสอบ ขอบเขต หลักฐานเพียงพอให้ทำให้ปัญหาเกิดซ้ำอย่างปลอดภัย แพตช์ที่เสนอ และผลการตรวจ เอกสารสาธารณะควรสอดคล้องกับกระบวนการเปิดเผยของโครงการ

เกณฑ์ผ่านของกระบวนการนี้คือมีแพตช์ที่ตรวจแล้วและส่งถึงผู้ใช้ได้โดยไม่เปิดเผยข้อมูลก่อนเวลา ให้บันทึกเวลาในการทำให้ปัญหาเกิดซ้ำ ตรวจแพตช์ ออกรุ่น และติดตั้งแยกกัน การสืบสวนช่วงแรกเร็วขึ้นจะมีค่าหากทำให้ได้ข้อสรุปที่ตรวจสอบแล้วเร็วขึ้น โมเดลที่ดีขึ้นอาจลดต้นทุนช่วงแรก ขณะที่การออกรุ่นและอัปเดตยังเป็นคอขวดได้

ติดตามบิลด์ที่แก้แล้วตั้งแต่ออกรุ่นจนถึงการติดตั้ง

ทีมเบราว์เซอร์อาจมีช่องทางเดสก์ท็อปแบบเสถียร ช่องทางสนับสนุนระยะยาว และบิลด์ที่แจกผ่านตัวจัดการแพ็กเกจภายนอก แพตช์อาจไปถึงแต่ละช่องทางต่างเวลากัน ผู้รับผิดชอบต้องทราบว่าบิลด์แรกที่มีแพตช์คือรุ่นใด ผู้ใช้แต่ละช่องทางดาวน์โหลดได้เมื่อใด และไคลเอนต์ที่มีการจัดการได้ติดตั้งแล้วหรือยัง ประกาศความปลอดภัยช่วยระบุรุ่นที่แก้ ส่วนบัญชีรายการการติดตั้งช่วยบอกว่ายังมีเครื่องที่ใช้รุ่นเก่าอยู่เท่าไร

องค์กรที่จัดการเครื่องลูกข่ายสามารถเทียบบัญชีรายการกับรุ่นในประกาศได้ องค์กรเดียวกันอาจมีเครื่องสำหรับอบรมหรือห้องทดลองที่ออฟไลน์เป็นปกติ เครื่องเหล่านั้นต้องมีขั้นตอนส่งต่องานต่างหาก มอบหมายผู้รับผิดชอบกระบวนการอัปเดตที่รองรับและบันทึกว่าจะตรวจรุ่นที่แก้แล้วได้เมื่อใด หากเครื่องยังไม่ส่งผลกลับมา ให้แสดงสถานะเป็นไม่ทราบ

คำนึงถึงช่องว่างการกระจายแพตช์เมื่อตัดสินใจว่าจะเผยหลักฐานอะไรและเมื่อใด Mozilla อธิบายช่วงเสี่ยงระหว่างที่มองเห็นแพตช์กับที่ผู้ใช้ติดตั้งจริง ทีมทดสอบที่ได้รับอนุญาตเก็บข้อมูลสำหรับทำซ้ำไว้ในกระบวนการตรวจที่อนุมัติได้ระหว่างผู้รับผิดชอบเตรียมบิลด์และมาตรการลดความเสี่ยง กำหนดเวลาตรวจการติดตั้งซ้ำและรายงานเฉพาะสิ่งที่ข้อมูลยืนยันได้

บริการภายในขนาดเล็กใช้ป้ายกำกับการปล่อยและบันทึกทราฟฟิกแทนข้อมูลการอัปเดตเบราว์เซอร์ได้ การทดสอบพื้นฐานบนอินสแตนซ์ใหม่ยืนยันว่าอินสแตนซ์นั้นทำงานได้ อินสแตนซ์เก่าอาจยังรับทราฟฟิกขณะทยอยย้ายงาน แนบรีวิชันที่ทดสอบ รีวิชันที่ให้บริการ และเวลาสิ้นสุดการปล่อยไว้ในบันทึก เพื่อให้ผู้ทบทวนเหตุการณ์ทราบว่าความเสี่ยงเปลี่ยนจริงเมื่อใด

วัดเวลาจนถึงแพตช์ที่ยืนยันแล้ว

โมเดลความปลอดภัยไซเบอร์ช่วยเร่งการตรวจสอบและพบกรณีที่ทีมอาจมองข้าม ประโยชน์จะชัดเมื่อผู้ดูแลเห็นขอบเขต ทำให้ปัญหาเกิดซ้ำได้ และออกรุ่นแก้ไขอย่างรับผิดชอบ ลองวัดว่าปัญหาจริงใช้เวลานานเท่าไรจากรายงานที่มีหลักฐานถึงการออกรุ่นที่ตรวจยืนยันแล้ว ตัวชี้วัดนี้เชื่อมความสามารถของโมเดลกับเป้าหมายของงาน

แหล่งข้อมูล

• การเข้าถึงโมเดล GPT-6 Cyber ผ่าน API

• ประกาศ GPT-6 Cyber ของ OpenAI วันที่ 5 พฤศจิกายน พร้อมลิงก์เอกสารระบบ

• ประกาศ Mozilla เรื่องช่องโหว่ที่แก้ใน Firefox 159

• คำอธิบายของ Mozilla วันที่ 29 ตุลาคมเรื่องช่องว่างการกระจายแพตช์

---

หากต้องการเก็บบันทึกการสนทนาและการตัดสินใจเบื้องหลังงานให้ค้นหาได้ สร้างบัญชี Telli.sh.