GPT-6 Cyber menyerlahkan batas kebenaran ujian keselamatan

Penyelenggara menerima laporan tentang pepijat pelayar. Sebelum meminta ejen menghasilkan semula masalah itu, pasukan memerlukan binaan ujian, senarai jelas sistem yang dibenarkan dan rekod perubahan yang akan membaikinya. Menemui kelemahan yang munasabah ialah permulaan kerja tersebut.

OpenAI memperkenalkan GPT-6 Cyber pada 5 November dan berkata akses awal melalui API dan Codex terhad kepada pelanggan terpilih Daybreak Red yang sudah diluluskan. OpenAI menerangkan latihan model untuk penyelidikan kelemahan serta pematuhan kepada skop ujian yang dibenarkan. Hasil yang disertakan dan rekod pembaikan Mozilla dalam Firefox membolehkan kita membincangkan kerja penemuan serta proses keluaran yang membawa perlindungan kepada pengguna.

Bangunan di San Francisco yang menempatkan ibu pejabat OpenAI pada Jun 2025. Foto konteks oleh Coolcaesar, dipangkas dan diubah saiz, CC BY 4.0. Sumber imej · Lesen.

Ujian yang berguna mempunyai sempadan yang boleh dikuatkuasakan

Ujian keselamatan yang dibenarkan. Ilustrasi asal Telli.sh.

Pasukan keselamatan boleh membenarkan ejen memeriksa repositori, menjalankan ujian terhadap perkhidmatan tempatan dan menulis cadangan tampalan. Akses kepada repositori ujian tidak memberi kebenaran untuk mengimbas perkhidmatan berkaitan atau menghubungi hos lain. Terangkan sasaran yang dibenarkan kepada ejen dan gunakan persekitaran untuk menguatkuasakan sempadan itu.

Anggap skop yang diluluskan sebagai persetujuan antara pengendali dan alat. Sekatan rangkaian melindungi sempadan walaupun model salah faham permintaan. Kebenaran alat boleh menghalang penulisan kepada sistem yang tiada kaitan dengan tugas. Log boleh menunjukkan sumber yang benar-benar diakses kepada penyemak.

Butiran berubah mengikut persekitaran. Binaan luar talian mungkin memadai untuk pepijat penghurai. Menguji ciri yang terdedah kepada rangkaian mungkin memerlukan perkhidmatan yang sengaja anda hos dan benarkan untuk tujuan itu. Dalam kedua-dua keadaan, pasukan patut dapat membina semula skop daripada rekod. Arahan umum seperti “uji apa sahaja yang diperlukan” menyukarkan penentuan bila kerja selesai atau perkara yang perlu diperiksa penyemak selepas itu.

Dua soalan penanda aras memerlukan jawapan berasingan

Angka ExploitGym OpenAI membandingkan prestasi dalam penilaian yang memberi sistem kelemahan tertentu untuk dieksploitasi. Syarikat melaporkan 48.5% bagi GPT-6 Cyber dan 32.1% bagi GPT-5.6 Cyber. Perbezaannya ialah 16.4 mata peratusan dalam ujian itu. Ujian lain memeriksa sama ada model kekal dalam skop tugasan dalam persekitaran terasing.

Ini dua hasil berasingan. Sistem yang lebih mampu menghasilkan semula kelemahan memberi pasukan keselamatan peluang mengesahkan laporan dengan lebih cepat. Pematuhan skop perlu disemak bersama kebolehan itu. OpenAI melaporkan pematuhan yang tinggi dalam keadaan ujiannya, termasuk keputusan sempurna dengan gesaan pelaksanaan dalam penilaian itu. Pelan operasi masih memerlukan sempadan yang jelas dan proses semakan.

Perhatikan titik permulaan setiap penanda aras. Dengan kelemahan yang diketahui dan sasaran makmal, ejen boleh menumpukan kerja pada penghasilan semula kelakuan. Penyelenggara yang menerima laporan kabur perlu menentukan sama ada laporan itu terpakai, versi mana yang terjejas dan perkara yang berubah dengan tampalan. Keputusan itu memerlukan bukti daripada pangkalan kod sebenar.

Pembaikan Firefox mempunyai tempoh keluaran

Pengedaran tampalan. Ilustrasi asal Telli.sh.

OpenAI melaporkan bahawa model membantu menemui isu Firefox berketerukan tinggi yang belum diketahui dan memautkan nasihat keselamatan Mozilla bagi Firefox 159. Nasihat itu secara bebas mengesahkan bahawa pembaikan dikeluarkan dalam versi tersebut. Baca nasihat itu untuk mengetahui komponen yang terjejas, keterukan dan maklumat keluaran. Bilangan dan atribusi kepada model dalam pengumuman OpenAI menerangkan kempen penyelidikannya sendiri.

Penjelasan Mozilla pada 29 Oktober tentang jurang tampalan membincangkan peringkat seterusnya. Apabila pembaikan boleh dilihat sebelum ramai pengguna memasangnya, seseorang mungkin menyimpulkan masalah asas dengan mengkaji perubahan itu. Memasukkan pembaikan ke repositori, menyediakannya melalui kemas kini dan melihat pengguna memasangnya berlaku pada masa yang berlainan. Pasukan keselamatan perlu menyelaraskan ketiga-tiganya.

Ini salah satu sebab untuk memutuskan bukti yang patut dikongsi dan bila ia dikongsi. Penghasilan semula yang ringkas membantu penyelenggara mengesahkan tampalan. Penghasilan semula yang diterbitkan terlalu awal juga boleh memudahkan penyasaran versi yang belum ditampal. Ikut proses pendedahan projek dan beri pihak yang menjaga keluaran peluang mengesahkan kandungan dan waktunya.

Sediakan pakej semakan yang boleh dihasilkan semula

1. Tetapkan secara bertulis sistem, versi, data dan tindakan yang dibenarkan. Jalankan kerja dalam persekitaran dengan akses rangkaian dan alat yang sepadan dengan skop.
2. Beri model soalan yang tepat, misalnya sama ada regresi yang dilaporkan boleh dihasilkan semula pada binaan ujian yang terjejas. Asingkan kelayakan akses produksi dan perkhidmatan yang tidak berkaitan daripada ruang kerja.
3. Minta komponen yang terjejas, ujian minimum dalam persekitaran yang dibenarkan dan bukti yang membezakan kelakuan dilaporkan daripada ralat biasa.
4. Sahkan cadangan tampalan terhadap ujian dan kelakuan sedia ada. Minta penyelenggara memeriksa perubahan dan kesan yang tidak dijangka.
5. Rekod perkara yang disahkan, versi yang terjejas dan cara pembaikan sampai kepada pengguna. Gunakan saluran laporan tertutup projek apabila pendedahan belum dibuat.
6. Jejaki keluaran dan pemasangan secara berasingan. Selepas kemas kini dikeluarkan, pasukan sokongan dan operasi boleh membantu pengguna mengenal pasti dan beralih kepada versi yang telah dibaiki.

Pakej yang baik turut merekod hasil negatif. Jika laporan tidak dapat dihasilkan semula dalam keadaan yang dijangka, penerangan tepat membantu penyemak seterusnya memutuskan sama ada menutupnya atau mencuba data ujian lain. Rekod lebih bernilai daripada kesimpulan yakin yang tidak boleh disemak semula.

Semak semula pembaikan dengan ujian regresi

Penyelenggara boleh bermula dengan laporan penguji dalaman yang melihat pelayar atau perkhidmatan ranap ketika memproses data ujian yang cacat formatnya. Soalan awal ialah sama ada kegagalan boleh dihasilkan semula pada semakan tertentu dalam konfigurasi yang didokumenkan. Model dengan skop terhad boleh membantu mengasingkan log berkaitan, mengenal pasti komponen yang mungkin terlibat dan menyusun pakej semakan minimum. Rakan sepasukan sepatutnya dapat menghasilkan semula pemerhatian dalam persekitaran terasing yang sama.

Pengesahan tampalan memerlukan ujian berasingan. Jalankan data ujian asal pada semakan rentan dan semakan calon, kemudian periksa kelakuan biasa yang berkaitan. Pembaikan boleh menghentikan ranap dengan melangkau laluan kod yang diperlukan pengguna sah. Bukti perlu menunjukkan sama ada input cacat ditangani dengan betul dan input sah masih memberikan hasil yang dijangka. Rekod keadaan itu sebelum mengukur seberapa cepat model mencadangkan penjelasan.

Pemilik pelaksanaan berperingkat menghadapi keputusan lain. Pembaikan dalam cabang sumber dan pembaikan yang sudah dipasang pada komputer terjejas ialah dua pencapaian berbeza. Tentukan cara siri keluaran disokong, titik akhir terurus dan pakej hiliran menerima perubahan. Untuk perkhidmatan, sahkan semakan produksi yang mengendalikan trafik dan masa yang diambil tika lama untuk berhenti menerimanya. Hasil ujian perlu dikaitkan dengan semakan tepat dan tidak menggantikan bukti pelaksanaan.

Gunakan penyebut berbeza untuk ujian kebolehan dan skop

OpenAI melaporkan bahawa kempen GPT-6 Cyber menemukan 81 isu yang belum diketahui dengan keterukan tinggi mengikut Mozilla dan 30 penilaian semula keterukan. Ini catatan kempen OpenAI. Nasihat Mozilla untuk Firefox 159 mendokumenkan pembaikan dan kredit dalam keluaran tersebut. Kedua-dua sumber menjawab soalan berbeza dan berguna bersama kerana nasihat itu memberi pembaca versi keluaran tertentu untuk disahkan.

ExploitGym Honeypot OpenAI ialah penilaian skop yang berasingan. Laporannya memberikan 99.93% bagi keadaan tanpa gesaan dan 100% dengan gesaan pelaksanaan dalam persediaan yang dilaporkan. Angka itu menerangkan kelakuan dalam penilaian vendor. Baca bersama keadaan ujian dan kes kegagalan. Rangkaian klien, senarai sasaran dibenarkan dan semakan kebenaran pengendali masih merupakan kawalan berasingan. Hasil kebolehan ExploitGym yang berasingan membandingkan bahagian tugas teknikal yang diselesaikan.

Penilaian dalaman boleh menggunakan perbezaan tersebut. Uji tugas dalam skop dan data ujian yang selamat di luar skop. Pembantu yang berguna boleh memajukan tugas pertama. Persekitaran mesti menghalang tindakan terhadap yang kedua walaupun model mencadangkannya. Semak teks gesaan daripada log dan halaman web sebagai data, termasuk teks yang menyamar sebagai arahan baharu. Simpan rekod pelaksanaan supaya pengendali dapat membezakan tindakan yang dicadangkan, tindakan yang ditolak dan tindakan yang benar-benar dijalankan.

Tutup laporan apabila pihak yang betul boleh mengesahkannya

Penyelenggara mungkin perlu berkongsi himpunan bukti kecil secara tertutup dengan pemilik komponen dan nota keluaran berasingan dengan pengguna. Keluarkan data sasaran yang tidak diperlukan daripada kedua-duanya. Himpunan dalaman yang berguna mengandungi semakan yang diuji, skop yang dimaksudkan, bukti yang cukup untuk menghasilkan semula masalah dengan selamat, cadangan pembaikan dan hasil pengesahan. Nota awam perlu mengikut proses pendedahan projek.

Ujian penerimaan aliran kerja ialah pembaikan yang disahkan dan boleh sampai kepada pengguna tanpa pendedahan terlalu awal. Rekod masa penghasilan semula, masa semakan, masa keluaran dan kadar pemasangan secara berasingan. Penyiasatan awal yang lebih pantas bernilai apabila ia mempercepat hasil yang disahkan. Model yang bertambah baik boleh mengurangkan kos peringkat pertama sementara kerja keluaran dan kemas kini masih menjadi faktor pembatas.

Ikuti binaan yang dibaiki melalui keluaran dan pemasangan

Pasukan pelayar mungkin mempunyai saluran desktop stabil, saluran sokongan lanjutan dan binaan yang diedarkan melalui pengurus pakej hiliran. Tampalan boleh muncul pada masa berlainan dalam setiap saluran. Pemilik keluaran perlu mengetahui binaan pertama yang mengandungi pembaikan, bila pengguna setiap saluran boleh mendapatkannya dan sama ada klien terurus sudah memasangnya. Nasihat awam boleh mengenal pasti versi yang telah dibaiki. Inventori pelaksanaan boleh menunjukkan bahagian armada yang masih menggunakan versi lebih lama.

Organisasi dengan klien terurus boleh membandingkan inventori dengan senarai versi dalam nasihat. Organisasi yang sama mungkin mempunyai mesin latihan atau makmal yang biasanya di luar talian. Mesin itu memerlukan serahan yang berbeza. Tetapkan pemilik prosedur kemas kini yang disokong dan rekod bila versi yang telah dibaiki boleh disahkan. Tandakan mesin yang belum melapor sebagai berstatus tidak diketahui dalam inventori.

Pertimbangkan jurang tampalan apabila menentukan bukti yang akan diterbitkan dan waktunya. Catatan Mozilla menerangkan tempoh risiko antara tampalan yang boleh dilihat dan pemasangan kemas kini. Pasukan ujian yang diberi kuasa boleh menyimpan bahan penghasilan semula dalam proses semakan yang diluluskan sementara pemilik keluaran menyediakan binaan dan langkah mitigasi. Tetapkan masa yang jelas untuk menyemak semula pemasangan dan laporkan perkara yang dapat dibuktikan oleh data.

Bagi perkhidmatan dalaman kecil, latihan yang sama boleh menggunakan label pelaksanaan dan log trafik untuk menggantikan telemetri kemas kini pelayar. Ujian asas pada tika gantian menunjukkan pengganti berfungsi. Tika lama mungkin terus melayan trafik sementara pengalihan berlangsung. Lampirkan semakan yang diuji, semakan yang melayan trafik dan masa selesai supaya semakan insiden kemudian boleh menentukan waktu risiko benar-benar berubah.

Kira masa sehingga pembaikan disahkan

Model keselamatan siber boleh mempercepat pengesahan dan menemukan kes yang mungkin terlepas pandang. Penambahbaikan itu paling bermakna apabila penyelenggara boleh melihat skop, menghasilkan semula hasil dan mengedarkan pembaikan secara bertanggungjawab. Ukur masa yang diambil oleh masalah sebenar dari laporan yang dapat dipertahankan hingga keluaran yang disahkan. Ukuran itu menghubungkan kebolehan model dengan tujuan kerja.

Sumber

• Akses model API GPT-6 Cyber

• Pengumuman GPT-6 Cyber OpenAI pada 5 November dan kad sistem yang dipautkan

• Nasihat Mozilla tentang kelemahan yang dibaiki dalam Firefox 159

• Penjelasan Mozilla pada 29 Oktober tentang jurang tampalan

---

Untuk menyimpan rekod perbualan dan keputusan di sebalik kerja anda yang boleh dicari, Cipta akaun Telli.sh.