Analisis AI10 menit baca

Deep Hat Sift menjadikan melewatkan eksekusi agen sebagai keputusan yang harus disetujui

Model penyaringan peristiwa Kindo mempelajari peringatan yang diabaikan agen. Cara mode pengamatan, peninjauan ambang, dan sampel kasus terlewat mengubah biaya pekerjaan agen bervolume tinggi.

K
Ken Jo

Agen operasional bisa meninjau peringatan dengan sangat baik, tetapi tetap menghabiskan sebagian besar harinya untuk menyimpulkan bahwa tidak ada tindakan yang diperlukan. Pada volume yang cukup besar, eksekusi yang benar tetapi tidak menghasilkan tindakan itu menjadi persoalan perancangan sistem.

Kindo mengumumkan Deep Hat Sift pada 28 Oktober 2026, model keputusan System One yang belajar dari penilaian agen dan memberi skor pada peristiwa masuk untuk menentukan mana yang layak memicu eksekusi. Model ini dimulai dalam mode pengamatan, dengan meneruskan semuanya, dan baru menahan peristiwa setelah seseorang menyetujui ambangnya. Pengumuman Kindo.

Bagian menariknya adalah persetujuan atas sesuatu yang tidak terjadi: eksekusi yang tidak pernah dimulai. Panduan ini menjelaskan keputusan tersebut, membandingkannya dengan pengendalian biaya yang lebih sederhana, dan menguraikan uji coba yang mengukur kasus penting yang terlewat bersama panggilan yang berhasil dihindari.

Ruang pemantauan keamanan fisik Universitas Maryland pada masa lalu dengan tayangan kamera. Pusat pemantauan keamanan fisik Universitas Maryland, dipublikasikan pada 2008. Konteks historis pemantauan peringatan; gambar ini tidak menampilkan Kindo, Sift, atau dasbor keamanan siber. Foto: UMD-Eskin, domain publik; diubah ukurannya dengan margin. Sumber gambar · Lisensi dan catatan gambar. Referensi produk resmi.

Menghemat eksekusi mengubah apa yang dapat diamati sistem

Ketika setiap peristiwa mencapai agen, sistem dapat memeriksa setiap penilaiannya. Setelah filter mulai menahan peristiwa, jalur umpan balik sederhana itu berubah. Peristiwa yang dinilai paling tidak menarik justru menjadi peristiwa yang tidak lagi mendapatkan perhatian penuh agen.

Hal ini membedakan penyaringan dari memilih model yang lebih murah untuk permintaan yang sama. Model lebih murah tetap menghasilkan keluaran untuk setiap peristiwa. Keputusan menahan peristiwa menghilangkan satu eksekusi dari jalur biasa. Rencana pengukuran harus memperhitungkan keluaran yang hilang itu.

Pandangan kami: melewatkan eksekusi adalah perilaku produk dengan penanggung jawabnya sendiri. Seseorang harus memutuskan bukti apa yang membuatnya dapat diterima, jenis peristiwa mana yang tetap dilindungi, dan apa yang terjadi ketika sumber berubah. Memperlakukannya sebagai optimasi yang tidak terlihat membuat keputusan tersebut lebih sulit ditinjau.

Bayangkan filter sebagai meja penyaluran pekerjaan. Tugas bergunanya adalah meneruskan pekerjaan yang tepat sambil mencatat apa yang ditinggalkan. Kualitas penyaluran itu penting karena spesialis di tahap berikutnya tidak bisa menyelidiki sesuatu yang tidak pernah diterimanya.

Untuk uji coba, definisikan pekerjaan agen sebelum mendefinisikan keberhasilan filter. Apakah agen mengidentifikasi insiden, meminta konteks tambahan, mengarahkan tiket, atau menyiapkan penyelidikan? “Memerlukan eksekusi” harus sesuai dengan pekerjaan itu. Jika tidak, model dapat mempelajari keputusan yang konsisten tetapi tidak sesuai dengan tujuan operasional tim.

Aliran konseptual peristiwa melewati pengamatan, persetujuan manusia, dan pemilihan eksekusi terkendali Penjelasan orisinal alur dari pengamatan menuju persetujuan yang dijelaskan dalam pengumuman Kindo. Ini adalah gambaran operasional sederhana, bukan diagram penerapan.

Mode pengamatan menciptakan pembanding sebelum mengubah penerusan

Rilis Kindo pada 28 Oktober menjelaskan periode pengamatan awal ketika Sift memberi skor pada peristiwa sementara semuanya tetap mencapai agen sasaran. Sistem kemudian menampilkan pratinjau peristiwa yang diusulkan untuk ditahan berdasarkan hasil sumber tersebut; persetujuan mencakup alasan tertulis, dan sampel acak tetap diteruskan setelah aktivasi untuk mengungkap kasus terlewat. Metode operasional yang diumumkan.

Urutan itu memberikan pembanding kontrafaktual yang berguna bagi tim operasional. Sebelum mengubah penerusan, tim dapat menanyakan eksekusi historis mana yang akan hilang pada titik operasi yang diusulkan. Pertanyaannya cukup konkret untuk ditinjau bersama orang yang bertanggung jawab atas sumber dan agen.

Pratinjau sebaiknya mencakup contoh serta agregat. Kelompok besar peristiwa rutin dapat mendominasi angka utama, sementara kategori kecil tetapi penting berkinerja buruk. Minta pemberi persetujuan memeriksa peristiwa yang mahal jika dihilangkan serta peristiwa yang berada dekat batas usulan.

Durasi pengamatan harus mengikuti cakupan. Hari kerja yang sibuk dapat berbeda dari akhir pekan, hari rilis, atau insiden yang tidak biasa. Suatu periode kalender hanya berguna jika mencakup kondisi yang penting bagi keputusan. Hindari memperlakukan jumlah hari tenang tertentu sebagai tanda kesiapan universal.

Persetujuan sebaiknya menyebutkan kondisi operasi yang dimaksud. Catatan seperti “disetujui untuk sumber dan agen ini, dengan pengecualian serta interval peninjauan ini” lebih berguna daripada sekadar ya. Catatan itu memberi tim sesuatu untuk ditinjau kembali ketika skema sumber, prompt agen, atau prioritas operasional berubah.

Tiga contoh antrean memerlukan kehati-hatian yang berbeda

Peringatan infrastruktur berulang bisa menjadi titik awal yang terbatas

Bayangkan antrean SRE yang menerima banyak pengulangan notifikasi yang sudah dikenal selama pemeliharaan rutin. Tim sudah memahami sumbernya dan memiliki jalur terdokumentasi untuk pengecualian mendesak. Uji coba dapat memeriksa apakah agen berulang kali menghabiskan waktu untuk mencapai penilaian tanpa tindakan yang sama.

Mulailah dengan memisahkan penanganan duplikat yang sudah dikenal dari keputusan baru. Jika aturan korelasi sederhana sudah menggabungkan peristiwa identik, pertahankan pembanding itu. Gunakan evaluasi model untuk memeriksa variasi tersisa yang membuat eksekusi agen penuh menjadi mahal atau tidak diperlukan.

Selama pengamatan, bandingkan usulan eksekusi yang dilewati dengan tindakan agen yang sebenarnya. Cari perubahan tingkat keparahan, layanan terdampak, atau konteks yang membuat peristiwa yang tampak serupa menjadi berbeda. Pertanyaan bergunanya adalah apakah filter mempertahankan perbedaan yang sudah dianggap penting oleh tim operasional.

Contoh kriteria keberhasilan dapat mensyaratkan tingkat peninjauan tertentu dan tidak ada peristiwa terlewat dalam kategori terlindungi selama evaluasi. Kondisi itu dipilih oleh tim; bukan jaminan universal Sift. Latihan ini seharusnya menghasilkan keputusan jelas tentang satu sumber, bukan peluncuran langsung ke seluruh organisasi.

Antrean laporan phishing memperjelas biaya kasus yang terlewat

Pertimbangkan contoh tim keamanan yang menerima laporan pesan mencurigakan dari karyawan. Banyak laporan mungkin tidak memerlukan tindakan lanjutan, tetapi pesan langka yang perlu ditindaklanjuti bisa sangat penting. Perhitungan ekonomi filter bergantung pada ketimpangan itu.

Untuk sumber ini, periksa contoh yang menyerupai korespondensi biasa tetapi mengandung tanda yang diperhatikan tim. Pertahankan alat keamanan tahap berikutnya dan proses insiden. Filter di depan agen AI sebaiknya dievaluasi untuk keputusan pengarahannya, bukan diperlakukan sebagai keseluruhan program deteksi.

Evaluasi harus melibatkan analis yang memahami konsekuensi penyelidikan yang terlewat. Pemangku kepentingan keuangan dapat membantu menghitung biaya eksekusi, tetapi tidak dapat sendirian menentukan cakupan insiden yang dapat diterima. Ambang adalah pilihan operasi bersama yang memerlukan keahlian tepat dalam persetujuannya.

Tinjau juga kesalahan agen sendiri. Belajar memprediksi apa yang diabaikan agen dapat meniru titik butanya. Kumpulan terpisah yang ditinjau analis dapat mengungkap kasus ketika agen dan filter saling sepakat tetapi keduanya bertentangan dengan hasil yang diinginkan tim.

Antrean tiket membutuhkan definisi tindakan yang berguna

Dalam contoh meja layanan, tiket dapat tampak rutin tetapi tetap membutuhkan konfirmasi penerimaan, pengatur waktu tingkat layanan, atau langkah pengarahan. Karena itu, “tidak perlu penyelidikan” dan “tidak perlu eksekusi agen” dapat menjadi label berbeda. Definisikan secara tepat apa yang boleh dihilangkan oleh eksekusi yang ditahan.

Jika diperlukan, tempatkan tindakan alur kerja wajib di luar keputusan yang ambigu. Misalnya, sistem tiket tetap bertanggung jawab atas tanda terima yang diwajibkan sementara model membantu menentukan apakah agen penyelidikan tertentu harus berjalan. Batasnya menjadi lebih mudah dijelaskan.

Uji tiket dari tim, bahasa, dan jenis permintaan berbeda. Filter yang terutama dilatih pada permintaan rutin satu departemen mungkin tidak cocok dengan pola eskalasi departemen lain. Evaluasi per sumber lebih berguna daripada menganggap volume saja membuat dua antrean setara.

Dalam uji coba ini, hasilnya mungkin berupa antrean penyelidikan yang lebih bersih, bukan jumlah tiket lebih sedikit. Ukur serah terima kepada manusia dan waktu menuju tindakan bermakna berikutnya. Evaluasi tetap terhubung dengan kualitas layanan, bukan hitungan panggilan model yang sempit.

Empat pengendalian biaya menjawab pertanyaan berbeda

Perbandingan berikut menjelaskan pilihan desain yang dapat dievaluasi tim. Ini tidak mengklaim bahwa penerapan satu vendor memenangkan semua kategori. Beberapa pengendalian dapat berada dalam sistem yang sama karena bekerja pada titik berbeda.

PengendalianKeputusan yang dibuatYang perlu diukur
Aturan deduplikasi atau korelasiApakah peristiwa ini berulang atau terkait?Insiden berbeda yang dipertahankan dan pengulangan yang digabung
Model lebih murah untuk setiap peristiwaBisakah peristiwa ini memakai analisis lebih murah?Kualitas dan biaya penuh per peristiwa
Filter pemilihan eksekusi seperti SiftApakah peristiwa ini benar-benar memerlukan agen ini?Eksekusi dihindari, kasus penting terlewat, dan cakupan peninjauan
Anggaran dan pengarahan per panggilanPanggilan model mana yang diizinkan dan terjangkau?Pengeluaran, panggilan ditolak, dan penyelesaian tugas tahap berikutnya

Perbandingan ini dimulai dari keputusan, sehingga membantu menghindari penghitungan penghematan ganda. Jika aturan korelasi sudah menghapus peristiwa berulang, filter tidak boleh juga mengklaim mencegah eksekusi berikutnya yang sama. Definisikan pembanding setelah pengendalian yang ada, lalu hitung dampak tambahannya.

Sertakan biaya operasional filter sendiri. Hosting, pemantauan, eksekusi sampel, dan peninjauan manusia semuanya masuk perhitungan uji coba. Tagihan lebih kecil untuk satu endpoint penyedia memang berguna, tetapi hanya satu komponen dari alur kerja lengkap.

Kualitas harus dibahas bersama biaya. Ambang yang menghemat banyak panggilan sambil menyembunyikan pekerjaan berguna telah mengubah layanan. Tim seharusnya mampu menjelaskan kompromi itu dalam istilah antrean sebenarnya, bukan satu persentase akurasi umum.

Gunakan sampel kasus terlewat untuk mengajukan pertanyaan yang lebih baik

FAQ Kindo, diperiksa pada 2 November, menjelaskan sampel lolos bawaan sebesar 3%, dapat diatur dari 1% hingga 5%, dan batas awal bawaan sebanyak 400 penilaian berlabel. Menurut halaman itu, pergeseran atau terlampauinya batas pemicu mengembalikan sistem ke perilaku pengamatan. Ini adalah pengaturan operasi bawaan yang dipublikasikan, bukan jaminan bukti yang cukup bagi setiap beban kerja.

Perhitungan ilustratif menunjukkan mengapa cakupan sampel penting. Misalkan 10.000 peristiwa akan ditahan dan 3% diambil sebagai sampel; hasilnya sekitar 300 peristiwa sampel. Jika kasus penting jarang muncul, tim tetap perlu memeriksa apakah sampel mewakili kategori yang penting ketika terlewat. Perhitungan ini menggambarkan persoalan pengambilan sampel dan tidak memperkirakan tingkat kesalahan Sift sebenarnya.

Laporkan setidaknya dua penyebut dalam evaluasi Anda. Satu menggambarkan peristiwa yang perlu ditindaklanjuti tetapi akan terlewat oleh filter. Yang lain menggambarkan bagian peristiwa tertahan yang kemudian dinilai perlu ditindaklanjuti. Keduanya menjawab pertanyaan operasional berbeda: cakupan pekerjaan penting dan tercampurnya kasus penting dalam kelompok yang dilewati.

Periksa irisan berdasarkan jenis sumber, tingkat keparahan, tim, dan perubahan format input jika relevan. Agregat bisa membaik ketika kategori kecil memburuk. Kategori seharusnya mencerminkan risiko dan beban operasi, bukan pengelompokan yang membuat grafik paling mudah digambar.

Terakhir, pisahkan penilaian agen dari hasil yang ditinjau secara independen. Kesepakatan dengan agen mengukur seberapa baik Sift memprediksi agen tersebut. Dengan sendirinya, ini tidak membuktikan bahwa penilaian agen benar. Kedua ukuran dapat berguna jika artinya tetap dinyatakan secara jelas.

Tinjauan konseptual menampilkan eksekusi yang dihindari bersama sampel kasus terlewat dan titik operasi yang disetujui manusia Alat bantu peninjauan keputusan orisinal. Gambar ini menunjukkan apa yang perlu dibandingkan operator dan tidak memuat nilai penghematan atau akurasi terukur. Pengambilan sampel dan persetujuan didokumentasikan pada halaman produk Kindo.

Penerapan saat ini memiliki batas yang harus dimasukkan dalam uji coba

Per 2 November, Kindo menjelaskan Sift sebagai layanan yang dihosting sendiri untuk agen Kindo. FAQ mencantumkan penerapan Docker Compose pada satu host, tanpa klaster atau failover, serta akun lokal tanpa SSO atau MFA. Tidak ada uji coba gratis atau tingkat penggunaan Sift yang terpisah. FAQ rilis saat ini.

Kondisi tersebut memengaruhi kecocokan uji coba. Tinjau batas penerapan bersama penanggung jawab identitas, ketersediaan, dan respons insiden. Demonstrasi pemberian skor yang berhasil tidak dapat menjawab apakah layanan sesuai dengan persyaratan operasional organisasi.

  1. Tentukan satu sumber, agen, dan penanggung jawab keputusan. Tuliskan pekerjaan agen serta apa yang hilang jika eksekusi dilewati. Pertahankan tanggung jawab deteksi dan penanganan tiket yang sudah ada.
  2. Tinjau persyaratan penerapan saat ini bersama Kindo. Pastikan pengaturan hosting yang tersedia dan dukungan operasional yang menjadi tanggung jawab tim.
  3. Definisikan pembanding yang disetujui. Masukkan aturan, korelasi, dan pengarahan model yang ada agar uji coba mengukur nilai tambahan.
  4. Mulai dalam mode pengamatan. Kumpulkan penilaian yang mewakili dan periksa usulan penahanan pada kategori penting sebelum mengubah penerusan.
  5. Tinjau kesalahan secara independen. Sertakan contoh yang diperiksa analis dan kasus terlindungi, bukan sepenuhnya bergantung pada kesepakatan dengan agen sasaran.
  6. Setujui titik operasi dan alasan tertentu. Catat cakupan, peninjau, rencana pengambilan sampel, dan kondisi yang memerlukan tinjauan ulang.
  7. Uji jalur kembali ke pengamatan. Pastikan apa yang dilihat operator dan bagaimana aliran penuh kembali mencapai agen. Pertahankan biaya, kualitas, dan ketersediaan dalam penilaian akhir.

Hasilnya seharusnya berupa keputusan operasional terbatas dengan penanggung jawab. Jika uji coba menemukan kategori yang tidak pasti, mempertahankannya di jalur analisis penuh adalah hasil yang berguna. Tujuannya mempelajari di mana penahanan dapat dibenarkan, bukan memaksimalkan peristiwa yang dilewati pada kesempatan pertama.

Panggilan yang dihindari bernilai ketika Anda bisa menjelaskan pekerjaan yang tidak disembunyikannya

Sift membawa pertanyaan penting ke alur kerja agen: peristiwa mana yang layak mendapat eksekusi penuh, dan siapa yang bertanggung jawab atas batas itu? Pendekatan yang dimulai dari pengamatan memberi tim tempat memeriksa keputusan sebelum menggunakannya untuk mengubah penerusan.

Ukuran yang bertahan lama adalah apakah operasi dapat menunjukkan eksekusi yang dihemat, kasus terlewat yang diamati, dan alasan ambang saat ini masih sesuai. Itulah yang mengubah ketiadaan aktivitas menjadi keputusan yang dapat dipertanggungjawabkan seseorang.

Sumber

Simpan materi di balik sebuah keputusan

Telli.sh adalah salah satu pilihan untuk menyimpan materi sumber yang diizinkan bersama catatan yang telah Anda tinjau. Buat ruang kerja catatan.


← Kembali ke blog