บทวิเคราะห์ AIอ่าน 22 นาที

Deep Hat Sift ทำให้การข้ามงานเอเจนต์เป็นการตัดสินใจที่ต้องมีผู้อนุมัติ

โมเดลคัดแยกเหตุการณ์ของ Kindo เรียนรู้ว่าการแจ้งเตือนใดถูกเอเจนต์ยกเลิก สำรวจโหมดเฝ้าดู การอนุมัติเกณฑ์ และการสุ่มตรวจเหตุการณ์ตกหล่นที่เปลี่ยนต้นทุนงานเอเจนต์ปริมาณมาก

K
Ken Jo

เอเจนต์ปฏิบัติการอาจตรวจการแจ้งเตือนได้ดีมาก แต่ยังใช้เวลาเกือบทั้งวันสรุปว่าไม่ต้องทำอะไร เมื่อปริมาณมากพอ การทำงานที่ถูกต้องแต่ไม่มีเหตุการณ์ต่อเหล่านี้กลายเป็นปัญหาออกแบบระบบ

Kindo ประกาศ Deep Hat Sift เมื่อวันที่ 28 ตุลาคม 2026 เป็นโมเดลตัดสินใจ System One ที่เรียนรู้จากคำตัดสินของเอเจนต์และให้คะแนนว่าเหตุการณ์ใดควรได้รับการประมวลผล เริ่มด้วยโหมดเฝ้าดูที่ยังส่งผ่านทุกเหตุการณ์ และเริ่มระงับการส่งต่อเมื่อมีคนอนุมัติเกณฑ์แล้วเท่านั้น ประกาศของ Kindo

ส่วนที่น่าสนใจคือการอนุมัติสิ่งที่ไม่เกิดขึ้น นั่นคืองานที่ไม่เริ่มทำ บทความนี้อธิบายการตัดสินใจนั้น เปรียบเทียบกับวิธีควบคุมต้นทุนที่ง่ายกว่า และเสนอการนำร่องที่วัดเหตุการณ์สำคัญตกหล่นควบคู่กับการเรียกที่หลีกเลี่ยงได้

ห้องเฝ้าระวังความปลอดภัยทางกายภาพของ University of Maryland ในอดีต พร้อมจอภาพจากกล้อง ศูนย์เฝ้าระวังความปลอดภัยทางกายภาพของ University of Maryland เผยแพร่ในปี 2008 ใช้ประกอบบริบทการเฝ้าระวังในอดีต ไม่ใช่ภาพ Kindo, Sift หรือแดชบอร์ดความปลอดภัยไซเบอร์ ภาพ: UMD-Eskin, สาธารณสมบัติ; ปรับขนาดพร้อมเพิ่มขอบ แหล่งภาพ · ใบอนุญาตและหมายเหตุภาพ ข้อมูลผลิตภัณฑ์ทางการ

การประหยัดงานหนึ่งครั้งเปลี่ยนสิ่งที่ระบบสังเกตเห็น

เมื่อทุกเหตุการณ์ถึงเอเจนต์ ระบบตรวจคำตัดสินทุกครั้งได้ แต่เมื่อเริ่มระงับบางเหตุการณ์ เส้นทางป้อนกลับที่ตรงไปตรงมานั้นเปลี่ยนไป เหตุการณ์ที่ถูกมองว่าน่าสนใจน้อยที่สุดกลายเป็นเหตุการณ์ที่ไม่ได้รับความสนใจเต็มรูปแบบจากเอเจนต์อีก

การกรองจึงต่างจากเลือกโมเดลราคาถูกลงสำหรับคำขอเดิม โมเดลถูกลงยังสร้างผลให้ทุกเหตุการณ์ ส่วนการไม่ส่งต่อเอาการทำงานหนึ่งครั้งออกจากเส้นทางปกติ แผนการวัดต้องคำนึงถึงผลลัพธ์ที่หายไป

มุมมองของเรา: การข้ามงานเป็นพฤติกรรมผลิตภัณฑ์ที่ต้องมีผู้รับผิดชอบ ต้องมีคนตัดสินว่าหลักฐานใดทำให้ยอมรับได้ เหตุการณ์ประเภทใดยังได้รับการคุ้มครอง และจะทำอย่างไรเมื่อแหล่งข้อมูลเปลี่ยน การมองเป็นการปรับประสิทธิภาพที่มองไม่เห็นทำให้ตรวจทานการตัดสินใจเหล่านี้ยากขึ้น

คิดว่าตัวกรองเป็นโต๊ะจัดส่งงาน หน้าที่ที่มีประโยชน์คือส่งงานที่ถูกต้องไปข้างหน้า พร้อมเก็บบันทึกสิ่งที่ค้างไว้ คุณภาพการจัดส่งสำคัญ เพราะผู้เชี่ยวชาญปลายทางตรวจสิ่งที่ไม่เคยได้รับไม่ได้

สำหรับการนำร่อง ให้นิยามงานเอเจนต์ก่อนนิยามความสำเร็จของตัวกรอง เอเจนต์ระบุเหตุขัดข้อง ขอข้อมูลเพิ่ม จัดคิวตั๋ว หรือเตรียมการสืบสวนหรือไม่ “ต้องทำงาน” ควรตรงกับหน้าที่นั้น มิฉะนั้นโมเดลอาจเรียนรู้การตัดสินใจที่สม่ำเสมอแต่ไม่ตรงเป้าหมายปฏิบัติการของทีม

สายเหตุการณ์เชิงแนวคิดผ่านการสังเกตแบบเฝ้าดู การอนุมัติโดยคน และการเลือกงานอย่างควบคุม คำอธิบายที่จัดทำขึ้นสำหรับเวิร์กโฟลว์จากโหมดเฝ้าดูสู่การอนุมัติใน ประกาศของ Kindo เป็นมุมมองการทำงานแบบย่อ ไม่ใช่แผนภาพการติดตั้ง

โหมดเฝ้าดูสร้างฐานเปรียบเทียบก่อนเปลี่ยนการส่งต่อ

ประกาศวันที่ 28 ตุลาคมของ Kindo อธิบายช่วงสังเกตแรกที่ Sift ให้คะแนนเหตุการณ์ ขณะทุกเหตุการณ์ยังถึงเอเจนต์เป้าหมาย จากนั้นแสดงภาพล่วงหน้าว่าจะระงับอะไรเทียบกับผลของแหล่งนั้น การอนุมัติต้องมีเหตุผลเป็นลายลักษณ์อักษร และหลังเปิดใช้ยังสุ่มส่งผ่านเพื่อเผยเหตุการณ์ตกหล่น วิธีทำงานที่ประกาศ

ลำดับนี้ทำให้ทีมปฏิบัติการเปรียบเทียบกับสถานการณ์สมมติที่มีประโยชน์ ก่อนเปลี่ยนการส่งต่อ ทีมถามได้ว่าที่ค่าการทำงานที่เสนอ งานในอดีตใดจะหายไป คำถามนี้เป็นรูปธรรมพอให้ผู้รับผิดชอบแหล่งข้อมูลและเอเจนต์ตรวจร่วมกัน

ภาพล่วงหน้าควรมีตัวอย่างควบคู่กับยอดรวม เหตุการณ์ประจำกลุ่มใหญ่อาจครองตัวเลขพาดหัว ขณะที่หมวดเล็กแต่สำคัญมีผลแย่ ขอให้ผู้อนุมัติตรวจเหตุการณ์ที่หากละเลยจะมีต้นทุนสูง รวมถึงเหตุการณ์ใกล้เส้นแบ่งที่เสนอ

ระยะเวลาสังเกตควรตามความครอบคลุม วันทำงานที่ยุ่งอาจต่างจากวันหยุด วันออกรุ่น หรือเหตุขัดข้องผิดปกติ ช่วงปฏิทินมีประโยชน์เมื่อมีสภาวะที่สำคัญต่อการตัดสินใจ อย่าถือว่าจำนวนวันที่เงียบสงบเป็นสัญญาณพร้อมใช้งานสากล

การอนุมัติควรระบุสภาพการใช้งานที่ตั้งใจ บันทึกอย่าง “อนุมัติสำหรับแหล่งและเอเจนต์นี้ โดยมีข้อยกเว้นและรอบตรวจนี้” มีค่ากว่าคำว่าใช่เพียงคำเดียว ทีมจะกลับมาทบทวนได้เมื่อสคีมาแหล่งข้อมูล พรอมป์ต์เอเจนต์ หรือความสำคัญของงานเปลี่ยน

คิวตัวอย่างสามแบบต้องระวังต่างกัน

การแจ้งเตือนโครงสร้างพื้นฐานซ้ำ ๆ เป็นจุดเริ่มต้นที่จำกัดขอบเขตได้ดี

สมมติคิว SRE ได้รับการแจ้งเตือนที่รู้จักซ้ำมากระหว่างบำรุงรักษาตามปกติ ทีมเข้าใจแหล่งข้อมูลและมีเส้นทางข้อยกเว้นเร่งด่วนที่บันทึกไว้แล้ว การนำร่องอาจตรวจว่าเอเจนต์เสียเวลาซ้ำเพื่อได้คำตัดสินเดิมว่าไม่ต้องดำเนินการหรือไม่

เริ่มจากแยกการจัดการข้อมูลซ้ำที่ทราบแล้วออกจากการตัดสินใจใหม่ หากกฎเชื่อมโยงอย่างง่ายรวมเหตุการณ์เหมือนกันได้อยู่แล้ว ให้เก็บเป็นฐานเดิม ใช้การประเมินโมเดลกับความแตกต่างที่เหลือซึ่งทำให้การรันเอเจนต์เต็มรูปแบบแพงหรือไม่จำเป็น

ระหว่างโหมดเฝ้าดู เปรียบเทียบสิ่งที่เสนอให้ข้ามกับสิ่งที่เอเจนต์ทำจริง มองหาการเปลี่ยนความรุนแรง บริการที่ได้รับผล หรือบริบทที่ทำให้เหตุการณ์คล้ายกันภายนอกแตกต่างกัน คำถามคือ ตัวกรองรักษาความต่างที่ฝ่ายปฏิบัติการเห็นว่าสำคัญอยู่แล้วหรือไม่

เกณฑ์สำเร็จตัวอย่างอาจกำหนดอัตราตรวจทานและไม่พลาดเหตุการณ์ในหมวดที่คุ้มครองระหว่างประเมิน ทีมเป็นผู้เลือกเงื่อนไขเหล่านี้ ไม่ใช่การรับประกันทั่วไปของ Sift แบบฝึกควรให้การตัดสินใจชัดสำหรับแหล่งเดียว แทนที่จะเปิดใช้ทั่วองค์กรทันที

คิวรายงานฟิชชิงทำให้ต้นทุนของการพลาดชัดขึ้น

พิจารณาทีมความปลอดภัยตัวอย่างที่พนักงานรายงานข้อความน่าสงสัย หลายรายงานอาจไม่ต้องทำต่อ แต่ข้อความที่ต้องดำเนินการซึ่งเกิดไม่บ่อยอาจสำคัญอย่างมาก เศรษฐศาสตร์ของตัวกรองขึ้นกับความไม่สมมาตรนี้

สำหรับแหล่งนี้ ตรวจตัวอย่างที่คล้ายการติดต่อธรรมดาแต่มีสัญญาณที่ทีมสนใจ คงเครื่องมือความปลอดภัยปลายทางและกระบวนการรับมือเหตุการณ์ไว้ ประเมินตัวกรองหน้าเอเจนต์ AI สำหรับการจัดเส้นทางนั้น แทนที่จะถือว่าเป็นโครงการตรวจจับทั้งหมด

การประเมินควรมีนักวิเคราะห์ที่เข้าใจผลของการไม่สืบสวน ผู้รับผิดชอบการเงินช่วยคำนวณต้นทุนรันได้ แต่กำหนดความครอบคลุมเหตุการณ์ที่ยอมรับได้เพียงคนเดียวไม่ได้ เกณฑ์เป็นตัวเลือกการทำงานร่วมที่ต้องมีผู้เชี่ยวชาญเหมาะสมอนุมัติ

ตรวจข้อผิดพลาดของเอเจนต์เองด้วย การเรียนรู้เพื่อทำนายว่าเอเจนต์จะยกเลิกอะไรอาจทำซ้ำจุดบอดของเอเจนต์ ชุดตัวอย่างที่นักวิเคราะห์ตรวจแยกช่วยเผยกรณีที่เอเจนต์กับตัวกรองเห็นตรงกัน แต่ทั้งคู่ไม่ตรงผลที่ทีมต้องการ

คิวตั๋วงานต้องนิยามการกระทำที่มีประโยชน์

ในศูนย์บริการตัวอย่าง ตั๋วอาจดูเป็นงานประจำแต่ยังต้องตอบรับ เริ่มจับเวลาระดับบริการ หรือจัดเส้นทาง ดังนั้น “ไม่ต้องสืบสวน” กับ “ไม่ต้องรันเอเจนต์” อาจเป็นคนละป้าย ต้องนิยามให้แน่ชัดว่าการระงับงานละเว้นอะไรได้

เมื่อจำเป็น ให้แยกการกระทำบังคับออกจากการตัดสินใจที่กำกวม เช่น ระบบตั๋วรับผิดชอบการตอบรับที่จำเป็นต่อไป ขณะที่โมเดลช่วยตัดสินว่าเอเจนต์สืบสวนเฉพาะตัวควรทำงานหรือไม่ วิธีนี้อธิบายขอบเขตง่ายขึ้น

ทดสอบตั๋วจากหลายทีม หลายภาษา และหลายประเภทคำขอ ตัวกรองที่ฝึกจากงานประจำของฝ่ายหนึ่งเป็นหลักอาจไม่เหมาะกับรูปแบบยกระดับของอีกฝ่าย การประเมินเฉพาะแหล่งมีประโยชน์กว่าสมมติว่าคิวสองคิวเทียบเท่ากันเพราะมีปริมาณเท่ากัน

ผลการนำร่องนี้อาจเป็นคิวสืบสวนที่สะอาดขึ้น ไม่ใช่จำนวนตั๋วน้อยลง วัดการส่งต่อให้คนและเวลาถึงการกระทำถัดไปที่มีความหมาย เพื่อให้การประเมินเชื่อมกับคุณภาพบริการ แทนที่จะนับการเรียกโมเดลอย่างแคบ

วิธีควบคุมต้นทุนสี่แบบตอบคำถามต่างกัน

การเปรียบเทียบต่อไปอธิบายตัวเลือกออกแบบที่ทีมประเมินได้ ไม่ได้กล่าวว่าการใช้งานของผู้ขายรายใดชนะทุกหมวด หลายวิธีอาจอยู่ในระบบเดียวกันเพราะทำงานคนละจุด

วิธีควบคุมการตัดสินใจที่ทำสิ่งที่ควรวัด
กฎกำจัดข้อมูลซ้ำหรือเชื่อมโยงเหตุการณ์เหล่านี้ซ้ำหรือเกี่ยวข้องกันหรือไม่เหตุขัดข้องต่างกันที่ยังรักษาไว้และรายการซ้ำที่รวมได้
โมเดลถูกลงสำหรับทุกเหตุการณ์เหตุการณ์นี้ใช้การวิเคราะห์ราคาต่ำกว่าได้หรือไม่คุณภาพและต้นทุนรวมต่อเหตุการณ์
ตัวกรองเลือกงานอย่าง Siftเหตุการณ์นี้จำเป็นต้องใช้เอเจนต์นี้หรือไม่งานที่หลีกเลี่ยง เหตุการณ์ที่ควรทำแต่พลาด และความครอบคลุมการตรวจ
งบต่อการเรียกและการจัดเส้นทางการเรียกโมเดลใดได้รับอนุญาตและจ่ายไหวค่าใช้จ่าย การเรียกที่ปฏิเสธ และงานปลายทางที่เสร็จ

การเริ่มจากการตัดสินใจช่วยไม่ให้นับการประหยัดซ้ำ หากกฎเชื่อมโยงลบเหตุการณ์ซ้ำไปแล้ว ตัวกรองไม่อาจอ้างว่าป้องกันงานปลายทางเดียวกันได้อีก กำหนดฐานหลังวิธีควบคุมเดิม แล้วคำนวณผลที่เพิ่มขึ้น

รวมต้นทุนทำงานของตัวกรองเองด้วย โฮสติ้ง การเฝ้าระวัง งานที่สุ่มส่งผ่าน และการตรวจโดยคนล้วนอยู่ในบัญชีการนำร่อง บิลปลายทางผู้ให้บริการหนึ่งลดลงมีประโยชน์ แต่เป็นเพียงองค์ประกอบหนึ่งของเวิร์กโฟลว์ทั้งหมด

ต้องคุยคุณภาพควบคู่ต้นทุน เกณฑ์ที่ประหยัดการเรียกมากแต่ซ่อนงานมีประโยชน์ได้เปลี่ยนบริการไปแล้ว ทีมควรอธิบายข้อแลกเปลี่ยนด้วยภาษาของคิวจริง ไม่ใช่เปอร์เซ็นต์ความแม่นยำทั่วไปเพียงตัวเดียว

ใช้ตัวอย่างเหตุการณ์ตกหล่นเพื่อถามให้ดีขึ้น

FAQ ของ Kindo ที่ตรวจเมื่อ 2 พฤศจิกายน ระบุ การสุ่มปล่อยผ่านเริ่มต้น 3% ปรับได้ 1% ถึง 5% และจำนวนคำตัดสินติดป้ายขั้นต่ำเริ่มต้น 400 รายการ ระบุว่าเมื่อข้อมูลเปลี่ยนแนวหรือทะลุเพดานกระตุ้น ระบบกลับสู่พฤติกรรมเฝ้าดู นี่คือค่าเริ่มต้นการทำงานที่เผยแพร่ ไม่ใช่รับประกันว่าหลักฐานเพียงพอทุกงาน

การคำนวณตัวอย่างแสดงว่าความครอบคลุมการสุ่มสำคัญอย่างไร สมมติจะระงับ 10,000 เหตุการณ์ และสุ่ม 3% จะได้ประมาณ 300 เหตุการณ์ หากกรณีสำคัญพบยาก ทีมยังต้องตรวจว่าตัวอย่างแทนหมวดที่การพลาดมีผลหรือไม่ เลขนี้อธิบายคำถามการสุ่ม ไม่ได้ประมาณอัตราผิดจริงของ Sift

ในการประเมินของคุณ ควรรายงานตัวหารอย่างน้อยสองแบบ แบบหนึ่งอธิบายเหตุการณ์ที่ควรดำเนินการแต่ตัวกรองจะพลาด อีกแบบอธิบายสัดส่วนของเหตุการณ์ที่ระงับแล้วภายหลังพบว่าควรทำ ทั้งสองตอบคำถามต่างกัน ได้แก่ ความครอบคลุมงานสำคัญ และการปะปนของงานสำคัญในชุดที่ข้าม

แยกดูตามชนิดแหล่ง ความรุนแรง ทีม และรูปแบบอินพุตที่เปลี่ยนเมื่อเกี่ยวข้อง คะแนนรวมอาจดีขึ้นขณะที่หมวดเล็กแย่ลง หมวดควรสะท้อนความเสี่ยงและงานของฝ่ายปฏิบัติการ แทนการจัดกลุ่มที่วาดกราฟง่ายที่สุด

สุดท้าย แยกคำตัดสินเอเจนต์ออกจากผลที่ตรวจอิสระ ความเห็นตรงกับเอเจนต์วัดว่า Sift ทำนายเอเจนต์นั้นได้ดีเพียงใด โดยลำพังไม่ได้พิสูจน์ว่าเอเจนต์ตัดสินถูก ทั้งสองการวัดมีประโยชน์ได้เมื่อระบุความหมายชัด

แนวทางตรวจเชิงแนวคิดที่แสดงงานที่หลีกเลี่ยง ตัวอย่างเหตุการณ์ตกหล่น และค่าการทำงานที่คนอนุมัติ แนวทางตรวจการตัดสินใจที่จัดทำขึ้น แสดงสิ่งที่ผู้ปฏิบัติงานควรเปรียบเทียบ โดยไม่มีค่าการประหยัดหรือความแม่นยำที่วัดจริง เอกสารเรื่องการสุ่มและอนุมัติอยู่ที่ หน้าผลิตภัณฑ์ Kindo

การติดตั้งปัจจุบันมีข้อจำกัดที่ต้องรวมในการนำร่อง

ณ วันที่ 2 พฤศจิกายน Kindo อธิบาย Sift เป็นบริการโฮสต์เองสำหรับเอเจนต์ Kindo FAQ ระบุ การติดตั้ง Docker Compose บนโฮสต์เดียว ไม่มีคลัสเตอร์หรือระบบสลับเมื่อขัดข้อง และใช้บัญชีภายในโดยไม่มี SSO หรือ MFA ไม่มีรุ่นทดลองใช้ฟรีหรือระดับใช้งาน Sift แยกต่างหาก FAQ รุ่นปัจจุบัน

เงื่อนไขเหล่านี้มีผลต่อจุดที่เหมาะจะนำร่อง ตรวจขอบเขตการติดตั้งร่วมกับผู้รับผิดชอบตัวตน ความพร้อมใช้งาน และการรับมือเหตุการณ์ การสาธิตให้คะแนนสำเร็จไม่ตอบว่าบริการตรงข้อกำหนดปฏิบัติการขององค์กรหรือไม่

  1. ระบุแหล่งเดียว เอเจนต์เดียว และเจ้าของการตัดสินใจ เขียนว่าเอเจนต์ทำอะไรและการข้ามจะละเว้นอะไร คงความรับผิดชอบการตรวจจับและระบบตั๋วเดิม
  2. ทบทวนข้อกำหนดติดตั้งปัจจุบันกับ Kindo ยืนยันรูปแบบโฮสต์ที่มีและงานสนับสนุนที่ทีมต้องรับผิดชอบ
  3. กำหนดฐานที่อนุมัติแล้ว รวมกฎเดิม การเชื่อมโยง และการจัดเส้นทางโมเดล เพื่อวัดมูลค่าที่เพิ่มขึ้น
  4. เริ่มในโหมดเฝ้าดู เก็บคำตัดสินที่เป็นตัวแทนและตรวจสิ่งที่จะระงับข้ามหมวดสำคัญ ก่อนเปลี่ยนการส่งต่อ
  5. ตรวจข้อผิดพลาดอย่างอิสระ รวมตัวอย่างที่นักวิเคราะห์ตรวจและกรณีคุ้มครอง แทนพึ่งความเห็นตรงกับเอเจนต์เป้าหมายทั้งหมด
  6. อนุมัติค่าการทำงานและเหตุผลเฉพาะ บันทึกขอบเขต ผู้ตรวจ แผนสุ่ม และเงื่อนไขที่ต้องตรวจใหม่
  7. ทดสอบเส้นทางกลับสู่โหมดเฝ้าดู ยืนยันว่าผู้ปฏิบัติงานเห็นอะไรและสายเหตุการณ์ทั้งหมดกลับถึงเอเจนต์อย่างไร รวมต้นทุน คุณภาพ และความพร้อมใช้งานในการประเมินสุดท้าย

ผลควรเป็นการตัดสินใจทำงานที่มีขอบเขตและผู้รับผิดชอบ หากการนำร่องพบหมวดที่ยังไม่แน่ใจ การคงหมวดนั้นบนเส้นทางวิเคราะห์เต็มเป็นผลที่มีประโยชน์ เป้าหมายคือเรียนรู้ว่าจุดใดสมควรระงับ ไม่ใช่ข้ามให้มากที่สุดทันทีที่ทำได้

การเรียกที่หลีกเลี่ยงมีค่าเมื่ออธิบายได้ว่าไม่ได้ซ่อนงานใด

Sift นำคำถามสำคัญเข้าสู่เวิร์กโฟลว์เอเจนต์ ได้แก่ เหตุการณ์ใดควรประมวลผลเต็ม และใครรับผิดชอบเส้นแบ่งนั้น แนวทางเริ่มจากเฝ้าดูเปิดพื้นที่ให้ทีมตรวจการตัดสินใจก่อนเปลี่ยนการส่งต่อ

ตัววัดที่ยั่งยืนคือฝ่ายปฏิบัติการแสดงงานที่ประหยัด เหตุการณ์ตกหล่นที่พบ และเหตุผลที่เกณฑ์ปัจจุบันยังเหมาะได้หรือไม่ สิ่งนี้เปลี่ยนการไม่มีกิจกรรมให้เป็นการตัดสินใจที่มีคนรับรองได้

แหล่งข้อมูล

เก็บข้อมูลที่อยู่เบื้องหลังการตัดสินใจ

Telli.sh เป็นทางเลือกหนึ่งสำหรับเก็บเอกสารต้นทางที่ได้รับอนุญาตควบคู่กับบันทึกที่คุณทบทวนแล้ว สร้างพื้นที่บันทึก


← กลับไปที่บล็อก