Phân tích AIDoc trong 15 phut

Deep Hat Sift biến việc bỏ qua một lượt chạy tác tử thành quyết định cần phê duyệt

Mô hình phân loại sự kiện của Kindo học từ cảnh báo tác tử loại bỏ. Chế độ quan sát, duyệt ngưỡng và lấy mẫu ca bỏ sót thay đổi bài toán chi phí của tác tử khối lượng lớn ra sao.

K
Ken Jo

Tác tử vận hành có thể đánh giá cảnh báo rất tốt nhưng vẫn dành phần lớn ngày để kết luận không cần làm gì. Khi khối lượng đủ lớn, những lượt chạy đúng nhưng không dẫn đến hành động trở thành vấn đề thiết kế hệ thống.

Kindo công bố Deep Hat Sift ngày 28 tháng 10 năm 2026, mô hình quyết định System One học từ kết luận của tác tử và chấm điểm sự kiện đến để xác định sự kiện nào cần chạy tác tử. Nó bắt đầu trong chế độ quan sát, chuyển tiếp mọi sự kiện, và chỉ giữ lại sự kiện sau khi một người phê duyệt ngưỡng. Thông báo của Kindo.

Điểm đáng chú ý là việc phê duyệt một sự vắng mặt: lượt chạy không bao giờ bắt đầu. Bài viết giải thích quyết định đó, so sánh với biện pháp kiểm soát chi phí đơn giản hơn và phác thảo thử nghiệm đo cả những ca bỏ sót quan trọng lẫn số lần gọi tránh được.

Phòng giám sát an ninh vật lý trước đây của Đại học Maryland với các màn hình camera. Trung tâm giám sát an ninh vật lý của Đại học Maryland, ảnh công bố năm 2008. Minh họa lịch sử giám sát cảnh báo; không hiển thị Kindo, Sift hay bảng điều khiển an ninh mạng. Ảnh: UMD-Eskin, phạm vi công cộng; đã đổi kích thước và thêm lề. Nguồn ảnh · Giấy phép và ghi chú hình ảnh. Tài liệu sản phẩm chính thức.

Tiết kiệm một lượt chạy làm thay đổi điều hệ thống quan sát được

Khi mọi sự kiện đến tác tử, hệ thống có thể kiểm tra mọi kết luận. Khi bộ lọc bắt đầu giữ lại sự kiện, đường phản hồi đơn giản đó thay đổi. Những sự kiện được cho là ít đáng chú ý nhất trở thành những sự kiện không còn nhận sự chú ý đầy đủ của tác tử.

Điều này làm lọc khác với chọn mô hình rẻ hơn cho cùng yêu cầu. Mô hình rẻ hơn vẫn tạo kết quả cho từng sự kiện. Quyết định giữ lại loại một lượt thực thi khỏi luồng thông thường. Kế hoạch đo lường phải tính đến kết quả bị thiếu ấy.

Theo chúng tôi, bỏ qua là hành vi sản phẩm có chủ thể chịu trách nhiệm riêng. Ai đó phải quyết định bằng chứng nào khiến nó chấp nhận được, loại sự kiện nào luôn được bảo vệ và điều gì xảy ra khi nguồn thay đổi. Coi nó như tối ưu vô hình khiến các quyết định ấy khó xem xét hơn.

Hãy hình dung bộ lọc như bàn điều phối. Công việc hữu ích của nó là chuyển đúng việc đi tiếp và ghi lại những gì bị giữ lại. Chất lượng điều phối quan trọng vì chuyên gia phía sau không thể điều tra thứ chưa bao giờ nhận được.

Trong thử nghiệm, định nghĩa công việc của tác tử trước khi định nghĩa thành công của bộ lọc. Tác tử nhận diện sự cố, yêu cầu thêm ngữ cảnh, định tuyến phiếu hay chuẩn bị điều tra? “Cần chạy” phải tương ứng công việc đó. Nếu không, mô hình có thể học quyết định nhất quán nhưng không khớp mục đích vận hành của nhóm.

Luồng sự kiện khái niệm đi qua quan sát, phê duyệt của con người và lựa chọn lượt chạy có kiểm soát Giải thích do tác giả xây dựng về quy trình từ quan sát đến phê duyệt được mô tả trong thông báo Kindo. Đây là góc nhìn vận hành đơn giản hóa, không phải sơ đồ triển khai.

Chế độ quan sát tạo phép so sánh trước khi thay đổi chuyển tiếp

Thông cáo ngày 28 tháng 10 của Kindo mô tả giai đoạn quan sát ban đầu: Sift chấm điểm trong khi mọi sự kiện vẫn đến tác tử đích. Sau đó nó xem trước các sự kiện đề xuất giữ lại so với kết quả của nguồn ấy; phê duyệt gồm lý do bằng văn bản, và sau kích hoạt vẫn có mẫu ngẫu nhiên được chuyển tiếp để phát hiện bỏ sót. Phương pháp vận hành được công bố.

Thứ tự này cho nhóm vận hành một giả định đối chứng hữu ích. Trước khi thay đổi chuyển tiếp, nhóm có thể hỏi những lượt chạy trước đây nào sẽ biến mất tại điểm vận hành được đề xuất. Câu hỏi đủ cụ thể để cùng người phụ trách nguồn và tác tử xem xét.

Bản xem trước cần cả ví dụ lẫn số tổng hợp. Nhóm lớn các sự kiện thường lệ có thể chi phối tỷ lệ nổi bật trong khi một nhóm nhỏ quan trọng hoạt động kém. Yêu cầu người phê duyệt kiểm tra các sự kiện mà bỏ qua sẽ tốn kém và các sự kiện sát ranh giới đề xuất.

Thời gian quan sát nên dựa vào độ bao phủ. Ngày làm việc bận rộn có thể khác cuối tuần, ngày phát hành hoặc sự cố bất thường. Khoảng thời gian lịch chỉ hữu ích nếu chứa điều kiện quan trọng với quyết định. Tránh xem một số ngày yên tĩnh nhất định là tín hiệu sẵn sàng phổ quát.

Phê duyệt cần nêu điều kiện vận hành dự kiến. Hồ sơ như “duyệt cho nguồn và tác tử này, với các ngoại lệ này và kỳ đánh giá này” hữu ích hơn một lời đồng ý đơn thuần. Nó cho nhóm điểm để xem lại khi lược đồ nguồn, câu lệnh tác tử hoặc ưu tiên vận hành đổi.

Ba hàng chờ minh họa cần cách thận trọng khác nhau

Cảnh báo hạ tầng lặp lại là điểm khởi đầu có giới hạn phù hợp

Hãy hình dung hàng chờ SRE nhận nhiều thông báo đã biết lặp lại trong bảo trì thường lệ. Nhóm hiểu nguồn và có đường xử lý ngoại lệ khẩn cấp được ghi chép. Thử nghiệm có thể xét tác tử có liên tục tốn thời gian đi đến cùng kết luận không cần hành động không.

Bắt đầu bằng cách tách xử lý trùng lặp đã biết khỏi quyết định mới. Nếu quy tắc tương quan đơn giản đã gộp sự kiện giống hệt, hãy giữ mốc ấy. Dùng đánh giá mô hình để xem các biến thể còn lại khiến lượt chạy tác tử đầy đủ tốn kém hoặc không cần thiết.

Trong quan sát, so lần bỏ qua đề xuất với việc tác tử thực sự làm. Tìm thay đổi mức nghiêm trọng, dịch vụ bị ảnh hưởng hoặc ngữ cảnh khiến sự kiện bề ngoài tương tự trở nên khác. Câu hỏi hữu ích là bộ lọc có giữ được những phân biệt vận hành vốn coi quan trọng không.

Tiêu chí thành công minh họa có thể yêu cầu tỷ lệ kiểm tra xác định và không bỏ sót sự kiện trong nhóm được bảo vệ suốt đánh giá. Đó là điều kiện nhóm chọn, không phải bảo đảm Sift phổ quát. Bài tập nên tạo quyết định rõ về một nguồn thay vì triển khai ngay toàn tổ chức.

Hàng chờ báo cáo lừa đảo làm chi phí bỏ sót rõ hơn

Xét nhóm bảo mật minh họa có nhân viên báo tin nhắn đáng ngờ. Nhiều báo cáo có thể không cần hành động thêm, nhưng tin nhắn hiếm cần xử lý có thể quan trọng vượt tỷ lệ của nó. Bài toán kinh tế bộ lọc phụ thuộc sự bất đối xứng ấy.

Với nguồn này, kiểm tra ví dụ giống thư trao đổi thường nhưng chứa dấu hiệu nhóm quan tâm. Giữ công cụ bảo mật phía sau và quy trình sự cố hiện có. Bộ lọc trước tác tử AI nên được đánh giá cho quyết định định tuyến ấy, thay vì được coi là toàn bộ chương trình phát hiện.

Đánh giá cần có nhà phân tích hiểu hậu quả của cuộc điều tra bị bỏ lỡ. Bên tài chính giúp định lượng chi phí chạy nhưng không thể một mình định nghĩa mức bao phủ sự cố chấp nhận được. Ngưỡng là lựa chọn vận hành chung, cần đúng chuyên môn khi phê duyệt.

Cũng xem lỗi của chính tác tử. Học dự đoán việc tác tử loại bỏ có thể tái tạo điểm mù của nó. Bộ dữ liệu riêng do nhà phân tích đánh giá có thể tìm ca mà tác tử và bộ lọc đồng ý với nhau nhưng đều khác kết quả nhóm mong muốn.

Hàng chờ phiếu cần định nghĩa hành động hữu ích

Trong bàn dịch vụ minh họa, phiếu có vẻ thường lệ vẫn có thể cần xác nhận, bắt đầu bộ đếm mức dịch vụ hoặc bước định tuyến. Vì thế “không cần điều tra” và “không cần chạy tác tử” có thể là nhãn khác nhau. Định nghĩa chính xác điều lượt thực thi bị giữ lại được phép bỏ qua.

Khi cần, giữ hành động bắt buộc ngoài quyết định mơ hồ. Ví dụ, hệ thống phiếu tiếp tục chịu trách nhiệm gửi xác nhận bắt buộc, còn mô hình giúp quyết định một tác tử điều tra cụ thể có nên chạy không. Điều này khiến ranh giới dễ giải thích hơn.

Thử phiếu từ các nhóm, ngôn ngữ và loại yêu cầu khác nhau. Bộ lọc chủ yếu học yêu cầu thường lệ của một phòng ban có thể không khớp cách chuyển cấp của phòng khác. Đánh giá theo nguồn hữu ích hơn giả định rằng chỉ khối lượng đã làm hai hàng chờ tương đương.

Trong thử nghiệm này, đầu ra có thể là hàng chờ điều tra sạch hơn chứ không phải ít phiếu hơn. Đo bàn giao cho con người và thời gian đến hành động có ý nghĩa tiếp theo. Như vậy đánh giá gắn với chất lượng dịch vụ thay vì chỉ đếm lệnh gọi mô hình.

Bốn cách kiểm soát chi phí trả lời câu hỏi khác nhau

So sánh dưới mô tả lựa chọn thiết kế nhóm có thể đánh giá. Nó không khẳng định triển khai của nhà cung cấp cụ thể thắng mọi nhóm. Nhiều biện pháp có thể cùng thuộc một hệ thống vì hoạt động ở những điểm khác nhau.

Biện phápQuyết địnhCần đo
Khử trùng lặp hoặc quy tắc tương quanCác sự kiện lặp lại hay liên quan không?Sự cố riêng được giữ và lần lặp được gộp
Mô hình rẻ hơn cho mọi sự kiệnSự kiện này có thể dùng phân tích ít tốn hơn không?Chất lượng và toàn bộ chi phí mỗi sự kiện
Bộ lọc chọn lượt chạy như SiftSự kiện này có thực sự cần tác tử này không?Lượt chạy tránh được, ca cần hành động bị bỏ sót và độ bao phủ kiểm tra
Ngân sách và định tuyến từng lệnh gọiLệnh gọi mô hình nào được phép và trong khả năng chi trả?Chi tiêu, lệnh bị từ chối và nhiệm vụ phía sau hoàn thành

So sánh bắt đầu từ quyết định giúp tránh tính hai lần khoản tiết kiệm. Nếu quy tắc tương quan đã loại sự kiện lặp, bộ lọc không thể đồng thời nhận công ngăn cùng lượt chạy phía sau. Định nghĩa mốc sau các biện pháp hiện có rồi tính tác động tăng thêm.

Tính cả chi phí vận hành của bộ lọc. Lưu trữ vận hành, giám sát, lượt chạy lấy mẫu và kiểm tra thủ công đều thuộc hạch toán thử nghiệm. Hóa đơn nhỏ hơn ở một endpoint nhà cung cấp hữu ích, nhưng chỉ là một phần của toàn quy trình.

Chất lượng cần được thảo luận cùng chi phí. Ngưỡng tiết kiệm nhiều lệnh gọi nhưng che giấu việc hữu ích đã làm thay đổi dịch vụ. Nhóm cần giải thích đánh đổi bằng ngôn ngữ hàng chờ thực tế, thay vì một tỷ lệ chính xác chung duy nhất.

Dùng mẫu bỏ sót để đặt câu hỏi tốt hơn

FAQ của Kindo, kiểm tra ngày 2 tháng 11, mô tả mặc định mẫu chuyển tiếp 3%, điều chỉnh từ 1% đến 5%, và ngưỡng nhãn ban đầu mặc định 400 kết luận. Hãng nói khi có trôi dạt hoặc vượt trần kích hoạt, hệ thống trở về hành vi quan sát. Đây là mặc định vận hành được công bố, không đảm bảo đủ bằng chứng cho mọi khối lượng việc.

Phép tính minh họa cho thấy vì sao độ bao phủ mẫu quan trọng. Giả sử 10.000 sự kiện sẽ bị giữ lại và lấy mẫu 3%, sẽ có khoảng 300 sự kiện mẫu. Nếu ca quan trọng hiếm, nhóm vẫn phải xem mẫu có đại diện cho các nhóm mà bỏ sót gây hệ quả không. Phép tính minh họa câu hỏi lấy mẫu, không ước lượng tỷ lệ lỗi thực tế của Sift.

Trong đánh giá của bạn, báo cáo ít nhất hai mẫu số. Một mô tả sự kiện cần hành động mà bộ lọc bỏ sót. Một mô tả tỷ lệ sự kiện bị giữ lại sau đó được đánh giá là cần hành động. Chúng trả lời câu hỏi vận hành khác nhau: mức bao phủ việc quan trọng và mức lẫn ca cần xử lý trong tập bị bỏ qua.

Kiểm tra theo loại nguồn, mức nghiêm trọng, nhóm và định dạng đầu vào thay đổi khi phù hợp. Số tổng hợp có thể cải thiện trong khi nhóm nhỏ xuống cấp. Nhóm phân tích cần phản ánh rủi ro và khối lượng công việc vận hành, thay vì cách gom nào dễ vẽ biểu đồ nhất.

Cuối cùng, tách kết luận tác tử khỏi kết quả được đánh giá độc lập. Đồng ý với tác tử đo mức Sift dự đoán tác tử đó tốt thế nào. Tự nó không chứng minh phán đoán của tác tử đúng. Cả hai phép đo đều hữu ích khi ý nghĩa được nêu rõ.

Đánh giá khái niệm đặt lượt chạy tránh được bên cạnh mẫu bỏ sót và điểm vận hành con người phê duyệt Công cụ đánh giá quyết định do tác giả xây dựng. Minh họa những gì người vận hành nên so sánh, không chứa số tiết kiệm hay chính xác đã đo. Lấy mẫu và phê duyệt được ghi trong trang sản phẩm Kindo.

Bản triển khai hiện tại có giới hạn cần tính trong thử nghiệm

Tính đến ngày 2 tháng 11, Kindo mô tả Sift là dịch vụ tự lưu trữ cho tác tử Kindo. FAQ liệt kê triển khai Docker Compose trên một máy chủ, không phân cụm hay chuyển đổi dự phòng, và tài khoản cục bộ không SSO hoặc MFA. Không có bản dùng thử miễn phí hay tầng sử dụng riêng của Sift. FAQ bản phát hành hiện tại.

Những điều kiện này ảnh hưởng nơi thử nghiệm phù hợp. Xem ranh giới triển khai với người phụ trách danh tính, tính sẵn sàng và phản ứng sự cố. Trình diễn chấm điểm thành công không trả lời được dịch vụ có đáp ứng yêu cầu vận hành tổ chức không.

  1. Nêu một nguồn, tác tử và người chịu trách nhiệm quyết định. Viết tác tử làm gì và lượt bị bỏ qua sẽ bỏ điều gì. Giữ trách nhiệm phát hiện và hệ thống phiếu hiện có.
  2. Xem yêu cầu triển khai hiện tại với Kindo. Xác nhận cách lưu trữ vận hành có sẵn và phần hỗ trợ vận hành nhóm phải đảm nhận.
  3. Định nghĩa mốc được duyệt. Gồm quy tắc, tương quan và định tuyến mô hình hiện có để thử nghiệm đo giá trị tăng thêm.
  4. Bắt đầu ở chế độ quan sát. Thu kết luận đại diện và kiểm tra đề xuất giữ lại trên nhóm quan trọng trước khi đổi chuyển tiếp.
  5. Đánh giá lỗi độc lập. Gồm ví dụ do nhà phân tích đánh giá và ca được bảo vệ, thay vì chỉ dựa vào mức đồng ý với tác tử đích.
  6. Phê duyệt điểm vận hành cụ thể và lý do. Ghi phạm vi, người đánh giá, kế hoạch lấy mẫu và điều kiện cần đánh giá lại.
  7. Thử đường trở về quan sát. Xác nhận người vận hành nhìn thấy gì và toàn bộ luồng đến tác tử lại thế nào. Giữ chi phí, chất lượng và tính sẵn sàng trong đánh giá cuối.

Kết quả nên là quyết định vận hành có giới hạn và người chịu trách nhiệm. Nếu thử nghiệm phát hiện nhóm chưa chắc chắn, giữ nó trên đường phân tích đầy đủ là kết quả hữu ích. Mục tiêu là biết ở đâu việc giữ lại có cơ sở, không phải tối đa hóa sự kiện bị bỏ qua ngay cơ hội đầu.

Lệnh gọi tránh được có giá trị khi giải thích được việc nó không che khuất

Sift đưa câu hỏi quan trọng vào quy trình tác tử: sự kiện nào xứng đáng được thực thi đầy đủ, và ai chịu trách nhiệm ranh giới ấy? Cách tiếp cận quan sát trước cho nhóm nơi xem xét quyết định trước khi dùng nó để thay đổi chuyển tiếp.

Thước đo bền vững là vận hành có thể chỉ ra lượt chạy tiết kiệm, ca bỏ sót quan sát được và lý do ngưỡng hiện tại vẫn phù hợp hay không. Đó là cách biến việc không diễn ra thành quyết định có người chịu trách nhiệm.

Nguồn

Lưu giữ tài liệu làm cơ sở cho quyết định

Telli.sh là một lựa chọn để lưu tài liệu nguồn được phép sử dụng bên cạnh những ghi chú bạn đã xem lại. Tạo không gian ghi chú.


← Quay lai blog