Analisi sull'IA12 min di lettura

Deep Hat Sift rende la rinuncia a un'esecuzione dell'agente una decisione da approvare

Il modello di Kindo per valutare gli eventi impara quali avvisi un agente scarta. Come osservazione, revisione delle soglie e campionamento delle omissioni cambiano i costi del lavoro degli agenti ad alto volume.

K
Ken Jo

Un agente operativo può esaminare un avviso in modo eccellente e trascorrere comunque gran parte della giornata a concludere che non serve intervenire. Con volumi sufficienti, queste esecuzioni corrette ma prive di conseguenze diventano un problema di progettazione del sistema.

Kindo ha annunciato Deep Hat Sift il 28 ottobre 2026, un modello decisionale System One che impara dai verdetti di un agente e assegna un punteggio agli eventi in arrivo per stabilire quali meritino un'esecuzione. Inizia in modalità di osservazione, lasciando passare tutto, e comincia a trattenere eventi soltanto dopo l'approvazione umana della soglia. Annuncio di Kindo.

L'aspetto interessante è l'approvazione di un'assenza: un'esecuzione che non parte. Questa guida spiega tale decisione, la confronta con controlli dei costi più semplici e delinea una prova pilota che misuri le omissioni importanti insieme alle chiamate evitate.

Sala storica di monitoraggio della sicurezza fisica dell'Università del Maryland, con immagini delle telecamere. Centro di monitoraggio della sicurezza fisica dell'Università del Maryland, pubblicato nel 2008. Contesto storico di monitoraggio degli avvisi; non mostra Kindo, Sift o un pannello di cybersicurezza. Foto: UMD-Eskin, pubblico dominio; ridimensionata con margini. Fonte dell'immagine · Licenza e note sull'immagine. Riferimento ufficiale del prodotto.

Risparmiare un'esecuzione cambia ciò che il sistema può osservare

Quando ogni evento raggiunge un agente, il sistema può esaminare ogni verdetto. Quando un filtro comincia a trattenere eventi, questo semplice percorso di riscontro cambia. Gli eventi giudicati meno interessanti diventano quelli che non ricevono più tutta l'attenzione dell'agente.

Questo distingue il filtraggio dalla scelta di un modello meno costoso per la stessa richiesta. Un modello più economico produce comunque un risultato per ogni evento. La decisione di trattenere un evento elimina un'esecuzione dal percorso ordinario. Il piano di misurazione deve tenere conto del risultato mancante.

La nostra lettura: saltare un'esecuzione è un comportamento del prodotto con un proprio responsabile. Qualcuno deve decidere quali prove lo rendano accettabile, quali tipi di evento restino protetti e che cosa accada quando la fonte cambia. Trattarlo come un'ottimizzazione invisibile rende queste decisioni più difficili da verificare.

Pensa al filtro come a un ufficio di smistamento. Il suo compito utile è inoltrare il lavoro giusto, mantenendo una traccia di ciò che resta indietro. La qualità dello smistamento conta perché lo specialista a valle non può indagare su qualcosa che non riceve mai.

Per una prova pilota, definisci il lavoro dell'agente prima di definire il successo del filtro. L'agente identifica incidenti, chiede altro contesto, instrada segnalazioni o prepara un'indagine? «Richiede un'esecuzione» dovrebbe corrispondere a quel lavoro. Altrimenti un modello può apprendere una decisione coerente che non corrisponde allo scopo operativo del team.

Un flusso concettuale di eventi passa attraverso osservazione, approvazione umana e selezione controllata delle esecuzioni Spiegazione originale del flusso dall'osservazione all'approvazione descritto nell'annuncio di Kindo. È una vista operativa semplificata, non un diagramma di distribuzione.

La modalità di osservazione crea un confronto prima di cambiare la consegna

Il comunicato di Kindo del 28 ottobre descrive un periodo iniziale in cui Sift valuta gli eventi mentre tutti continuano a raggiungere l'agente destinatario. Mostra poi un'anteprima degli eventi che propone di trattenere rispetto ai risultati di quella fonte; l'approvazione include una motivazione scritta e, dopo l'attivazione, un campione casuale continua a passare per far emergere le omissioni. Metodo operativo annunciato.

Questo ordine offre al team operativo un utile confronto controfattuale. Prima di cambiare la consegna, può chiedersi quali esecuzioni passate sarebbero scomparse con un determinato punto operativo. La domanda è abbastanza concreta da discuterla con i responsabili della fonte e dell'agente.

L'anteprima dovrebbe includere esempi oltre a un dato aggregato. Un grande gruppo di eventi ordinari può dominare una percentuale di sintesi, mentre una categoria piccola ma importante funziona male. Chiedi a chi approva di esaminare eventi la cui omissione sarebbe costosa ed eventi vicini al confine proposto.

La durata dell'osservazione dovrebbe dipendere dalla copertura. Un giorno feriale intenso può essere diverso da un fine settimana, da un giorno di rilascio o da un incidente insolito. Un periodo di calendario è utile solo se contiene le condizioni rilevanti per la decisione. Evita di trattare un certo numero di giorni tranquilli come un segnale universale di prontezza.

L'approvazione dovrebbe indicare la condizione operativa prevista. Una registrazione come «approvato per questa fonte e questo agente, con queste esclusioni e questo intervallo di revisione» è più utile di un semplice sì. Offre al team qualcosa da riesaminare quando cambiano lo schema della fonte, il prompt dell'agente o le priorità operative.

Tre code illustrative richiedono cautele diverse

Un avviso infrastrutturale ripetuto può essere un buon punto di partenza circoscritto

Immagina una coda SRE che riceve molte ripetizioni di una notifica nota durante la manutenzione ordinaria. Il team conosce già la fonte e dispone di un percorso documentato per le eccezioni urgenti. Una prova pilota potrebbe verificare se un agente spenda ripetutamente tempo per arrivare allo stesso verdetto di non intervento.

Inizia separando la gestione nota dei duplicati dalla nuova decisione. Se una semplice regola di correlazione accorpa già eventi identici, conserva quella base. Usa la valutazione del modello per esaminare le variazioni residue che rendono costosa o superflua un'esecuzione completa dell'agente.

Durante l'osservazione, confronta le omissioni proposte con ciò che l'agente ha effettivamente fatto. Cerca cambiamenti di gravità, servizio interessato o contesto che rendano diverso un evento superficialmente simile. La domanda utile è se il filtro preservi le distinzioni che le operazioni considerano già importanti.

Un criterio illustrativo di successo potrebbe richiedere un tasso di revisione specificato e nessun evento mancato in una categoria protetta durante la valutazione. Queste condizioni sono scelte dal team; non sono garanzie universali di Sift. L'esercizio dovrebbe produrre una decisione chiara su una fonte, anziché un'adozione immediata nell'intera organizzazione.

Una coda di segnalazioni di phishing rende più visibile il costo di un'omissione

Considera un team di sicurezza illustrativo i cui dipendenti segnalano messaggi sospetti. Molte segnalazioni possono non richiedere altre azioni, ma un raro messaggio su cui intervenire può contare in modo sproporzionato. L'economia del filtro dipende da questa asimmetria.

Per questa fonte, esamina esempi che sembrano normale corrispondenza ma contengono i segnali rilevanti per il team. Mantieni gli strumenti di sicurezza a valle e il processo di gestione degli incidenti. Un filtro davanti a un agente IA dovrebbe essere valutato per quella decisione di instradamento, anziché essere trattato come l'intero programma di rilevamento.

La valutazione dovrebbe coinvolgere gli analisti che comprendono le conseguenze di un'indagine mancata. Un referente finanziario può aiutare a quantificare il costo delle esecuzioni, ma non può definire da solo una copertura accettabile degli incidenti. La soglia è una scelta operativa condivisa, la cui approvazione richiede le competenze giuste.

Esamina anche gli errori dell'agente stesso. Imparare a prevedere quando un agente scarta qualcosa può riprodurne un punto cieco. Un insieme separato verificato dagli analisti può rivelare casi in cui agente e filtro concordano fra loro, ma entrambi divergono dall'esito desiderato dal team.

Una coda di assistenza richiede una definizione di azione utile

In un servizio di assistenza illustrativo, una richiesta può sembrare ordinaria ma richiedere comunque una conferma di ricezione, un timer per il livello di servizio o un passaggio di instradamento. «Non serve un'indagine» e «non serve un'esecuzione dell'agente» possono quindi essere etichette diverse. Definisci esattamente che cosa possa omettere un'esecuzione trattenuta.

Quando necessario, mantieni le azioni obbligatorie del flusso fuori da una decisione ambigua. Per esempio, il sistema di assistenza può conservare la responsabilità delle ricevute richieste mentre il modello aiuta a decidere se avviare uno specifico agente investigativo. Questo rende più facile spiegare il confine.

Prova richieste di team, lingue e tipologie diverse. Un filtro addestrato soprattutto sulle richieste ordinarie di un reparto può adattarsi male ai modelli di escalation di un altro. Una valutazione specifica per fonte è più utile dell'ipotesi che il solo volume renda equivalenti due code.

Per questa prova pilota, il risultato può essere una coda di indagini più ordinata anziché meno richieste. Misura il passaggio alla persona e il tempo fino alla successiva azione significativa. La valutazione rimane così legata alla qualità del servizio anziché al solo conteggio delle chiamate al modello.

Quattro controlli dei costi rispondono a domande diverse

Il confronto seguente descrive scelte progettuali che un team può valutare. Non afferma che l'implementazione di uno specifico fornitore vinca in ogni categoria. Più controlli possono appartenere allo stesso sistema perché intervengono in punti diversi.

ControlloDecisione presaChe cosa misurare
Regole di deduplicazione o correlazioneQuesti eventi sono ripetuti o collegati?Incidenti distinti preservati e ripetizioni accorpate
Un modello più economico per ogni eventoQuesto evento può usare un'analisi meno costosa?Qualità e costo completo per evento
Un filtro di selezione come SiftQuesto evento ha davvero bisogno di questo agente?Esecuzioni evitate, omissioni rilevanti e copertura della revisione
Budget e instradamento per chiamataQuale chiamata al modello è consentita e sostenibile?Spesa, chiamate rifiutate e completamento del compito a valle

Il confronto parte dalla decisione e aiuta a non contare due volte i risparmi. Se una regola di correlazione elimina già un evento ripetuto, il filtro non può attribuirsi anche la prevenzione della stessa esecuzione a valle. Definisci la base dopo i controlli esistenti, poi calcola gli effetti incrementali.

Includi il costo operativo del filtro stesso. Hosting, monitoraggio, esecuzioni campionate e revisione umana rientrano tutti nei conti della prova pilota. Una fattura inferiore per un endpoint del fornitore è utile, ma rappresenta soltanto una componente dell'intero flusso.

Qualità e costo appartengono alla stessa discussione. Una soglia che risparmia molte chiamate nascondendo lavoro utile ha cambiato il servizio. Il team dovrebbe saper spiegare questo compromesso nel linguaggio della propria coda reale, anziché con un'unica percentuale generica di accuratezza.

Usa le omissioni campionate per porre domande migliori

Le FAQ di Kindo, consultate il 2 novembre, descrivono un campione predefinito del 3% lasciato passare, configurabile dall'1% al 5%, e una soglia iniziale predefinita di 400 verdetti etichettati. Secondo la pagina, una deriva o il superamento di un limite di attivazione riporta il sistema al comportamento di osservazione. Sono impostazioni operative pubblicate, non una garanzia di prove sufficienti per ogni carico di lavoro.

Un calcolo illustrativo mostra perché conta la copertura del campione. Supponi che vengano trattenuti 10.000 eventi e che ne sia campionato il 3%: si ottengono circa 300 eventi campionati. Se i casi importanti sono rari, il team deve comunque verificare se il campione rappresenti le categorie le cui omissioni sarebbero rilevanti. Questo calcolo illustra il problema del campionamento e non stima il tasso di errore reale di Sift.

Nella tua valutazione, riporta almeno due denominatori. Uno descrive gli eventi su cui intervenire che il filtro mancherebbe. L'altro descrive la quota degli eventi trattenuti giudicata in seguito rilevante. Rispondono a domande operative diverse: copertura del lavoro importante e contaminazione dell'insieme saltato.

Esamina segmenti per tipo di fonte, gravità, team e cambiamento del formato degli input, quando pertinenti. Un aggregato può migliorare mentre una piccola categoria peggiora. Le categorie dovrebbero riflettere rischi e carico dell'operazione, anziché il raggruppamento che rende più facile disegnare un grafico.

Infine, mantieni distinto il verdetto dell'agente da un esito verificato indipendentemente. L'accordo con l'agente misura quanto bene Sift ne preveda il comportamento. Da solo, non dimostra che il giudizio dell'agente fosse corretto. Entrambe le misure possono essere utili se il loro significato rimane esplicito.

Una revisione concettuale affianca esecuzioni evitate, omissioni campionate e punti operativi approvati da persone Supporto originale alla revisione delle decisioni. Illustra che cosa dovrebbe confrontare un operatore e non contiene valori misurati di risparmio o accuratezza. Campionamento e approvazione sono documentati nella pagina del prodotto Kindo.

La distribuzione attuale presenta limiti da includere nella prova

Al 2 novembre, Kindo descrive Sift come un servizio ospitato autonomamente per gli agenti Kindo. Le FAQ indicano una distribuzione Docker Compose su un solo host, senza cluster né failover, e account locali senza SSO o MFA. Non esistono una prova gratuita separata di Sift o un livello di utilizzo gratuito. FAQ della versione attuale.

Queste condizioni incidono su dove sia appropriata una prova pilota. Esamina il confine di distribuzione con i responsabili di identità, disponibilità e risposta agli incidenti. Una dimostrazione riuscita dei punteggi non può stabilire se il servizio soddisfi i requisiti operativi dell'organizzazione.

  1. Indica una fonte, un agente e un responsabile della decisione. Scrivi che cosa fa l'agente e che cosa ometterebbe un'esecuzione saltata. Conserva le responsabilità esistenti di rilevamento e gestione delle richieste.
  2. Esamina con Kindo i requisiti attuali di distribuzione. Conferma la configurazione di hosting disponibile e il supporto operativo che spetterebbe al tuo team.
  3. Definisci una base approvata. Includi regole esistenti, correlazione e instradamento dei modelli affinché la prova misuri il valore incrementale.
  4. Inizia in modalità di osservazione. Raccogli verdetti rappresentativi ed esamina le omissioni proposte nelle categorie importanti prima di cambiare la consegna.
  5. Verifica gli errori indipendentemente. Includi esempi esaminati dagli analisti e casi protetti, anziché affidarti interamente all'accordo con l'agente destinatario.
  6. Approva un punto operativo specifico e una motivazione. Registra ambito, revisore, piano di campionamento e condizioni che richiedono una nuova revisione.
  7. Esercita il ritorno all'osservazione. Conferma che cosa vedono gli operatori e come l'intero flusso raggiunga nuovamente l'agente. Mantieni costo, qualità e disponibilità nella valutazione finale.

Il risultato dovrebbe essere una decisione operativa circoscritta con un responsabile. Se la prova rivela una categoria incerta, mantenerla nel percorso di analisi completa è un esito utile. Lo scopo è imparare dove sia giustificato trattenere eventi, non massimizzare le omissioni alla prima occasione.

Una chiamata evitata vale quando sai spiegare quale lavoro non ha nascosto

Sift porta nel flusso degli agenti una domanda importante: quali eventi meritano un'esecuzione completa e chi risponde di quel confine? Il suo approccio iniziale di osservazione offre ai team uno spazio per esaminare la decisione prima di usarla per cambiare la consegna.

La misura duratura è la capacità dell'operazione di mostrare le esecuzioni risparmiate, le omissioni osservate e il motivo per cui la soglia attuale rimane appropriata. È questo che trasforma un'assenza di attività in una decisione di cui qualcuno può assumersi la responsabilità.

Fonti

Conserva il materiale alla base di una decisione

Telli.sh è un'opzione per conservare il materiale di partenza autorizzato insieme agli appunti che hai verificato. Crea uno spazio per gli appunti.


← Torna al blog