Cos'è l'osservabilità AI?

L'osservabilità dell'AI si ispira all'osservabilità del software: anziché cercare di indovinare lo stato interno di un sistema, lo si inferisce dai dati che il sistema emette. Per i sistemi di intelligenza artificiale, questi dati si basano su tre pilastri:

• Metrics — segnali numerici e aggregati nel tempo: volume delle richieste, percentili di latenza, tassi di errore, utilizzo di token e costo. Le metriche ti dicono che qualcosa è cambiato.
• Logs — registri discreti e timestampati di eventi individuali: una richiesta ricevuta, uno strumento invocato, un'eccezione generata. I logs ti dicono cosa è successo in un determinato momento.
• Traces — il percorso end-to-end di una singola richiesta mentre si muove attraverso modelli, strumenti e servizi, suddiviso in span. Le tracce ti dicono dove è stato speso il tempo e dove è originata una failure.

Insieme, questi permettono ai team di rilevare, diagnosticare e risolvere problemi in un sistema di intelligenza artificiale live senza doverlo ridistribuire o indovinare.

Il monitoraggio e l'osservabilità sono correlati ma non sono la stessa cosa. Monitoraggio controlla i modi di failure noti — si definisce una soglia o un cruscotto in anticipo e si riceve un allarme quando si verifica. Risponde alle domande che già si conoscevano.

Osservabilità è più ampia: strumenta il sistema in modo sufficientemente ricco da poter porre nuove domande dopo il fatto, comprese quelle che non si erano anticipate. Ciò è importante per l'AI perché i failure sono raramente un crash pulito — un modello può degradare sottilmente, un cambio di prompt può spostare la qualità dell'output o un agente può bloccarsi su uno strumento. Spesso non è possibile prevedere il modo di failure, quindi è necessario avere le tracce grezze per indagare. Vedi monitoraggio dell'agente AI per il lato watch-and-alert di questo quadro.

Questa è la distinzione che inganna la maggior parte dei team. L'osservabilità cattura come è stato eseguito un sistema: i prompt, i token, la latenza, le chiamate di strumenti, gli errori. Ciò è essenziale per l'affidabilità — ma non è lo stesso che sapere perché è stata presa una decisione.

Quando un agente AI approva un rimborso, instrada una richiesta o seleziona un candidato, la domanda responsabile non è "quanto velocemente è stata eseguita la richiesta?" È: quali ragioni, prove e politiche hanno portato a questo esito e possiamo difenderlo? Una traccia mostra la meccanica dell'esecuzione; non conserva, di per sé, la razionalità della decisione in una forma che un revisore o un regolatore possa fidarsi. Quella ragione appartiene al livello di decisione — una traccia di audit AI strutturata e tamper-evident di ogni decisione, che è il cuore della governance AI. In poche parole: i logs ti dicono cosa è stato eseguito; i registri di decisione ti dicono cosa è stato deciso e perché.

Per gli agenti autonomi e multi-step, l'osservabilità AI utile va oltre una singola chiamata di modello. Al minimo, strumenta:

• Ogni chiamata di modello — prompt, versione del modello, token, latenza e output (il focus di osservabilità LLM).
• Ogni chiamata di strumento — quale strumento, gli argomenti, il risultato e se è stato eseguito con successo o ritentato.
• La struttura di piano e loop dell'agente — passaggi eseguiti, rami scelti e se si è bloccato o ripetuto (vedi osservabilità dell'agente AI).
• Tracce end-to-end che cuciano insieme tutto ciò che precede in una singola richiesta, in modo che una singola decisione possa essere ricostruita span per span.

Strumenta l'esecuzione per l'affidabilità — poi cattura la razionalità in cima ad esso per la responsabilità.