Cos'è l'AI spiegabile?

Le tecniche di spiegabilità si dividono in due ampie famiglie:

• Interpretabilità intrinseca — utilizzo di modelli la cui logica è trasparente per design, come ad esempio modelli lineari, alberi decisionali o insiemi di regole. La spiegazione è il modello: puoi leggere come un input si mappa a un output direttamente.
• Spiegazione post-hoc — applicazione di tecniche dopo il fatto per spiegare il comportamento di un modello complesso e opaco. Metodi come SHAP (spiegazioni additive di Shapley), LIME (spiegazioni locali e interpretabili agnostiche rispetto al modello) e altre approcci di attribuzione delle caratteristiche stimano quanto ogni input abbia contribuito a un determinato output.

I modelli intrinseci scambiano un po' di potere predittivo per trasparenza; i metodi post-hoc ti permettono di mantenere un modello potente e approssimare una spiegazione. Entrambi hanno lo stesso obiettivo: rendere un output comprensibile a un essere umano.

La spiegabilità non è un esercizio accademico — serve a tre esigenze concrete:

• Fiducia — le persone sono giustamente riluttanti a fidarsi di output che non possono capire. Una spiegazione è ciò che permette a un essere umano di accettare, sovrascrivere o escalare un risultato con fiducia.
• Debugging — quando un modello si sbaglia, una spiegazione indica perché, in modo che tu possa correggere la causa anziché indovinare. Senza di essa, ogni fallimento è una scatola nera.
• Regolamentazione — per sistemi ad alto rischio, la capacità di spiegare una decisione sostiene gli obblighi legali relativi alla trasparenza e alla supervisione. Una supervisione umana significativa (Articolo 14) è impossibile se l'essere umano non può capire cosa abbia fatto il sistema o perché.

La XAI classica è stata costruita per modelli di previsione — spiegare una singola classificazione o punteggio. Gli agenti autonomi sollevano una domanda più difficile: spiegare una decisione che può coinvolgere più passaggi, chiamate di strumenti, prove recuperate e controlli di politica. Un numero di attribuzione delle caratteristiche per una singola chiamata del modello non cattura tutto ciò.

La spiegazione più affidabile per una decisione di un agente è la ragione strutturata dietro di essa — le prove pesate, le alternative considerate, la politica applicata — catturata mentre la decisione viene presa anziché ricostruita in seguito. Questo è spiegazione per costruzione: invece di approssimare il perché una scatola nera si è comportata in un certo modo, si registra la ragione effettiva nel momento della decisione. Ciò rende la spiegazione fedele per default. È il cuore del livello di decisione — vedi tracciamento delle decisioni per come questa ragione viene catturata, e monitoraggio degli agenti di intelligenza artificiale per come viene tracciata nel tempo.