Wat is explainable AI?

Verklaartechnieken vallen uiteen in twee brede families:

• Intrinsieke interpreteerbaarheid — het gebruik van modellen waarvan de logica transparant is vanuit het ontwerp, zoals lineaire modellen, beslissingsbomen of reeksen regels. De verklaring is het model: u kunt direct lezen hoe een invoer wordt omgezet in een uitvoer.
• Post-hoc verklaring — het toepassen van technieken achteraf om het gedrag van een complex, ondoorzichtig model te verklaren. Methoden zoals SHAP (Shapley-additieve verklaringen), LIME (lokale interpreteerbare model-agnostische verklaringen) en andere kenmerk-toewijzingsbenaderingen schatten hoeveel elke invoer heeft bijgedragen aan een bepaalde uitvoer.

Intrinsieke modellen geven enige voorspellende kracht op voor transparantie; post-hoc methoden laten u een krachtig model behouden en een verklaring benaderen. Beide zijn gericht op hetzelfde doel: een uitvoer begrijpelijk maken voor een mens.

Verklaring is geen academische oefening — het dient drie concrete behoeften:

• Vertrouwen — mensen zijn terecht terughoudend om te vertrouwen op uitvoeren die ze niet kunnen begrijpen. Een verklaring is wat een mens in staat stelt om met vertrouwen een resultaat te accepteren, te overschrijven of te escaleren.
• Foutopsporing — wanneer een model iets verkeerd doet, wijst een verklaring naar waarom, zodat u de oorzaak kunt repareren in plaats van te gissen. Zonder het is elke fout een zwarte doos.
• Regulering — voor systemen met hoge risico's, vormt de mogelijkheid om een beslissing te verklaren de basis voor wettelijke verplichtingen rond transparantie en toezicht. Betekenisvolle menselijk toezicht (Artikel 14) is onmogelijk als de mens niet kan begrijpen wat het systeem heeft gedaan of waarom.

Klassieke XAI was gebouwd voor voorspellingsmodellen — verklaren van een enkele classificatie of score. Autonome agenten stellen een moeilijkere vraag: verklaren van een beslissing die meerdere stappen, toolaanroepen, opgehaalde bewijsstukken en beleidscontroles kan omvatten. Een kenmerk-toewijzingsnummer voor één modelaanroep vangt dat niet.

De meest betrouwbare verklaring voor een beslissing van een agent is de gestructureerde redenering erachter — het bewijs dat is afgewogen, de alternatieven die zijn overwogen, het beleid dat is toegepast — vastgelegd op het moment van beslissing in plaats van achteraf te worden gereconstrueerd. Dit is verklaring door constructie: in plaats van te benaderen waarom een zwarte doos op een bepaalde manier heeft gehandeld, wordt de daadwerkelijke redenering op het moment van beslissing opgenomen. Dat maakt de verklaring per definitie betrouwbaar. Het is het hart van de beslissingslaag — zie beslissingsvolging voor hoe deze redenering wordt vastgelegd, en AI-agentenbewaking voor hoe het over tijd wordt gevolgd.