Wat is LLM observability?

LLM-observabiliteit geeft antwoord op een gerichte vraag: wat gebeurt er binnen de taalmodelaanroepen die mijn applicatie maakt? Omdat LLM's niet-deterministisch zijn, duur per token en gevoelig voor promptwoording, zijn de signalen die ertoe doen anders dan bij een typische webservice. Teams volgen meestal:

• Prompts en promptversies — de exacte invoer die naar het model wordt gestuurd, en welke versie van een promptsjabloon het heeft gegenereerd, zodat een regressie kan worden herleid tot een promptwijziging.
• Tokens en kosten — invoer- en uitvoertokentellingen per aanroep, opgerold in uitgaven, aangezien de kosten rechtstreeks schalen met tokens.
• Latentie — tijd tot het eerste token en totale voltooiingstijd, die de gebruikerswaargenomen responsiviteit aandrijven.
• Uitvoerkwaliteit — evaluaties, scores of menselijke feedback over of de generatie correct, relevant en veilig was.

Dit is de model-aanroepniveau-slice van de bredere AI-observabiliteit.

LLM-observabiliteit is uitgegroeid tot een eigen softwarecategorie, afgezonderd van algemene applicatieprestatiebewaking. Tools zoals LangSmith, Langfuse, Arize Phoenix en Helicone zijn voorbeelden die zich richten op het vastleggen van prompts, voltooien, tokengebruik, kosten, latentie en evaluatiescores, en op het visualiseren ervan over veel aanroepen.

Wat deze categorie deelt, is een eenheid van analyse: de LLM-aanroep (of een keten ervan). Die kadering is precies goed voor het debuggen van een prompt of het controleren van uitgaven. Het is ook waar de natuurlijke grens van de categorie zit — wat de volgende sectie uiteenzet.

LLM-observabiliteit legt de aanhroep vast: wat er in het model ging en wat eruit kwam. Het legt niet, bij ontwerp, de beslissing vast: waarom de omliggende agent of applicatie koos om op die uitvoer te handelen, welk bewijs en beleid het afwoog, en wie verantwoordelijk is voor het resultaat.

Bedenk een agent die een klantreactie opstelt en verstuurt. LLM-observabiliteit zal getrouw de prompt, de tokens, de kosten en de gegenereerde tekst opnemen. Maar het zal, op zichzelf, de reden niet bewaren — was een restitutiebeleid correct toegepast? waren alternatieven overwogen? — in een vorm die een auditor kan vertrouwen. Dat behoort tot de beslissingslaag: AI-naspeurbaarheid en een onvervalsbare AI-audittrail, die samen ruwe aanroepen omzetten in verantwoorde beslissingen onder AI-governance. De aanroep is het mechanisme; de beslissing is waarvoor je verantwoordelijk bent.