Ang LLM logging ay kumukuha ng mga prompt at mga kumpletong datos — deskriptibong datos tungkol sa nangyari. Ang pagsubaybay sa desisyon ay kumukuha ng BAKIT ginawa ang mga desisyon — nakabalangkas na pangangatwiran na may mga argumento ng pro/con, mga precedent, at rasyonal. Ang logging ay nagbibigay-daan sa debugging. Ang pagsubaybay sa desisyon ay nagbibigay-daan sa institutional memory, paghahanap ng precedent, at explainable AI. Nagbibigay ang AI Agentree ng layer ng pagsubaybay sa desisyon na hindi kayang palitan ng logging.
TL;DR: Ang logging ay kumukuha ng sinabi ng modelo. Ang pagsubaybay sa desisyon ay kumukuha ng dahilan kung bakit ginawa ang desisyon. Isa lamang ang nagbibigay-daan sa precedent at institutional memory.
Kailangan ang logging ngunit hindi sapat. Narito ang mga kulang nito.
Deskriptibo: "Ito ay nangyari"
// Log entry
{
"prompt": "Should we approve...",
"completion": "Yes, approved...",
"tokens": 847,
"latency_ms": 1234
}
Maaari mong mahanap ang log na ito. Pero maaari mo bang mahanap kung paano mo pinangasiwaan ang mga katulad na kaso?
Normatibo: "Ito ay sumusuporta/nagpapatibay dahil..."
// Decision trace
{
"decision": "APPROVED",
"pro_arguments": [...],
"con_arguments": [...],
"precedent_cited": "D-1234",
"rationale_ids": [...]
}
Maaaring ma-query ayon sa pattern ng pangangatwiran. Maaaring i-cite bilang precedent.
| Aspeto | LLM Logging | Pagsubaybay sa Desisyon |
|---|---|---|
| Ano ang nahuhuli nito | Mga prompt, kumpletong sagot, token, latency | Istruktura ng pangangatwiran, mga naunang kaso, rasyonal |
| Istruktura ng data | Hindi nakabalangkas na teksto, patag na metadata | Istruktura ng mga puno ng argumento, mga normatibong relasyon |
| Kakayahan sa query | 'Hanapin ang mga log na naglalaman ng X' | 'Hanapin ang mga desisyon na katulad ng Y batay sa pattern ng pangangatwiran' |
| Sumusuporta sa naunang kaso | ||
| Pampaaralang alaala | ||
| Paliwanag | Ipinapakita kung ano ang sinabi ng modelo | Ipinapakita kung bakit ginawa ang desisyon |
| Halaga ng pagsunod | Audit trail ng mga kaganapan | Audit trail ng pangangatwiran |
"Paano natin hinawakan ang mga katulad na kahilingan sa refund?" ay nangangailangan ng estruktura ng pangangatwiran, hindi paghahanap ng teksto. Ang mga log ay nakakahanap ng mga tumutugmang salita. Ang mga bakas ay nakakahanap ng mga tumutugmang pattern.
Ang kaalaman na nag-iipon sa paglipas ng panahon ay nangangailangan ng estrukturadong desisyon. Ang mga log ay arkeolohiya. Ang mga bakas ay arkitektura.
Ang mga ahente na bumanggit ng mga nakaraang desisyon ay nangangailangan ng estrukturadong precedent. "Inaprubahan namin ang D-1234 sa ilalim ng katulad na mga kondisyon" ay nangangailangan ng mga bakas ng desisyon.
"Bakit nagpasya ang AI na X?" ay nangangailangan ng estrukturadong rasyonal. Ang chain-of-thought ay post-hoc. Ang mga bakas ng desisyon ay totoong katotohanan.
Ang pagsubaybay kung aling mga pattern ng pangangatwiran ang nagdadala sa magagandang resulta ay nangangailangan ng estruktura. Ang mga log ay hindi makakaugnay ng mga argumento sa mga resulta.
Ang paglipat mula sa tao sa proseso patungo sa ganap na awtonomiya ay nangangailangan ng ebidensya. Ang mga bakas ng desisyon ay nagpapatunay ng kalidad ng desisyon. Ang mga log ay nagpapatunay ng pagpapatupad.
Ang LLM logging ay kumukuha ng mga prompt, completion, at metadata (tokens, latency). Ang decision tracing ay kumukuha ng nakabalangkas na pangangatwiran: mga argumento pro/con, mga precedent na binanggit, mga antas ng kumpiyansa, at ang rasyonal na nagdala sa desisyon. Ang logging ay naglalarawan; ang tracing ay normatibo.
Ang mga prompt/output log ay hindi kumukuha ng estruktura ng pangangatwiran. Hindi mo ma-query ang 'paano natin hinawakan ang mga katulad na kaso?' o 'anong mga precedent ang sumusuporta sa desisyong ito?' mula sa raw text logs. Ang decision tracing ay lumilikha ng nakabalangkas na mga artifact na nagpapahintulot sa paghahanap ng precedent at institutional memory.
Hindi. Ang chain-of-thought ay nalikha post-hoc ng modelo — hindi ito tapat sa panloob na pagkalkula. Ang dalawang prompt ay maaaring makabuo ng parehong sagot na may iba't ibang 'paliwanag.' Ang decision tracing ay kumukuha ng nakabalangkas na mga artifact sa punto ng desisyon, hindi mga muling binuong kwento.
Hindi nang epektibo. Ang precedent ay nangangailangan ng normatibong relasyon (sumusuporta/nag-aaway), hindi ng mga deskriptibong relasyon (naglalaman/nagbanggit). Ang log-based search ay nakakahanap ng katulad na teksto; ang decision tracing ay nakakahanap ng katulad na mga pattern ng pangangatwiran. Ang pagkakaiba ay pangunahing.
Oo. Panatilihin ang iyong logging para sa debugging, pagsubaybay sa gastos, at pagsunod. Magdagdag ng decision tracing para sa explainability, precedent, at institutional memory. Sila ay nagsisilbing magkaibang layunin at nagtutulungan.
Ang mga regulasyon ay lalong nangangailangan ng pagpapaliwanag sa mga desisyon ng AI. Ipinapakita ng mga log kung ano ang sinabi ng modelo. Ipinapakita ng mga decision trace kung bakit ginawa ang desisyon, anong mga alternatibo ang isinasaalang-alang, at anong ebidensya ang sumuporta dito. Ito ang talagang kailangan ng mga auditor at regulator.
Kumuha ng BAKIT nagdesisyon ang iyong AI, hindi lang kung ano ang sinasabi nito.