Ведення журналів LLM фіксує запити та завершення — описові дані про те, що сталося. Відстеження рішень фіксує, ЧОМУ були прийняті рішення — структуроване міркування з аргументами за/проти, прецедентами та обґрунтуванням. Ведення журналів дозволяє налагодження. Відстеження рішень забезпечує інституційну пам'ять, пошук прецедентів та пояснювальний AI. AI Agentree надає шар відстеження рішень, який не може замінити ведення журналів.
TL;DR: Ведення журналу фіксує, що сказав модель. Відстеження рішень фіксує, чому було прийнято рішення. Лише одне дозволяє шукати прецеденти та інституційну пам'ять.
Ведення журналів необхідне, але недостатнє. Ось чого йому не вистачає.
Описове: "Це сталося"
// Log entry
{
"prompt": "Should we approve...",
"completion": "Yes, approved...",
"tokens": 847,
"latency_ms": 1234
}
Ви можете знайти цей журнал. Але чи можете ви знайти, як ви вирішили подібні справи?
Нормативне: "Це підтримує/протистоїть, тому що..."
// Decision trace
{
"decision": "APPROVED",
"pro_arguments": [...],
"con_arguments": [...],
"precedent_cited": "D-1234",
"rationale_ids": [...]
}
Запитуване за шаблоном міркування. Може бути процитоване як прецедент.
| Аспект | Ведення журналів LLM | Відстеження рішень |
|---|---|---|
| Що це захоплює | Запити, завершення, токени, затримка | Структура міркувань, прецеденти, обґрунтування |
| Структура даних | Неструктурований текст, плоска метадані | Структуровані дерева аргументів, нормативні відносини |
| Можливість запиту | 'Знайти журнали, що містять X' | 'Знайти рішення, подібні до Y на основі шаблону міркування' |
| Підтримує прецедент | ||
| Інституційна пам'ять | ||
| Пояснюваність | Показує, що сказав модель | Показує, чому було прийнято рішення |
| Цінність відповідності | Аудиторський слід подій | Аудиторський слід міркувань |
"Як ми обробляли подібні запити на повернення коштів?" вимагає структури міркувань, а не пошуку тексту. Логи знаходять відповідні слова. Сліди знаходять відповідні шаблони.
Знання, яке накопичується з часом, вимагає структурованих рішень. Логи - це археологія. Сліди - це архітектура.
Агенти, які посилаються на минулі рішення, потребують структурованого прецеденту. "Ми затвердили D-1234 за подібних умов" вимагає слідів рішень.
"Чому ШІ вирішив X?" потребує структурованої аргументації. Ланцюг міркувань є постфактум. Сліди рішень - це об'єктивна істина.
Відстеження, які шаблони міркувань призводять до хороших результатів, вимагає структури. Логи не можуть корелювати аргументи з результатами.
Перехід від людини в циклі до повної автономії вимагає доказів. Сліди рішень підтверджують якість рішень. Логи підтверджують виконання.
Ведення журналу LLM фіксує запити, завершення та метадані (токени, затримка). Трасування рішень фіксує структуроване міркування: аргументи за/проти, прецеденти, що наводяться, рівні впевненості та обґрунтування, яке призвело до рішення. Ведення журналу є описовим; трасування є нормативним.
Журнали запитів/виходів не фіксують структуру міркування. Ви не можете запитати 'як ми обробляли подібні випадки?' або 'які прецеденти підтримують це рішення?' з сирих текстових журналів. Трасування рішень створює структуровані артефакти, які дозволяють шукати прецеденти та зберігати інституційну пам'ять.
Ні. Ланцюг думок генерується постфактум моделлю — він не є вірним внутрішнім обчисленням. Два запити можуть дати однакову відповідь з різними 'поясненнями'. Трасування рішень фіксує структуровані артефакти в момент прийняття рішення, а не реконструйовані наративи.
Ні, ефективно. Прецедент вимагає нормативних відносин (підтримує/протистоїть), а не описових (містить/згадує). Пошук на основі журналів знаходить подібний текст; трасування рішень знаходить подібні шаблони міркування. Різниця є фундаментальною.
Так. Залиште ведення журналу для налагодження, відстеження витрат та дотримання вимог. Додайте трасування рішень для пояснювальності, прецедентів та інституційної пам'яті. Вони виконують різні функції та працюють разом.
Регуляції все більше вимагають пояснення рішень ШІ. Журнали показують, що сказала модель. Траси рішень показують, чому було прийнято рішення, які альтернативи були розглянуті та які докази його підтримували. Це те, що насправді потрібно аудиторам і регуляторам.
Фіксуйте, ЧОМУ ваш AI приймає рішення, а не лише те, що він говорить.