Ведение журналов LLM фиксирует подсказки и завершения — описательные данные о том, что произошло. Отслеживание решений фиксирует, ПОЧЕМУ были приняты решения — структурированное рассуждение с аргументами за и против, прецедентами и обоснованием. Ведение журнала позволяет отлаживать. Отслеживание решений позволяет сохранять институциональную память, осуществлять поиск прецедентов и объяснимый ИИ. AI Agentree предоставляет уровень отслеживания решений, который не может заменить ведение журналов.
Кратко: Ведение журнала фиксирует, что сказал модель. Отслеживание решений фиксирует, почему было принято решение. Только одно позволяет осуществлять поиск прецедентов и сохранять институциональную память.
Ведение журнала необходимо, но недостаточно. Вот что ему не хватает.
Описательное: "Это произошло"
// Log entry
{
"prompt": "Should we approve...",
"completion": "Yes, approved...",
"tokens": 847,
"latency_ms": 1234
}
Вы можете найти этот журнал. Но можете ли вы найти, как вы решили аналогичные дела?
Нормативное: "Это поддерживает/противоречит, потому что..."
// Decision trace
{
"decision": "APPROVED",
"pro_arguments": [...],
"con_arguments": [...],
"precedent_cited": "D-1234",
"rationale_ids": [...]
}
Запрашивается по шаблону рассуждения. Может быть процитировано как прецедент.
| Аспект | Ведение журнала LLM | Отслеживание решений |
|---|---|---|
| Что он захватывает | Запросы, завершения, токены, задержка | Структура рассуждений, прецеденты, обоснование |
| Структура данных | Неструктурированный текст, плоские метаданные | Структурированные деревья аргументов, нормативные отношения |
| Возможности запроса | 'Найти логи, содержащие X' | 'Найти решения, похожие на Y, на основе шаблона рассуждений' |
| Поддерживает прецедент | ||
| Институциональная память | ||
| Объяснимость | Показывает, что сказал модель | Показывает, почему было принято решение |
| Ценность соблюдения | Аудиторский след событий | Аудиторский след рассуждений |
"Как мы обрабатывали аналогичные запросы на возврат?" требует структуры рассуждений, а не текстового поиска. Логи находят совпадающие слова. Следы находят совпадающие шаблоны.
Знания, которые накапливаются со временем, требуют структурированных решений. Логи — это археология. Следы — это архитектура.
Агенты, которые ссылаются на прошлые решения, нуждаются в структурированном прецеденте. "Мы одобрили D-1234 при аналогичных условиях" требует следов решений.
"Почему ИИ принял решение X?" требует структурированного обоснования. Цепочка рассуждений — это постфактум. Следы решений — это истинная основа.
Отслеживание, какие шаблоны рассуждений приводят к хорошим результатам, требует структуры. Логи не могут коррелировать аргументы с результатами.
Переход от человека в цикле к полной автономии требует доказательств. Следы решений подтверждают качество решений. Логи подтверждают выполнение.
Логирование LLM фиксирует подсказки, завершения и метаданные (токены, задержка). Трассировка решений фиксирует структурированное рассуждение: аргументы за и против, упомянутые прецеденты, уровни уверенности и обоснование, которое привело к решению. Логирование является описательным; трассировка — нормативной.
Логи подсказок/выводов не фиксируют структуру рассуждений. Вы не можете задать вопрос 'как мы обрабатывали аналогичные случаи?' или 'какие прецеденты поддерживают это решение?' на основе сырых текстовых логов. Трассировка решений создает структурированные артефакты, которые позволяют искать прецеденты и сохранять институциональную память.
Нет. Цепочка размышлений генерируется постфактум моделью — она не соответствует внутренним вычислениям. Две подсказки могут дать одинаковый ответ с разными 'объяснениями'. Трассировка решений фиксирует структурированные артефакты в момент принятия решения, а не реконструированные нарративы.
Нет, эффективно. Прецедент требует нормативных отношений (поддерживает/противоречит), а не описательных (содержит/упоминает). Поиск на основе логов находит похожий текст; трассировка решений находит похожие паттерны рассуждений. Разница является фундаментальной.
Да. Сохраняйте ваше логирование для отладки, отслеживания затрат и соблюдения норм. Добавьте трассировку решений для объяснимости, прецедентов и институциональной памяти. Они служат разным целям и работают вместе.
Регуляции все чаще требуют объяснения решений ИИ. Логи показывают, что сказала модель. Трассировки решений показывают, почему было принято решение, какие альтернативы рассматривались и какие доказательства его поддерживали. Это то, что на самом деле нужно аудиторам и регуляторам.
Фиксируйте, ПОЧЕМУ ваш ИИ принимает решения, а не только то, что он говорит.