Ghi chép LLM ghi lại các lời nhắc và hoàn thành — dữ liệu mô tả về những gì đã xảy ra. Theo dõi quyết định ghi lại TẠI SAO các quyết định được đưa ra — lý luận có cấu trúc với các lập luận ủng hộ/phản đối, tiền lệ và lý do. Ghi chép cho phép gỡ lỗi. Theo dõi quyết định cho phép trí nhớ tổ chức, tìm kiếm tiền lệ và AI có thể giải thích. AI Agentree cung cấp lớp theo dõi quyết định mà ghi chép không thể thay thế.
TL;DR: Ghi chép ghi lại những gì mô hình đã nói. Theo dõi quyết định ghi lại lý do tại sao quyết định được đưa ra. Chỉ có một cái cho phép tìm kiếm tiền lệ và trí nhớ tổ chức.
Ghi chép là cần thiết nhưng không đủ. Đây là những gì nó thiếu.
Mô tả: "Điều này đã xảy ra"
// Log entry
{
"prompt": "Should we approve...",
"completion": "Yes, approved...",
"tokens": 847,
"latency_ms": 1234
}
Bạn có thể tìm thấy nhật ký này. Nhưng bạn có thể tìm thấy cách bạn quyết định các trường hợp tương tự không?
Chuẩn mực: "Điều này ủng hộ/phản đối vì..."
// Decision trace
{
"decision": "APPROVED",
"pro_arguments": [...],
"con_arguments": [...],
"precedent_cited": "D-1234",
"rationale_ids": [...]
}
Có thể truy vấn theo mẫu lý luận. Có thể trích dẫn như tiền lệ.
| Khía cạnh | Ghi chép LLM | Theo dõi Quyết định |
|---|---|---|
| Những gì nó ghi lại | Các lời nhắc, hoàn thành, token, độ trễ | Cấu trúc lý luận, tiền lệ, lý do |
| Cấu trúc dữ liệu | Văn bản không cấu trúc, siêu dữ liệu phẳng | Cây lập luận có cấu trúc, mối quan hệ chuẩn mực |
| Khả năng truy vấn | 'Tìm các bản ghi chứa X' | 'Tìm các quyết định tương tự Y dựa trên mẫu lý luận' |
| Hỗ trợ tiền lệ | ||
| Ký ức tổ chức | ||
| Giải thích | Cho thấy những gì mô hình đã nói | Cho thấy lý do quyết định được đưa ra |
| Giá trị tuân thủ | Dấu vết kiểm toán của các sự kiện | Dấu vết kiểm toán của lý luận |
"Chúng ta đã xử lý các yêu cầu hoàn tiền tương tự như thế nào?" cần cấu trúc lý luận, không phải tìm kiếm văn bản. Nhật ký tìm các từ phù hợp. Dấu vết tìm các mẫu phù hợp.
Kiến thức tích lũy theo thời gian cần quyết định có cấu trúc. Nhật ký là khảo cổ học. Dấu vết là kiến trúc.
Các tác nhân trích dẫn các quyết định trong quá khứ cần tiền lệ có cấu trúc. "Chúng tôi đã phê duyệt D-1234 trong các điều kiện tương tự" cần các dấu vết quyết định.
"Tại sao AI lại quyết định X?" cần lý do có cấu trúc. Chuỗi suy nghĩ là sau đó. Các dấu vết quyết định là sự thật cơ sở.
Theo dõi các mẫu lý luận nào dẫn đến kết quả tốt cần có cấu trúc. Nhật ký không thể liên kết các lập luận với kết quả.
Di chuyển từ con người trong vòng lặp đến tự chủ hoàn toàn cần bằng chứng. Các dấu vết quyết định chứng minh chất lượng quyết định. Nhật ký chứng minh việc thực hiện.
LLM logging ghi lại các prompt, completions và metadata (tokens, độ trễ). Decision tracing ghi lại lý luận có cấu trúc: các lập luận ủng hộ/phản đối, các tiền lệ được trích dẫn, mức độ tự tin và lý do dẫn đến quyết định. Logging là mô tả; tracing là quy phạm.
Prompt/output logs không ghi lại cấu trúc lý luận. Bạn không thể truy vấn 'chúng ta đã xử lý các trường hợp tương tự như thế nào?' hoặc 'các tiền lệ nào hỗ trợ quyết định này?' từ các log văn bản thô. Decision tracing tạo ra các hiện vật có cấu trúc cho phép tìm kiếm tiền lệ và trí nhớ tổ chức.
Không. Chain-of-thought được tạo ra sau khi mô hình đã hoạt động — nó không trung thực với tính toán nội bộ. Hai prompt có thể tạo ra cùng một câu trả lời với các 'giải thích' khác nhau. Decision tracing ghi lại các hiện vật có cấu trúc tại thời điểm quyết định, không phải là các câu chuyện được tái tạo.
Không hiệu quả. Tiền lệ yêu cầu các mối quan hệ quy phạm (hỗ trợ/phản đối), không phải là các mối quan hệ mô tả (chứa/đề cập). Tìm kiếm dựa trên log tìm thấy văn bản tương tự; decision tracing tìm thấy các mẫu lý luận tương tự. Sự khác biệt là cơ bản.
Có. Giữ lại logging của bạn để gỡ lỗi, theo dõi chi phí và tuân thủ. Thêm decision tracing để giải thích, tiền lệ và trí nhớ tổ chức. Chúng phục vụ các mục đích khác nhau và hoạt động cùng nhau.
Các quy định ngày càng yêu cầu giải thích các quyết định của AI. Logs cho thấy mô hình đã nói gì. Decision traces cho thấy lý do quyết định được đưa ra, các lựa chọn nào đã được xem xét và bằng chứng nào đã hỗ trợ nó. Đây là những gì các kiểm toán viên và nhà quản lý thực sự cần.
Ghi lại TẠI SAO AI của bạn quyết định, không chỉ những gì nó nói.