LLM ਲੌਗਿੰਗ ਪ੍ਰੰਪਟ ਅਤੇ ਪੂਰਨਤਾ ਨੂੰ ਕੈਪਚਰ ਕਰਦੀ ਹੈ - ਜੋ ਕੁਝ ਹੋਇਆ ਉਸ ਬਾਰੇ ਵੇਰਵਾ ਡੇਟਾ। ਫੈਸਲਾ ਟ੍ਰੇਸਿੰਗ ਇਹ ਕੈਪਚਰ ਕਰਦੀ ਹੈ ਕਿ ਫੈਸਲੇ ਕਿਉਂ ਕੀਤੇ ਗਏ - ਪ੍ਰੋ/ਕਾਨ ਵਾਦ, ਪੂਰਵ ਨਜ਼ਰ ਅਤੇ ਤਰਕ ਨਾਲ ਸੰਰਚਿਤ ਤਰਕ। ਲੌਗਿੰਗ ਡੀਬੱਗਿੰਗ ਨੂੰ ਯੋਗ ਬਣਾਉਂਦੀ ਹੈ। ਫੈਸਲਾ ਟ੍ਰੇਸਿੰਗ ਸੰਸਥਾਗਤ ਯਾਦ, ਪੂਰਵ ਨਜ਼ਰ ਦੀ ਖੋਜ ਅਤੇ ਵਿਆਖਿਆਯੋਗ AI ਨੂੰ ਯੋਗ ਬਣਾਉਂਦੀ ਹੈ। AI ਏਜੈਂਟਰੀ ਉਹ ਫੈਸਲਾ ਟ੍ਰੇਸਿੰਗ ਪਰਤ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ ਜੋ ਲੌਗਿੰਗ ਬਦਲ ਨਹੀਂ ਸਕਦੀ।
TL;DR: ਲੌਗਿੰਗ ਮਾਡਲ ਨੇ ਕੀ ਕਿਹਾ, ਇਹ ਕੈਪਚਰ ਕਰਦੀ ਹੈ। ਫੈਸਲਾ ਟ੍ਰੇਸਿੰਗ ਇਹ ਕੈਪਚਰ ਕਰਦੀ ਹੈ ਕਿ ਫੈਸਲਾ ਕਿਉਂ ਕੀਤਾ ਗਿਆ। ਸਿਰਫ ਇੱਕ ਪੂਰਵ ਨਜ਼ਰ ਅਤੇ ਸੰਸਥਾਗਤ ਯਾਦ ਨੂੰ ਯੋਗ ਬਣਾਉਂਦੀ ਹੈ।
ਲੌਗਿੰਗ ਜਰੂਰੀ ਹੈ ਪਰ ਕਾਫੀ ਨਹੀਂ। ਇਹ ਕੀ ਗੁੰਮ ਹੈ, ਇਹ ਹੈ।
ਵੇਰਵਾ: "ਇਹ ਹੋਇਆ"
// Log entry
{
"prompt": "Should we approve...",
"completion": "Yes, approved...",
"tokens": 847,
"latency_ms": 1234
}
ਤੁਸੀਂ ਇਹ ਲੌਗ ਲੱਭ ਸਕਦੇ ਹੋ। ਪਰ ਕੀ ਤੁਸੀਂ ਲੱਭ ਸਕਦੇ ਹੋ ਕਿ ਤੁਸੀਂ ਸਮਾਨ ਕੇਸਾਂ ਨੂੰ ਕਿਵੇਂ ਫੈਸਲਾ ਕੀਤਾ?
ਨਿਯਮਕ: "ਇਹ ਸਮਰਥਨ/ਵਿਰੋਧ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ..."
// Decision trace
{
"decision": "APPROVED",
"pro_arguments": [...],
"con_arguments": [...],
"precedent_cited": "D-1234",
"rationale_ids": [...]
}
ਤਰਕ ਦੇ ਪੈਟਰਨ ਦੁਆਰਾ ਪੁੱਛਣ ਯੋਗ। ਪੂਰਵ ਨਜ਼ਰ ਵਜੋਂ ਉਲਲੇਖਯੋਗ।
| ਪੱਖ | LLM ਲੌਗਿੰਗ | ਫੈਸਲਾ ਟ੍ਰੇਸਿੰਗ |
|---|---|---|
| ਇਹ ਕੀ ਕੈਪਚਰ ਕਰਦਾ ਹੈ | ਪ੍ਰੰਪਟ, ਪੂਰਨਤਾ, ਟੋਕਨ, ਦੇਰੀ | ਤਰਕ ਸਾਂਚਾ, ਪੂਰਵ ਨਜ਼ੀਰ, ਤਰਕ |
| ਡੇਟਾ ਸਾਂਚਾ | ਅਸੰਰਚਿਤ ਪਾਠ, ਸਮਤਲ ਮੈਟਾਡੇਟਾ | ਸੰਰਚਿਤ ਦਲੀਲ ਦਰੱਖਤ, ਨਾਰਮਟਿਵ ਸੰਬੰਧ |
| ਪ੍ਰਸ਼ਨ ਕਰਨ ਦੀ ਸਮਰੱਥਾ | 'X ਵਾਲੇ ਲੌਗ ਲੱਭੋ' | 'Y ਦੇ ਤਰਕ ਪੈਟਰਨ ਦੇ ਆਧਾਰ 'ਤੇ ਸਮਾਨ ਫੈਸਲੇ ਲੱਭੋ' |
| ਪੂਰਵ ਨਜ਼ੀਰ ਦਾ ਸਮਰਥਨ | ||
| ਸੰਸਥਾਗਤ ਯਾਦਦਾਸ਼ਤ | ||
| ਵਿਆਖਿਆਯੋਗਤਾ | ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਮਾਡਲ ਨੇ ਕੀ ਕਿਹਾ | ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਫੈਸਲਾ ਕਿਉਂ ਕੀਤਾ ਗਿਆ |
| ਅਨੁਕੂਲਤਾ ਮੁੱਲ | ਘਟਨਾਵਾਂ ਦਾ ਆਡੀਟ ਟਰੇਲ | ਤਰਕ ਦਾ ਆਡੀਟ ਟਰੇਲ |
"ਅਸੀਂ ਸਮਾਨ ਰਿਫੰਡ ਬੇਨਤੀਆਂ ਨੂੰ ਕਿਵੇਂ ਸੰਭਾਲਿਆ?" ਤਰਕ ਸਾਂਚੇ ਦੀ ਲੋੜ ਹੈ, ਪਾਠ ਖੋਜ ਨਹੀਂ। ਲੌਗ ਮਿਲਦੇ ਸ਼ਬਦ ਲੱਭਦੇ ਹਨ। ਟਰੇਸ ਮਿਲਦੇ ਪੈਟਰਨ ਲੱਭਦੇ ਹਨ।
ਜਾਣਕਾਰੀ ਜੋ ਸਮੇਂ ਦੇ ਨਾਲ ਵਧਦੀ ਹੈ, ਉਸ ਨੂੰ ਸੰਰਚਿਤ ਫੈਸਲਿਆਂ ਦੀ ਲੋੜ ਹੈ। ਲੌਗ ਪੁਰਾਤਤਵ ਹਨ। ਟਰੇਸ ਵਾਸਤੁਕਲਾ ਹਨ।
ਜੋ ਏਜੰਟ ਪਿਛਲੇ ਫੈਸਲਿਆਂ ਦਾ ਉਲਲੇਖ ਕਰਦੇ ਹਨ, ਉਨ੍ਹਾਂ ਨੂੰ ਸੰਰਚਿਤ ਪੂਰਵ ਨਜ਼ੀਰ ਦੀ ਲੋੜ ਹੈ। "ਅਸੀਂ ਸਮਾਨ ਹਾਲਾਤਾਂ ਦੇ ਅਧੀਨ D-1234 ਨੂੰ ਮਨਜ਼ੂਰੀ ਦਿੱਤੀ" ਫੈਸਲੇ ਦੇ ਟਰੇਸ ਦੀ ਲੋੜ ਹੈ।
"AI ਨੇ X ਕਿਉਂ ਫੈਸਲਾ ਕੀਤਾ?" ਨੂੰ ਸੰਰਚਿਤ ਤਰਕ ਦੀ ਲੋੜ ਹੈ। ਚੇਨ-ਆਫ-ਥੌਟ ਪੋਸਟ-ਹੌਕ ਹੈ। ਫੈਸਲੇ ਦੇ ਟਰੇਸ ਮੂਲ ਸੱਚਾਈ ਹਨ।
ਇਹ ਪਤਾ ਲਗਾਉਣਾ ਕਿ ਕਿਹੜੇ ਤਰਕ ਪੈਟਰਨ ਚੰਗੇ ਨਤੀਜੇ ਵੱਲ ਲੈ ਜਾਂਦੇ ਹਨ, ਉਸ ਨੂੰ ਸੰਰਚਨਾ ਦੀ ਲੋੜ ਹੈ। ਲੌਗ ਦਲੀਲਾਂ ਨੂੰ ਨਤੀਜਿਆਂ ਨਾਲ ਜੋੜ ਨਹੀਂ ਸਕਦੇ।
ਮਨੁੱਖ-ਇਨ-ਲੂਪ ਤੋਂ ਪੂਰੀ ਆਟੋਨੋਮੀ ਵੱਲ ਜਾਣ ਲਈ ਸਬੂਤ ਦੀ ਲੋੜ ਹੈ। ਫੈਸਲੇ ਦੇ ਟਰੇਸ ਫੈਸਲੇ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਸਾਬਤ ਕਰਦੇ ਹਨ। ਲੌਗ ਕਾਰਵਾਈ ਨੂੰ ਸਾਬਤ ਕਰਦੇ ਹਨ।
LLM ਲੌਗਿੰਗ ਪ੍ਰੰਪਟ, ਪੂਰਨਤਾ, ਅਤੇ ਮੈਟਾਡੇਟਾ (ਟੋਕਨ, ਦੇਰੀ) ਨੂੰ ਕੈਪਚਰ ਕਰਦਾ ਹੈ। ਫੈਸਲਾ ਟਰੇਸਿੰਗ ਸੰਰਚਿਤ ਤਰਕ ਨੂੰ ਕੈਪਚਰ ਕਰਦਾ ਹੈ: ਫਾਇਦੇ/ਨੁਕਸਾਨ ਦੀਆਂ ਦਲੀਲਾਂ, ਉਲਲੇਖਿਤ ਪੂਰਵ ਨਜ਼ੀਰ, ਭਰੋਸੇ ਦੇ ਪੱਧਰ, ਅਤੇ ਉਹ ਤਰਕ ਜੋ ਫੈਸਲੇ ਨੂੰ ਲੈ ਕੇ ਗਿਆ। ਲੌਗਿੰਗ ਵਰਣਨਾਤਮਕ ਹੈ; ਟਰੇਸਿੰਗ ਨਾਰਮਟਿਵ ਹੈ।
ਪ੍ਰੰਪਟ/ਨਤੀਜੇ ਲੌਗ ਤਰਕ ਸਾਂਚਾ ਨਹੀਂ ਕੈਪਚਰ ਕਰਦੇ। ਤੁਸੀਂ ਕੱਚੇ ਪਾਠ ਲੌਗ ਤੋਂ 'ਅਸੀਂ ਸਮਾਨ ਕੇਸਾਂ ਨੂੰ ਕਿਵੇਂ ਸੰਭਾਲਿਆ?' ਜਾਂ 'ਕਿਹੜੇ ਪੂਰਵ ਨਜ਼ੀਰ ਇਸ ਫੈਸਲੇ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ?' ਪੁੱਛ ਨਹੀਂ ਸਕਦੇ। ਫੈਸਲਾ ਟਰੇਸਿੰਗ ਸੰਰਚਿਤ ਆਰਟੀਫੈਕਟ ਬਣਾਉਂਦੀ ਹੈ ਜੋ ਪੂਰਵ ਨਜ਼ੀਰ ਖੋਜ ਅਤੇ ਸੰਸਥਾਗਤ ਯਾਦਦਾਸ਼ਤ ਨੂੰ ਯੋਗ ਬਣਾਉਂਦੀ ਹੈ।
ਨਹੀਂ। ਚੇਨ-ਆਫ-ਥੌਟ ਮਾਡਲ ਦੁਆਰਾ ਪੋਸਟ-ਹੌਕ ਤੌਰ 'ਤੇ ਬਣਾਈ ਜਾਂਦੀ ਹੈ — ਇਹ ਅੰਦਰੂਨੀ ਗਣਨਾ ਦੇ ਪ੍ਰਤੀ ਵਫਾਦਾਰ ਨਹੀਂ ਹੈ। ਦੋ ਪ੍ਰੰਪਟ ਵੱਖ-ਵੱਖ 'ਵਿਆਖਿਆਵਾਂ' ਨਾਲ ਇੱਕੋ ਜਿਹੀ ਜਵਾਬ ਦੇ ਸਕਦੇ ਹਨ। ਫੈਸਲਾ ਟਰੇਸਿੰਗ ਫੈਸਲੇ ਦੇ ਸਮੇਂ 'ਤੇ ਸੰਰਚਿਤ ਆਰਟੀਫੈਕਟ ਕੈਪਚਰ ਕਰਦੀ ਹੈ, ਨਾ ਕਿ ਦੁਬਾਰਾ ਬਣਾਈਆਂ ਗਈਆਂ ਕਹਾਣੀਆਂ।
ਨਹੀਂ, ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਤੌਰ 'ਤੇ। ਪੂਰਵ ਨਜ਼ੀਰ ਨੂੰ ਨਾਰਮਟਿਵ ਸੰਬੰਧਾਂ (ਸਮਰਥਨ/ਵਿਰੋਧ) ਦੀ ਲੋੜ ਹੈ, ਵਰਣਨਾਤਮਕ ਨਹੀਂ (ਸ਼ਾਮਲ/ਉਲਲੇਖਿਤ)। ਲੌਗ-ਅਧਾਰਿਤ ਖੋਜ ਸਮਾਨ ਪਾਠ ਲੱਭਦੀ ਹੈ; ਫੈਸਲਾ ਟਰੇਸਿੰਗ ਸਮਾਨ ਤਰਕ ਪੈਟਰਨ ਲੱਭਦੀ ਹੈ। ਫਰਕ ਮੂਲ ਹੈ।
ਹਾਂ। ਡੀਬੱਗਿੰਗ, ਖਰਚਾ ਟ੍ਰੈਕਿੰਗ, ਅਤੇ ਅਨੁਕੂਲਤਾ ਲਈ ਆਪਣੀ ਲੌਗਿੰਗ ਰੱਖੋ। ਵਿਆਖਿਆਯੋਗਤਾ, ਪੂਰਵ ਨਜ਼ੀਰ, ਅਤੇ ਸੰਸਥਾਗਤ ਯਾਦਦਾਸ਼ਤ ਲਈ ਫੈਸਲਾ ਟਰੇਸਿੰਗ ਸ਼ਾਮਲ ਕਰੋ। ਇਹ ਵੱਖ-ਵੱਖ ਉਦੇਸ਼ਾਂ ਦੀ ਸੇਵਾ ਕਰਦੇ ਹਨ ਅਤੇ ਇਕੱਠੇ ਕੰਮ ਕਰਦੇ ਹਨ।
ਨਿਯਮਾਂ ਨੂੰ ਵਧੇਰੇ AI ਫੈਸਲਿਆਂ ਦੀ ਵਿਆਖਿਆ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਲੌਗ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਮਾਡਲ ਨੇ ਕੀ ਕਿਹਾ। ਫੈਸਲਾ ਟਰੇਸ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਫੈਸਲਾ ਕਿਉਂ ਕੀਤਾ ਗਿਆ, ਕੀ ਵਿਕਲਪ ਵਿਚਾਰਿਆ ਗਿਆ, ਅਤੇ ਕੀ ਸਬੂਤ ਇਸਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਇਹ ਉਹ ਹੈ ਜੋ ਆਡੀਟਰਾਂ ਅਤੇ ਨਿਯਮਕਾਂ ਨੂੰ ਵਾਸਤਵ ਵਿੱਚ ਲੋੜ ਹੈ।
ਕੈਪਚਰ ਕਰੋ ਕਿ ਤੁਹਾਡਾ AI ਕਿਉਂ ਫੈਸਲਾ ਕਰਦਾ ਹੈ, ਨਾ ਕਿ ਸਿਰਫ ਇਹ ਕੀ ਕਹਿੰਦਾ ਹੈ।