ನಿರ್ಣಯ ಪತ್ತೆ vs LLM ಲಾಗಿಂಗ್: AI ನಿರ್ಣಯಗಳಿಗೆ ಲಾಗಿಂಗ್ ಸಾಕಾಗುವುದಿಲ್ಲ ಏಕೆ

LLM ಲಾಗಿಂಗ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಮತ್ತು ಸಂಪೂರ್ಣತೆಗಳನ್ನು ಹಿಡಿದಿಡುತ್ತದೆ - ಏನು ಸಂಭವಿಸಿತು ಎಂಬ ವಿವರಣಾತ್ಮಕ ಡೇಟಾ. ನಿರ್ಣಯ ಪತ್ತೆ ನಿರ್ಣಯಗಳು ಏಕೆ ಮಾಡಲಾಗಿದೆ ಎಂಬುದನ್ನು ಹಿಡಿದಿಡುತ್ತದೆ - ಪ್ರೋ/ಕಾನ್ ವಾದಗಳು, ಮುಂಚಿನ ಉದಾಹರಣೆಗಳು ಮತ್ತು ತರ್ಕದೊಂದಿಗೆ ರಚಿತ ತರ್ಕ. ಲಾಗಿಂಗ್ ಡಿಬಗ್ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ನಿರ್ಣಯ ಪತ್ತೆ ಸಂಸ್ಥೆಯ ನೆನಪು, ಮುಂಚಿನ ಹುಡುಕಾಟ ಮತ್ತು ವಿವರಿಸಲು ಸಾಧ್ಯವಾದ AI ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ. AI ಏಜೆಂಟ್ರಿ ಲಾಗಿಂಗ್ ಬದಲಾಯಿಸಲು ಸಾಧ್ಯವಾಗದ ನಿರ್ಣಯ ಪತ್ತೆ ಹಂತವನ್ನು ಒದಗಿಸುತ್ತದೆ.

ವರ್ಗ ಹೋಲಣೆ

ನಿರ್ಣಯ ಪತ್ತೆ vs LLM ಲಾಗಿಂಗ್: ಲಾಗ್‌ಗಳು ಸಾಕಾಗುವುದಿಲ್ಲ

TL;DR: ಲಾಗಿಂಗ್ ಮಾದರಿಯು ಏನು ಹೇಳಿತು ಎಂಬುದನ್ನು ಹಿಡಿದಿಡುತ್ತದೆ. ನಿರ್ಣಯ ಪತ್ತೆ ನಿರ್ಣಯ ಏಕೆ ಮಾಡಲಾಗಿದೆ ಎಂಬುದನ್ನು ಹಿಡಿದಿಡುತ್ತದೆ. ಕೇವಲ ಒಂದು ಮುಂಚಿನ ಮತ್ತು ಸಂಸ್ಥೆಯ ನೆನಪುಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ.

ಲಾಗಿಂಗ್ ಅಗತ್ಯವಿದೆ ಆದರೆ ಸಾಕಾಗುವುದಿಲ್ಲ. ಇದು ಏನು ಕಳೆದುಕೊಂಡಿದೆ ಎಂಬುದನ್ನು ಇಲ್ಲಿ ನೀಡಲಾಗಿದೆ.

ಮೂಲಭೂತ ವ್ಯತ್ಯಾಸ

LLM ಲಾಗಿಂಗ್

ವಿವರಣಾತ್ಮಕ: "ಇದು ಸಂಭವಿಸಿತು"

// Log entry

{

"prompt": "Should we approve...",

"completion": "Yes, approved...",

"tokens": 847,

"latency_ms": 1234

}

ನೀವು ಈ ಲಾಗ್ ಅನ್ನು ಕಂಡುಹಿಡಿಯಬಹುದು. ಆದರೆ ನೀವು ಸಮಾನ ಪ್ರಕರಣಗಳನ್ನು ನಿರ್ಧರಿಸಿದ ರೀತಿಯನ್ನು ಕಂಡುಹಿಡಿಯಬಹುದೇ?

ನಿರ್ಣಯ ಪತ್ತೆ

ನಿಯಮಿತ: "ಇದು ಬೆಂಬಲಿಸುತ್ತದೆ/ವಿರೋಧಿಸುತ್ತದೆ ಏಕೆಂದರೆ..."

// Decision trace

{

"decision": "APPROVED",

"pro_arguments": [...],

"con_arguments": [...],

"precedent_cited": "D-1234",

"rationale_ids": [...]

}

ತರ್ಕದ ಮಾದರಿಯ ಮೂಲಕ ಕೇಳಬಹುದಾಗಿದೆ. ಮುಂಚಿನ ಉದಾಹರಣೆಯಂತೆ ಉಲ್ಲೇಖಿಸಬಹುದಾಗಿದೆ.

ಬದಿಗೆ-ಬದಿ ಹೋಲಣೆ

ಪರಿಕಲ್ಪನೆLLM ಲಾಗಿಂಗ್ನಿರ್ಣಯ ಪತ್ತೆ
ಇದು ಏನು ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುತ್ತದೆಪ್ರಾಂಪ್ಟ್‌ಗಳು, ಸಂಪೂರ್ಣತೆ, ಟೋಕನ್‌ಗಳು, ವಿಳಂಬತರ್ಕದ ರಚನೆ, ಪೂರ್ವದರ್ಶಿಗಳು, ತರ್ಕ
ಡೇಟಾ ರಚನೆಅಸಂರಚಿತ ಪಠ್ಯ, ಸಮತಲ ಮೆಟಾಡೇಟಾಸಂರಚಿತ ವಾದ ಮರಗಳು, ಮಾನದಂಡ ಸಂಬಂಧಗಳು
ಕೋರಿ ಸಾಮರ್ಥ್ಯ'X ಅನ್ನು ಒಳಗೊಂಡ ಲಾಗ್‌ಗಳನ್ನು ಹುಡುಕಿ''ತರ್ಕದ ಮಾದರಿಯ ಆಧಾರದ ಮೇಲೆ Y ಗೆ ಸಮಾನವಾದ ನಿರ್ಧಾರಗಳನ್ನು ಹುಡುಕಿ'
ಪೂರ್ವದರ್ಶಿಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ
ಸಂಸ್ಥಾಪಕ ನೆನಪು
ವಿವರಣೆಗೊಳ್ಳುವಿಕೆಮಾದರಿ ಏನು ಹೇಳಿತು ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆನಿರ್ಧಾರ ಏಕೆ ಮಾಡಲಾಗಿದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ
ಅನುಕೂಲ ಮೌಲ್ಯಘಟನೆಯ ಆಡಿಯ್ಟ್ ಪಥತರ್ಕದ ಆಡಿಯ್ಟ್ ಪಥ

ಲಾಗಿಂಗ್ ಏನನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ

ಪೂರ್ವದರ್ಶಿ ಶೋಧ

"ನಾವು ಸಮಾನ ಮರುಪಾವತಿ ವಿನಂತಿಗಳನ್ನು ಹೇಗೆ ನಿರ್ವಹಿಸಿದ್ದೇವೆ?" ಇದು ಪಠ್ಯ ಶೋಧವಲ್ಲ, ಬುದ್ಧಿವಂತಿಕೆಯ ರಚನೆಯ ಅಗತ್ಯವಿದೆ. ಲಾಗ್‌ಗಳು ಹೊಂದಾಣಿಕೆಯ ಶಬ್ದಗಳನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತವೆ. ಟ್ರೇಸ್‌ಗಳು ಹೊಂದಾಣಿಕೆಯ ಮಾದರಿಗಳನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತವೆ.

ಸಂಸ್ಥಾತ್ಮಕ ನೆನಪು

ಕಾಲಕ್ರಮೇಣ ವೃದ್ಧಿಯಾಗುವ ಜ್ಞಾನವು ರಚಿತ ನಿರ್ಧಾರಗಳನ್ನು ಅಗತ್ಯವಿದೆ. ಲಾಗ್‌ಗಳು ಪುರಾತತ್ವಶಾಸ್ತ್ರವಾಗಿದೆ. ಟ್ರೇಸ್‌ಗಳು ವಾಸ್ತುಶಾಸ್ತ್ರವಾಗಿದೆ.

ಪೂರ್ವದರ್ಶಿ-ಚಾಲಿತ ಸ್ವಾಯತ್ತತೆ

ಹಿಂದಿನ ನಿರ್ಧಾರಗಳನ್ನು ಉಲ್ಲೇಖಿಸುವ ಏಜೆಂಟ್‌ಗಳಿಗೆ ರಚಿತ ಪೂರ್ವದರ್ಶಿಯ ಅಗತ್ಯವಿದೆ. "ನಾವು ಸಮಾನ ಪರಿಸ್ಥಿತಿಗಳ ಅಡಿಯಲ್ಲಿ D-1234 ಅನ್ನು ಅನುಮೋದಿಸಿದ್ದೇವೆ" ನಿರ್ಧಾರ ಟ್ರೇಸ್‌ಗಳನ್ನು ಅಗತ್ಯವಿದೆ.

ವಿವರಣೆ ನೀಡಬಹುದಾದ ನಿರ್ಧಾರಗಳು

"ಎಐ X ಅನ್ನು ಏಕೆ ನಿರ್ಧರಿಸಿತು?" ಇದು ರಚಿತ ಕಾರಣವನ್ನು ಅಗತ್ಯವಿದೆ. ಚೇನ್-ಆಫ್-ಥಾಟ್ ಹಿನ್ನೋಟವಾಗಿದೆ. ನಿರ್ಧಾರ ಟ್ರೇಸ್‌ಗಳು ನೆಲದ ಸತ್ಯ.

ಫಲಿತಾಂಶ ಕಲಿಕೆ

ಯಾವ ಬುದ್ಧಿವಂತಿಕೆಯ ಮಾದರಿಗಳು ಉತ್ತಮ ಫಲಿತಾಂಶಗಳಿಗೆ ಕರೆದೊಯ್ಯುತ್ತವೆ ಎಂಬುದನ್ನು ಹಿಂಡಲು ರಚನೆಯ ಅಗತ್ಯವಿದೆ. ಲಾಗ್‌ಗಳು ವಾದಗಳನ್ನು ಫಲಿತಾಂಶಗಳಿಗೆ ಸಂಬಂಧಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.

ವಿಶ್ವಾಸ ಪ್ರಗತಿ

ಮಾನವ-ಇನ್-ಲೂಪ್‌ನಿಂದ ಸಂಪೂರ್ಣ ಸ್ವಾಯತ್ತತೆಗೆ ಸಾಗಲು ಸಾಕ್ಷಿಯ ಅಗತ್ಯವಿದೆ. ನಿರ್ಧಾರ ಟ್ರೇಸ್‌ಗಳು ನಿರ್ಧಾರದ ಗುಣಮಟ್ಟವನ್ನು ಸಾಬೀತುಪಡಿಸುತ್ತವೆ. ಲಾಗ್‌ಗಳು ಕಾರ್ಯಗತಗೊಳಣೆಯನ್ನು ಸಾಬೀತುಪಡಿಸುತ್ತವೆ.

ಅನೇಕವಾಗಿ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

LLM ಲಾಗಿಂಗ್ ಮತ್ತು ನಿರ್ಧಾರ ಪಥದ ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು?

LLM ಲಾಗಿಂಗ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು, ಸಂಪೂರ್ಣತೆ ಮತ್ತು ಮೆಟಾಡೇಟಾವನ್ನು (ಟೋಕನ್‌ಗಳು, ವಿಳಂಬ) ಹಿಡಿದಿಡುತ್ತದೆ. ನಿರ್ಧಾರ ಪಥವು ರಚಿತ ಯೋಚನೆಯನ್ನು ಹಿಡಿದಿಡುತ್ತದೆ: ಪರ/ವಿರೋಧದ ವಾದಗಳು, ಉಲ್ಲೇಖಿತ ಮುಂಚಿನ ಪ್ರಕರಣಗಳು, ವಿಶ್ವಾಸದ ಮಟ್ಟಗಳು ಮತ್ತು ನಿರ್ಧಾರವನ್ನು ತೆಗೆದುಕೊಂಡ ಕಾರಣ. ಲಾಗಿಂಗ್ ವಿವರಣಾತ್ಮಕವಾಗಿದೆ; ಪಥವು ಮಾನದಂಡವಾಗಿದೆ.

ನಾನು ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಮತ್ತು ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಮಾತ್ರ ಲಾಗ್ ಮಾಡಲಾಗುವುದೆಂದು ಏಕೆ ಸಾಧ್ಯವಿಲ್ಲ?

ಪ್ರಾಂಪ್ಟ್/ಔಟ್‌ಪುಟ್ ಲಾಗ್‌ಗಳು ಯೋಚನೆಯ ರಚನೆಯನ್ನು ಹಿಡಿದಿಡುವುದಿಲ್ಲ. ನೀವು ಕಚ್ಚಾ ಪಠ್ಯ ಲಾಗ್‌ಗಳಿಂದ 'ನಾವು ಹೋಲಿಸಿದ ಪ್ರಕರಣಗಳನ್ನು ಹೇಗೆ ನಿರ್ವಹಿಸಿದ್ದೇವೆ?' ಅಥವಾ 'ಈ ನಿರ್ಧಾರವನ್ನು ಬೆಂಬಲಿಸುವ ಮುಂಚಿನ ಪ್ರಕರಣಗಳು ಯಾವುವು?' ಎಂದು ಕೇಳಲು ಸಾಧ್ಯವಿಲ್ಲ. ನಿರ್ಧಾರ ಪಥವು ಮುಂಚಿನ ಹುಡುಕಾಟ ಮತ್ತು ಸಂಸ್ಥೆಯ ನೆನಪುಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವ ರಚಿತ ಕಲ್ಪನೆಗಳನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ.

ಚೈನ್-ಆಫ್-ಥಾಟ್ ಲಾಗಿಂಗ್ ನಿರ್ಧಾರ ಪಥದಂತೆವೇ?

ಇಲ್ಲ. ಚೈನ್-ಆಫ್-ಥಾಟ್ ಮಾದರಿಯ ಮೂಲಕ ಹಿನ್ನೋಟದಲ್ಲಿ ಉತ್ಪಾದಿತವಾಗುತ್ತದೆ — ಇದು ಆಂತರಿಕ ಗಣನೆಯಿಗೆ ನಿಷ್ಠಾವಂತವಾಗಿಲ್ಲ. ಎರಡು ಪ್ರಾಂಪ್ಟ್‌ಗಳು ವಿಭಿನ್ನ 'ವಿವರಣೆಗಳೊಂದಿಗೆ' ಒಂದೇ ಉತ್ತರವನ್ನು ಉತ್ಪಾದಿಸಬಹುದು. ನಿರ್ಧಾರ ಪಥವು ನಿರ್ಧಾರದ ಬಿಂದುವಿನಲ್ಲಿ ರಚಿತ ಕಲ್ಪನೆಗಳನ್ನು ಹಿಡಿದಿಡುತ್ತದೆ, ಪುನರ್‌ರಚಿತ ಕಥನಗಳನ್ನು ಅಲ್ಲ.

ನಾನು LLM ಲಾಗ್‌ಗಳ ಮೇಲೆ ಮುಂಚಿನ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸಬಹುದೆ?

ಸಕಾರಾತ್ಮಕವಾಗಿ ಅಲ್ಲ. ಮುಂಚಿನವು ಮಾನದಂಡ ಸಂಬಂಧಗಳನ್ನು (ಬೆಂಬಲಿಸುತ್ತದೆ/ವಿರೋಧಿಸುತ್ತದೆ) ಅಗತ್ಯವಿದೆ, ವಿವರಣಾತ್ಮಕವಾದವು (ಒಳಗೊಂಡಿದೆ/ಉಲ್ಲೇಖಿಸುತ್ತದೆ) ಅಗತ್ಯವಿಲ್ಲ. ಲಾಗ್ ಆಧಾರಿತ ಹುಡುಕಾಟವು ಹೋಲಿಸಿದ ಪಠ್ಯವನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತದೆ; ನಿರ್ಧಾರ ಪಥವು ಹೋಲಿಸಿದ ಯೋಚನಾ ಮಾದರಿಗಳನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತದೆ. ವ್ಯತ್ಯಾಸವು ಮೂಲಭೂತವಾಗಿದೆ.

ನಾನು ನಿರ್ಧಾರ ಪಥವನ್ನು ಬಳಸಿದರೆ ಲಾಗಿಂಗ್ ಅಗತ್ಯವಿದೆಯೆ?

ಹೌದು. ಡಿಬಗಿಂಗ್, ವೆಚ್ಚದ ಹಕ್ಕುಪತ್ರ ಮತ್ತು ಅನುಕೂಲಕ್ಕಾಗಿ ನಿಮ್ಮ ಲಾಗಿಂಗ್ ಅನ್ನು ಕಾಯ್ದಿರಿಸಿ. ವಿವರವಾದ, ಮುಂಚಿನ ಮತ್ತು ಸಂಸ್ಥೆಯ ನೆನಪುಗಾಗಿ ನಿರ್ಧಾರ ಪಥವನ್ನು ಸೇರಿಸಿ. ಅವು ವಿಭಿನ್ನ ಉದ್ದೇಶಗಳನ್ನು ಸೇವಿಸುತ್ತವೆ ಮತ್ತು ಒಟ್ಟಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.

ನಿರ್ಧಾರ ಪಥವು AI ನಿಯಂತ್ರಣಕ್ಕೆ ಹೇಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ?

ನಿಯಮಗಳು AI ನಿರ್ಧಾರಗಳನ್ನು ವಿವರಿಸಲು ಹೆಚ್ಚಾಗಿಯೇ ಅಗತ್ಯವಿದೆ. ಲಾಗ್‌ಗಳು ಮಾದರಿಯು ಏನು ಹೇಳಿತು ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತವೆ. ನಿರ್ಧಾರ ಪಥಗಳು ನಿರ್ಧಾರವನ್ನು ಏಕೆ ತೆಗೆದುಕೊಳ್ಳಲಾಗಿದೆ, ಯಾವ ಪರ್ಯಾಯಗಳನ್ನು ಪರಿಗಣಿಸಲಾಗಿದೆ ಮತ್ತು ಯಾವ ಸಾಕ್ಷಿಗಳು ಇದನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತವೆ. ಇದು ಆಡಿಟರ್‌ಗಳು ಮತ್ತು ನಿಯಂತ್ರಕರಿಗೆ ವಾಸ್ತವವಾಗಿ ಅಗತ್ಯವಿದೆ.

ಲಾಗಿಂಗ್ ಅನ್ನು ಮೀರಿಸಿ

ನಿಮ್ಮ AI ಏಕೆ ನಿರ್ಧರಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಹಿಡಿದಿಡಿ, ಅದು ಏನು ಹೇಳುತ್ತದೆ ಎಂಬುದನ್ನು ಮಾತ್ರ ಅಲ್ಲ.