AI ಸರ್ಚ್ ಇಂಜಿನ್ಗಳು ಅಪ್ರಸ್ತುತ ಅಥವಾ ಕಡಿಮೆ ಗುಣಮಟ್ಟದ ಮೂಲಗಳನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತಿದ್ದರೂ ಸಹ ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ಮಾತನಾಡಬಹುದು ಎಂದು ಒಂದು ಸಣ್ಣ ಪರೀಕ್ಷೆ ತೋರಿಸಿದೆ
ಮೂರು ಜನಪ್ರಿಯ AI-ಚಾಲಿತ ಸರ್ಚ್ ಟೂಲ್ಗಳ ಮೇಲೆ ನಡೆಸಿದ ಸರಳ ಮೂಲದ (provenance) ಪರಿಶೀಲನೆಯು, ಮೂರೂ ಉಪಕರಣಗಳು ಒಂದೇ ರೀತಿಯ ಆತ್ಮವಿಶ್ವಾಸದ ಬರಹ ಮತ್ತು ಮೂಲಗಳ "ಚಿಪ್ಗಳನ್ನು" (chips) ಪ್ರದರ್ಶಿಸಿದರೂ ಸಹ, ಅವುಗಳಲ್ಲಿ ಎರಡು ಉಪಕರಣಗಳು ಕೆಲಸ ಮಾಡದ ಲಿಂಕ್ಗಳನ್ನು ತೋರಿಸಿವೆ ಅಥವಾ ಕಡಿಮೆ ವಿಶ್ವಾಸಾರ್ಹತೆಯ ಸೈಟ್ಗಳ ಮೂಲಕ ತಮ್ಮ ಉತ್ತರಗಳನ್ನು ಸಮರ್ಥಿಸಿಕೊಳ್ಳುತ್ತಿವೆ ಎಂದು ಬಹಿರಂಗಪಡಿಸಿದೆ.
ಆಶ್ಚರ್ಯಕ್ಕೆ ಕಾರಣವಾದ ಪರೀಕ್ಷೆ
ನಾನು ಒಂದು ವಾಸ್ತವಿಕ ಮತ್ತು ಇತ್ತೀಚಿನ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳಿದೆ: “2026 ರಲ್ಲಿ EU AI Act ನಲ್ಲಿ ಏನನ್ನು ಬದಲಾಯಿಸಲಾಗಿದೆ?” ಈ ಉತ್ತರವು ಅಧಿಕೃತ ತಿದ್ದುಪಡಿ ಪಠ್ಯದಲ್ಲಿ ಲಭ್ಯವಿದೆ, ಆದ್ದರಿಂದ ಅದು ಅಲ್ಲಿ ಇರಬಹುದು ಅಥವಾ ಇಲ್ಲದಿರಬಹುದು. ನಾನು ಈ ಪ್ರಶ್ನೆಯನ್ನು ಉಲ್ಲೇಖಗಳನ್ನು (citations) ನೀಡುವ ಮೂರು AI ಸರ್ಚ್ ಇಂಜಿನ್ಗಳಿಗೆ ನೀಡಿದೆ: Perplexity, Google AI mode ಮತ್ತು Brave Search.
ಮೂರೂ ಇಂಜಿನ್ಗಳು ಒಂದೇ ರೀತಿಯ ಸತ್ಯಾಂಶಗಳನ್ನು ನೀಡಿದವು—ಅದೇ ದಿನಾಂಕಗಳು, ಅದೇ ವಿವರಣೆ—ಹಾಗಾಗಿ ನಿಖರತೆಯ ವಿಷಯದಲ್ಲಿ ಅವು ಸಮಾನವಾಗಿದ್ದವು. ಆದರೆ ಉಲ್ಲೇಖಿಸಲಾದ ಮೂಲಗಳನ್ನು ನಾನು ಪರಿಶೀಲಿಸಿದಾಗ ಮಾತ್ರ ವ್ಯತ್ಯಾಸ ಕಂಡುಬಂದಿತು.
ನಾನು ಮೂಲದ ಗುಣಮಟ್ಟವನ್ನು ಹೇಗೆ ನಿರ್ಧರಿಸಿದೆ
ನಾನು ಪ್ರತಿ ಉಲ್ಲೇಖವನ್ನು ಅದರ ಹೋಸ್ಟ್ ಪ್ರಕಾರಕ್ಕೆ ಅನುಗುಣವಾಗಿ ಅಂಕ ನೀಡುವ ಮೂರು ಹಂತಗಳ ಸ್ಕೋರಿಂಗ್ ಯೋಜನೆಯನ್ನು ಸಿದ್ಧಪಡಿಸಿದೆ:
- ಪ್ರಾಥಮಿಕ (weight 3) – ಕಾನೂನನ್ನು ಪ್ರಕಟಿಸುವ ಸೈಟ್ (ಉದಾಹರಣೆಗೆ, ಅಧಿಕೃತ EU ರಿಜಿಸ್ಟರ್).
- ಅಧಿಕೃತ (weight 2) – ಕಾನೂನನ್ನು ಹೊರಡಿಸುವ ಅಥವಾ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವ ಸಂಸ್ಥೆ (ಸರ್ಕಾರಿ ಡೊಮೇನ್ಗಳು, ಏಜೆನ್ಸಿ ಸೈಟ್ಗಳು).
- ಬಳಕೆದಾರರು ಸೃಷ್ಟಿಸಿದ ವಿಷಯ (UGC, weight 0) – YouTube ಅಥವಾ Reddit ನಂತಹ ಪ್ಲಾಟ್ಫಾರ್ಮ್ಗಳು.
ಪ್ರತಿ ಇಂಜಿನ್ನ ಒಟ್ಟಾರೆ ಸ್ಕೋರ್ ಎಂದರೆ ಅದು ಪ್ರದರ್ಶಿಸಿದ URLಗಳ ಸರಾಸರಿ ತೂಕವಾಗಿದೆ.
| ಇಂಜಿನ್ | ವರದಿ ಮಾಡಲಾದ ಮೂಲಗಳು | ಸ್ಕೋರ್ |
|---|---|---|
| Perplexity | ಅಧಿಕೃತ ಸರ್ಕಾರಿ ಡೊಮೇನ್ಗಳು | 2.00 |
| Google AI mode | ಕನ್ಸಲ್ಟಿಂಗ್ ಸಂಸ್ಥೆಗಳು ಮತ್ತು YouTube ವಿಡಿಯೋ | 1.00 |
| Brave Search | ಪ್ರಾಥಮಿಕ ಮೂಲ | 3.00 |
ಕಾಗದದ ಮೇಲೆ Brave ಪರಿಪೂರ್ಣವಾಗಿ ಕಂಡಿತು, Perplexity ಸಾಧಾರಣವಾಗಿತ್ತು ಮತ್ತು Google ಹಿಂದೆ ಬಿದ್ದಿತ್ತು.
ಅಡಗಿರುವ ವೈಫಲ್ಯ: ಕೆಲಸ ಮಾಡದ ಲಿಂಕ್ಗಳು
ಈ ಹಂತಗಳ ನಕ್ಷೆಯು ಕೇವಲ ಡೊಮೇನ್ ಹೆಸರನ್ನು ಮಾತ್ರ ನೋಡುತ್ತದೆ; ಲಿಂಕ್ ಮಾಡಲಾದ ಪುಟವು ನಿಜವಾಗಿಯೂ ಲೋಡ್ ಆಗುತ್ತದೆಯೇ ಎಂದು ಅದು ಪರಿಶೀಲಿಸುವುದಿಲ್ಲ. ನಾನು ಪ್ರತಿಯೊಂದು URL ಅನ್ನು ಪರಿಶೀಲಿಸಿದೆ. Brave ನ "ಪ್ರಾಥಮಿಕ" ಉಲ್ಲೇಖವು ಖಾಲಿ ಪುಟವನ್ನು ತೋರಿಸಿತು—ಅಂದರೆ ಆ ಲಿಂಕ್ ಅಪ್ರಸ್ತುತವಾಗಿತ್ತು (dead link). ಇಂಜಿನ್ ಕಾನೂನನ್ನು ತೋರಿಸುವುದಾಗಿ ಹೇಳಿಕೊಂಡರೂ ಏನನ್ನೂ ನೀಡಲಿಲ್ಲ.
Perplexity ಅಧಿಕೃತ ಸರ್ಕಾರಿ ಡೊಮೇನ್ಗಳನ್ನು ಬಳಸಿತು.
Google ಕನ್ಸಲ್ಟೆನ್ಸಿಗಳು ಮತ್ತು YouTube ವಿಡಿಯೋವನ್ನು ಬಳಸಿತು.
ಎರಡು ವಿಭಿನ್ನ ಸಮಸ್ಯೆಗಳು ಎದುರಾದವು:
- ಉತ್ತಮ ಗುಣಮಟ್ಟದ ಡೊಮೇನ್ ಎಂದರೆ ಅದು ತಲುಪಬಹುದಾದ ಪುಟವನ್ನು ನೀಡುತ್ತದೆ ಎಂದರ್ಥವಲ್ಲ.
- ಚೆನ್ನಾಗಿ ಸಿದ್ಧಪಡಿಸಿದ ಸಾರಾಂಶವು ಕಡಿಮೆ ವಿಶ್ವಾಸಾರ್ಹತೆಯ ಮೂಲಗಳಿಂದ ಕೂಡಿರಬಹುದು.
ಬಳಕೆದಾರರ ಇಂಟರ್ಫೇಸ್ (UI) ಈ ಎರಡೂ ಸಮಸ್ಯೆಗಳನ್ನು ಮರೆಮಾಚುತ್ತದೆ. ಮೂರೂ ಉಪಕರಣಗಳು ಒಂದೇ ರೀತಿಯ ಆತ್ಮವಿಶ್ವಾಸದ ಪ್ಯಾರಾಗ್ರಾಫ್ ಮತ್ತು ಸಮಾನವಾದ ಮೂಲಗಳ ಚಿಪ್ಗಳನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತವೆ. ಒಂದು ಚಿಪ್ ಅಪ್ರಸ್ತುತ ಪುಟಕ್ಕೆ ಲಿಂಕ್ ಮಾಡಿದೆ ಅಥವಾ ಇನ್ನೊಂದು ಶಾಸನಬದ್ಧ ಪಠ್ಯದ ಬದಲಿಗೆ YouTube ಟ್ಯುಟೋರಿಯಲ್ಗೆ ಸೂಚಿಸುತ್ತದೆ ಎಂಬ ಯಾವುದೇ ದೃಶ್ಯ ಸೂಚನೆಯನ್ನು ಅವು ನೀಡುವುದಿಲ್ಲ.
ಡೆವಲಪರ್ಗಳಿಗೆ ಮೂಲದ (provenance) ಪ್ರಾಮುಖ್ಯತೆ ಏಕೆ?
ಡೆವಲಪರ್ಗಳು ಮೂಲವನ್ನು ಪರೀಕ್ಷಿಸಬಹುದಾದ ಮಾಪಕವನ್ನಾಗಿ ಪರಿವರ್ತಿಸಬಹುದು:
- ಪ್ರತಿ ಉತ್ತರಕ್ಕೆ ಸ್ಕೋರ್ ನೀಡಿ – ಮೇಲೆ ತಿಳಿಸಿದಂತೆಯೇ ಹಂತದ ತೂಕವನ್ನು ಬಳಸಿ.
- ಲಿಂಕ್ ಆರೋಗ್ಯವನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಪರಿಶೀಲಿಸಿ; ಖಾಲಿ ಪ್ರತಿಕ್ರಿಯೆಗಳು ಅಥವಾ HTTP ದೋಷಗಳನ್ನು ಗುರುತಿಸಿ.
- ಎಚ್ಚರಿಕೆಗಳನ್ನು ನೀಡಿ – ಉತ್ತರದ ಮೂಲದ ಸ್ಕೋರ್ ನಿಗದಿಪಡಿಸಿದ ಮಿತಿಗಿಂತ ಕೆಳಗೆ ಹೋದಾಗ ಎಚ್ಚರಿಕೆ ನೀಡಿ.
ಈ ವಿಧಾನವು "ಹ್ಯಾಲ್ಯುಸಿನೇಷನ್ಗಳನ್ನು" (hallucinations) ಹುಡುಕುವುದಕ್ಕಿಂತ ಹೆಚ್ಚು ನಿರ್ದಿಷ್ಟವಾಗಿದೆ – ಮಾಡೆಲ್ ಒಂದು ನಂಬಲರ್ಹವಾದ ವಾಕ್ಯವನ್ನು ರಚಿಸಬಹುದು, ಆದರೆ ಮೂಲದ ಪರಿಶೀಲನೆಯು ಯಾವ ಉಲ್ಲೇಖವು (ಅಥವಾ ಉಲ್ಲೇಖದ ಕೊರತೆಯು) ಸಮಸ್ಯೆಯನ್ನು ಉಂಟುಮಾಡಿದೆ ಎಂಬುದನ್ನು ನಿಖರವಾಗಿ ತಿಳಿಸುತ್ತದೆ, ಇದರಿಂದ ನಿರ್ದಿಷ್ಟವಾಗಿ ಸರಿಪಡಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.
ಮುಖ್ಯಾಂಶಗಳು
ಒಂದು ಸಂಕ್ಷಿಪ್ತ ಮೂಲದ ಪರೀಕ್ಷೆಯು, AI ಸರ್ಚ್ ಇಂಜಿನ್ಗಳು ಅಪ್ರಸ್ತುತ ಅಥವಾ ಕಡಿಮೆ ಗುಣಮಟ್ಟದ ಮೂಲಗಳನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತಿದ್ದರೂ ಸಹ ಅಧಿಕೃತವಾಗಿ ಕಾಣಿಸಬಹುದು ಎಂದು ತೋರಿಸುತ್ತದೆ. ಈ ಇಂಜಿನ್ಗಳನ್ನು ಅವಲಂಬಿಸುವ ಡೆವಲಪರ್ಗಳು ಉಲ್ಲೇಖದ ಗುಣಮಟ್ಟವನ್ನು ಕೇವಲ ಒಂದು ಗ್ಯಾರಂಟಿ ಎಂದು ಭಾವಿಸದೆ, ಅದನ್ನು ಅಳೆಯಬಹುದಾದ ಗುಣಲಕ್ಷಣವಾಗಿ ಪರಿಗಣಿಸಬೇಕು ಮತ್ತು ತಮ್ಮ ಪೈಪ್ಲೈನ್ಗಳಲ್ಲಿ ಸ್ವಯಂಚಾಲಿತ ಪರಿಶೀಲನೆಗಳನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳಬೇಕು. "ಪ್ರಾಥಮಿಕ" ಮೂಲವು ನಿಜವಾಗಿಯೂ ಲೋಡ್ ಆಗುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸುವುದು, ಒಂದು ವಿಶ್ವಾಸಾರ್ಹ ಉತ್ತರ ಮತ್ತು ಮೌನವಾದ ತಪ್ಪು ಮಾಹಿತಿ ಬಲೆಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸವಾಗಬಹುದು.