AI సెర్చ్ ఇంజన్లు పనికిరాని లేదా తక్కువ నాణ్యత కలిగిన మూలాలను (sources) ఉటంకిస్తూ కూడా నమ్మకంగా మాట్లాడగలవు, ఒక చిన్న పరీక్షలో తేలింది
మూడు ప్రముఖ AI-ఆధారిత సెర్చ్ టూల్స్పై చేసిన ఒక సాధారణ మూలాల (provenance) తనిఖీలో, మూడు టూల్స్ ఒకే విధమైన నమ్మకమైన వివరణను మరియు సోర్స్ "చిప్స్" (source chips) వరుసను ప్రదర్శించినప్పటికీ, వాటిలో రెండు పనికిరాని లింక్లను చూపించడమో లేదా తక్కువ విశ్వసనీయత కలిగిన సైట్లతో తమ సమాధానాలను సమర్థించుకోవడమో చేశాయని తేలింది.
ఆశ్చర్యపరిచిన పరీక్ష
నేను ఒక వాస్తవికమైన, ఇటీవలి ప్రశ్న అడిగాను: “2026లో EU AI Actలో ఏ మార్పులు వచ్చాయి?” దీని సమాధానం అధికారిక సవరణ పాఠంలో (amendment text) ఉంటుంది, కాబట్టి అది అక్కడ ఉండాలి లేదా ఉండకూడదు. నేను ఈ ప్రశ్నను సైటేషన్లను (citations) చూపించే మూడు AI సెర్చ్ ఇంజన్లకు ఇచ్చాను: Perplexity, Google’s AI mode, మరియు Brave Search.
మూడు ఇంజన్లు ఒకే విధమైన వాస్తవాలను అందించాయి—అదే తేదీలు, అదే వివరణ—కాబట్టి ఖచ్చితత్వం విషయంలో అవి సమానంగా నిలిచాయి. నేను ఉటంకించిన మూలాలను (cited sources) పరిశీలించినప్పుడు మాత్రమే వాటి మధ్య తేడా కనిపించింది.
నేను మూలాల నాణ్యతను ఎలా అంచనా వేశాను
నేను హోస్ట్ రకాన్ని బట్టి ప్రతి సైటేషన్కు వెయిటేజీని ఇచ్చే మూడు-స్థాయిల స్కోరింగ్ విధానాన్ని రూపొందించాను:
- ప్రాథమికం (weight 3) – చట్టాన్ని నిజంగా ప్రచురించే సైట్ (ఉదా: అధికారిక EU రిజిస్టర్).
- అధికారికం (weight 2) – చట్టాన్ని జారీ చేసే లేదా పర్యవేక్షించే సంస్థ (ప్రభుత్వ డొమైన్లు, ఏజెన్సీ సైట్లు).
- యూజర్-జనరేటెడ్ కంటెంట్ (UGC, weight 0) – YouTube లేదా Reddit వంటి ప్లాట్ఫారమ్లు.
ప్రతి ఇంజన్ యొక్క మొత్తం స్కోరు అది ప్రదర్శించిన URLల సగటు వెయిటేజీ.
| ఇంజన్ | నివేదించిన మూలాలు | స్కోరు |
|---|---|---|
| Perplexity | అధికారిక ప్రభుత్వ డొమైన్లు | 2.00 |
| Google AI mode | కన్సల్టింగ్ సంస్థలు మరియు ఒక YouTube వీడియో | 1.00 |
| Brave Search | ప్రాథమిక మూలం | 3.00 |
కాగితం మీద చూస్తే Brave పరిపూర్ణంగా ఉంది, Perplexity బాగుంది, మరియు Google వెనుకబడి ఉంది.
దాగి ఉన్న వైఫల్యం: పనికిరాని లింక్లు (dead links)
ఈ స్థాయిల మ్యాప్ కేవలం డొమైన్ పేరును మాత్రమే చూస్తుంది; లింక్ చేయబడిన పేజీ నిజంగా లోడ్ అవుతుందో లేదో ఇది ధృవీకరించదు. నేను ప్రతి URLను తనిఖీ చేశాను. Brave యొక్క "ప్రాథమిక" సైటేషన్ ఖాళీగా ఉంది—ఆ లింక్ పని చేయడం లేదు. ఆ ఇంజన్ చట్టాన్ని చూపిస్తానని పేర్కొంది కానీ ఏమీ అందించలేదు.
Perplexity అధికారిక ప్రభుత్వ డొమైన్లను ఉపయోగించింది.
Google కన్సల్టెన్సీలను మరియు ఒక YouTube వీడియోను ఉపయోగించింది.
రెండు స్పష్టమైన సమస్యలు తలెత్తాయి:
- అధిక నాణ్యత కలిగిన డొమైన్ ఉన్నంత మాత్రాన ఆ పేజీ అందుబాటులో ఉంటుందని గ్యారెంటీ లేదు.
- చక్కగా రూపొందించిన సారాంశం తక్కువ విశ్వసనీయత కలిగిన మూలాలపై ఆధారపడి ఉండవచ్చు.
యూజర్ ఇంటర్ఫేస్ ఈ రెండు సమస్యలను దాచిపెడుతుంది. మూడు టూల్స్ కూడా ఒకే విధమైన నమ్మకమైన పేరాగ్రాఫ్ మరియు సోర్స్ చిప్స్ వరుసను ప్రదర్శిస్తాయి. ఒక చిప్ పనికిరాని పేజీకి లింక్ చేయబడిందని లేదా మరొకటి చట్టపరమైన పాఠం కంటే YouTube ట్యుటోరియల్ను చూపిస్తుందని తెలిపే ఎలాంటి దృశ్య సంకేతాలు (visual cues) ఉండవు.
డెవలపర్లకు మూలాలు (provenance) ఎందుకు ముఖ్యం
డెవలపర్లు మూలాలను (provenance) ఒక పరీక్షించదగిన కొలమానంగా (testable metric) మార్చవచ్చు:
- ప్రతి సమాధానానికి స్కోరు ఇవ్వండి – పైన పేర్కొన్న విధంగా స్థాయిల వారీ వెయిటేజీని ఉపయోగించండి.
- లింక్ ఆరోగ్యాన్ని స్వయంచాలకంగా ధృవీకరించండి; ఖాళీ స్పందనలు లేదా HTTP లోపాలను గుర్తించండి.
- అలర్ట్లను పంపండి – సమాధానం యొక్క మూలాల (provenance) స్కోరు నిర్ణీత స్థాయి కంటే తగ్గినప్పుడు అలర్ట్లను ట్రిగ్గర్ చేయండి.
"హాలూసినేషన్స్" (hallucinations) కోసం వెతకడం కంటే ఈ విధానం మరింత స్పష్టంగా ఉంటుంది – మోడల్ ఒక నమ్మదగిన వాక్యాన్ని సృష్టించవచ్చు, కానీ మూలాల తనిఖీ (provenance check) ఏ సైటేషన్ (లేదా సైటేషన్ లేకపోవడం) వల్ల సమస్య ఏర్పడిందో ఖచ్చితంగా చెబుతుంది, తద్వారా మీరు నేరుగా దాన్ని సరిదిద్దవచ్చు.
ముగింపు (Takeaway)
ఒక చిన్న మూలాల (provenance) పరీక్ష ద్వారా, AI సెర్చ్ ఇంజన్లు పనికిరాని లేదా తక్కువ నాణ్యత కలిగిన మూలాలను ఉటంకిస్తూ కూడా అధికారికంగా కనిపించగలవని తెలుస్తుంది. ఈ ఇంజన్లపై ఆధారపడే డెవలపర్లు సైటేషన్ నాణ్యతను ఒక ఊహించిన గ్యారెంటీగా కాకుండా, కొలవదగిన లక్షణంగా (measurable property) పరిగణించాలి మరియు తమ పైప్లైన్లలో స్వయంచాలక తనిఖీలను (automated checks) ఏర్పాటు చేసుకోవాలి. ఒక "ప్రాథమిక" మూలం నిజంగా లోడ్ అవుతుందో లేదో ధృవీకరించడం అనేది, నమ్మదగిన సమాధానానికి మరియు నిశ్శబ్దంగా తప్పుడు సమాచారాన్ని అందించే ఉచ్చుకు మధ్య ఉన్న తేడాను నిర్ణయించగలదు.