એક ઝડપી પરીક્ષણ દર્શાવે છે કે AI સર્ચ એન્જિન મૃત અથવા ઓછી ગુણવત્તાવાળા સ્ત્રોતોનો ઉલ્લેખ કરતી વખતે પણ ખાતરીપૂર્વક બોલી શકે છે
ત્રણ લોકપ્રિય AI-સંચાલિત સર્ચ ટૂલ્સ પરના એક સરળ પ્રોવેનન્સ (સ્ત્રોતની સત્યતા) ચેક દ્વારા જાણવા મળ્યું કે તેમાંથી બે ટૂલ્સ કાં તો મૃત (dead) લિંક્સ તરફ નિર્દેશ કરતા હતા અથવા તેમના જવાબોને ઓછી વિશ્વસનીયતા ધરાવતી સાઇટ્સ દ્વારા સમર્થન આપતા હતા, ભલે ત્રણેય સમાન આત્મવિશ્વાસપૂર્ણ લખાણ અને સ્ત્રોત "ચિપ્સ" (chips) ની હારમાળા દર્શાવતા હતા.
આશ્ચર્યજનક પરીક્ષણ
મેં એક તથ્યપૂર્ણ, તાજેતરનો પ્રશ્ન પૂછ્યો: “2026 માં EU AI Act માં શું ફેરફાર થયો?” આનો જવાબ સત્તાવાર સુધારાના લખાણમાં છે, તેથી તે કાં તો ત્યાં છે અથવા નથી. મેં આ પ્રશ્ન ત્રણ એવા AI સર્ચ એન્જિનને પૂછ્યો જે અવતરણો (citations) દર્શાવે છે: Perplexity, Google’s AI mode, અને Brave Search.
ત્રણેયે સમાન તથ્યો આપ્યા—એક જ તારીખો, એક જ વર્ણન—તેથી શુદ્ધ સચોટતાના મામલે તેઓ સમાન હતા. તફાવત ત્યારે જ જોવા મળ્યો જ્યારે મેં ઉલ્લેખિત સ્ત્રોતોની તપાસ કરી.
મેં સ્ત્રોતની ગુણવત્તાનો નિર્ણય કેવી રીતે લીધો
મેં ત્રણ-સ્તરીય સ્કોરિંગ પદ્ધતિ બનાવી જે દરેક અવતરણને હોસ્ટના પ્રકાર મુજબ વજન (weight) આપે છે:
- Primary (weight 3) – જે સાઇટ ખરેખર કાયદો પ્રકાશિત કરે છે (દા.ત., સત્તાવાર EU રજિસ્ટર).
- Official (weight 2) – જે સંસ્થા કાયદો બહાર પાડે છે અથવા તેની દેખરેખ રાખે છે (સરકારી ડોમેન, એજન્સી સાઇટ્સ).
- User-generated content (UGC, weight 0) – YouTube અથવા Reddit જેવા પ્લેટફોર્મ.
દરેક એન્જિનનો એકંદર સ્કોર તેના દ્વારા દર્શાવવામાં આવેલા URL ના સરેરાશ વજન (average weight) પર આધારિત છે.
| Engine | અહેવાલ મુજબના સ્ત્રોતો | સ્કોર |
|---|---|---|
| Perplexity | સત્તાવાર સરકારી ડોમેન | 2.00 |
| Google AI mode | કન્સલ્ટિંગ ફર્મ્સ અને YouTube વિડિયો | 1.00 |
| Brave Search | પ્રાથમિક સ્ત્રોત | 3.00 |
કાગળ પર Brave સંપૂર્ણ લાગતું હતું, Perplexity સંતોષકારક હતું, અને Google પાછળ રહી ગયું હતું.
છુપાયેલ નિષ્ફળતા: મૃત (dead) લિંક્સ
સ્તરનું નકશા (tier map) ફક્ત ડોમેન નામ પર ધ્યાન આપે છે; તે લિંક કરેલ પેજ ખરેખર લોડ થાય છે કે નહીં તેની ચકાસણી કરતું નથી. મેં દરેક URL તપાસ્યું. Brave ના "પ્રાથમિક" અવતરણમાં ખાલી પેજ મળ્યું—લિંક મૃત (dead) હતી. એન્જિન કાયદા તરફ નિર્દેશ કરવાનો દાવો કરતું હતું પરંતુ કંઈ જ આપ્યું નહીં.
Perplexity એ સત્તાવાર સરકારી ડોમેનનો ઉપયોગ કર્યો હતો.
Google એ કન્સલ્ટન્સી અને YouTube વિડિયોનો ઉપયોગ કર્યો હતો.
બે અલગ સમસ્યાઓ સામે આવી:
- ઉચ્ચ ગુણવત્તાવાળું ડોમેન પહોંચી શકાય તેવા પેજની ખાતરી આપતું નથી.
- એક સારી રીતે તૈયાર કરેલ સારાંશને ઓછી વિશ્વસનીયતા ધરાવતા સ્ત્રોતો દ્વારા સમર્થન આપી શકાય છે.
યુઝર ઇન્ટરફેસ બંને સમસ્યાઓને છુપાવે છે. ત્રણેય ટૂલ્સ સમાન આત્મવિશ્વાસપૂર્ણ ફકરો અને સ્ત્રોત ચિપ્સની સમાન હારમાળા રજૂ કરે છે, જેમાં કોઈ વિઝ્યુઅલ સંકેત હોતો નથી કે એક ચિપ મૃત પેજ સાથે લિંક થયેલ છે અથવા બીજી ચિપ કાયદાકીય લખાણને બદલે YouTube ટ્યુટોરિયલ તરફ નિર્દેશ કરે છે.
ડેવલપર્સ માટે પ્રોવેનન્સ શા માટે મહત્વનું છે
ડેવલપર્સ પ્રોવેનન્સને એક પરીક્ષણ કરી શકાય તેવા મેટ્રિકમાં બદલી શકે છે:
- ઉપર જણાવેલ પદ્ધતિ જેવું જ સ્તરિત વજન (tiered weighting) વાપરીને દરેક જવાબનો સ્કોર કરો.
- લિંકની સ્થિતિની સ્વચાલિત રીતે ચકાસણી કરો; ખાલી પ્રતિસાદ અથવા HTTP ભૂલો માટે ફ્લેગ કરો.
- જ્યારે જવાબનો પ્રોવેનન્સ સ્કોર નિર્ધારિત મર્યાદાથી નીચે જાય ત્યારે ચેતવણીઓ (alerts) આપો.
આ અભિગમ "hallucinations" (ભ્રમ) પાછળ દોડવા કરતાં વધુ નક્કર છે - મોડેલ કદાચ એક વ્યાજબી વાક્ય બનાવી શકે છે, પરંતુ પ્રોવેનન્સ ચેક તમને ચોક્કસપણે જણાવશે કે કયા અવતરણ (અથવા તેના અભાવ) ને કારણે સમસ્યા થઈ છે, જેનાથી ચોક્કસ સુધારો કરી શકાય છે.
મુખ્ય વાત (Takeaway)
એક ટૂંકા પ્રોવેનન્સ ટેસ્ટથી જાણવા મળે છે કે AI સર્ચ એન્જિન મૃત અથવા ઓછી ગુણવત્તાવાળા સ્ત્રોતોનો ઉલ્લેખ કરતી વખતે પણ અધિકૃત દેખાઈ શકે છે. જે ડેવલપર્સ આ એન્જિન પર આધાર રાખે છે તેમણે અવતરણની ગુણવત્તાને એક માપી શકાય તેવા ગુણધર્મ તરીકે જોવી જોઈએ, માત્ર એક ધારણા તરીકે નહીં, અને તેમના પાઇપલાઇનમાં સ્વચાલિત તપાસ (automated checks) ઉમેરવી જોઈએ. "પ્રાથમિક" સ્ત્રોત ખરેખર લોડ થાય છે તેની ચકાસણી કરવી એ એક વિશ્વસનીય જવાબ અને મૌન ગેરમાર્ગે દોરતી માહિતીના જાળ વચ્ચેનો તફાવત હોઈ શકે છે.