ਇੱਕ ਤੇਜ਼ ਟੈਸਟ ਤੋਂ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ AI ਸਰਚ ਇੰਜਣ ਮੁਰਦਾ ਜਾਂ ਘੱਟ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਸਰੋਤਾਂ ਦਾ ਹਵਾਲਾ ਦਿੰਦੇ ਹੋਏ ਵੀ ਪੂਰੇ ਭਰੋਸੇ ਨਾਲ ਗੱਲ ਕਰ ਸਕਦੇ ਹਨ
ਤਿੰਨ ਪ੍ਰਸਿੱਧ AI-ਸੰਚਾਲਿਤ ਸਰਚ ਟੂਲਸ 'ਤੇ ਕੀਤੇ ਗਏ ਇੱਕ ਸਧਾਰਨ ਪ੍ਰੋਵੈਨੈਂਸ (provenance) ਚੈੱਕ ਤੋਂ ਪਤਾ ਲੱਗਿਆ ਕਿ ਉਹਨਾਂ ਵਿੱਚੋਂ ਦੋ ਜਾਂ ਤਾਂ ਮੁਰਦਾ ਲਿੰਕਾਂ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰ ਰਹੇ ਸਨ ਜਾਂ ਉਹਨਾਂ ਦੇ ਜਵਾਬ ਘੱਟ-ਵਿਸ਼ਵਾਸਯੋਗ ਸਾਈਟਾਂ 'ਤੇ ਅਧਾਰਤ ਸਨ, ਭਾਵੇਂ ਕਿ ਤਿੰਨਾਂ ਨੇ ਹੀ ਇੱਕੋ ਜਿਹਾ ਭਰੋਸੇਮੰਦ ਲਿਖਤ ਅਤੇ ਸਰੋਤਾਂ ਦੇ "ਚਿਪਸ" (chips) ਦੀ ਇੱਕ ਲਾਈਨ ਦਿਖਾਈ ਸੀ।
ਉਹ ਟੈਸਟ ਜਿਸ ਨੇ ਹੈਰਾਨ ਕਰ ਦਿੱਤਾ
ਮੈਂ ਇੱਕ ਤੱਥ-ਅਧਾਰਤ, ਹਾਲੀਆ ਸਵਾਲ ਪੁੱਛਿਆ: “2026 ਵਿੱਚ EU AI Act ਵਿੱਚ ਕੀ ਬਦਲਾਅ ਹੋਇਆ?” ਇਸਦਾ ਜਵਾਬ ਅਧਿਕਾਰਤ ਸੋਧ ਟੈਕਸਟ (amendment text) ਵਿੱਚ ਮੌਜੂਦ ਹੈ, ਇਸ ਲਈ ਜਾਂ ਤਾਂ ਇਹ ਉੱਥੇ ਹੈ ਜਾਂ ਨਹੀਂ ਹੈ। ਮੈਂ ਇਹ ਸਵਾਲ ਤਿੰਨ ਅਜਿਹੇ AI ਸਰਚ ਇੰਜਣਾਂ ਨੂੰ ਦਿੱਤਾ ਜੋ ਹਵਾਲੇ (citations) ਦਿਖਾਉਂਦੇ ਹਨ: Perplexity, Google ਦਾ AI mode, ਅਤੇ Brave Search।
ਤਿੰਨਾਂ ਨੇ ਇੱਕੋ ਜਿਹੇ ਤੱਥ ਦਿੱਤੇ—ਸਮਾਨ ਮਿਤੀਆਂ, ਸਮਾਨ ਵੇਰਵਾ—ਇਸ ਲਈ ਉਹ ਸ਼ੁੱਧਤਾ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਬਰਾਬਰ ਸਨ। ਅੰਤਰ ਉਦੋਂ ਹੀ ਸਾਹਮਣੇ ਆਇਆ ਜਦੋਂ ਮੈਂ ਦਿੱਤੇ ਗਏ ਸਰੋਤਾਂ ਦੀ ਜਾਂਚ ਕੀਤੀ।
ਮੈਂ ਸਰੋਤ ਦੀ ਗੁਣਵੱਤਾ ਦਾ ਫੈਸਲਾ ਕਿਵੇਂ ਕੀਤਾ
ਮੈਂ ਤਿੰਨ-ਪੱਧਰੀ ਸਕੋਰਿੰਗ ਸਕੀਮ ਬਣਾਈ ਜੋ ਹਰ ਹਵਾਲੇ ਨੂੰ ਹੋਸਟ ਦੀ ਕਿਸਮ ਦੇ ਅਨੁਸਾਰ ਵਜ਼ਨ (weight) ਦਿੰਦੀ ਹੈ:
- Primary (weight 3) – ਉਹ ਸਾਈਟ ਜੋ ਅਸਲ ਵਿੱਚ ਕਾਨੂੰਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀ ਹੈ (ਜਿਵੇਂ ਕਿ ਅਧਿਕਾਰਤ EU ਰਜਿਸਟਰ)।
- Official (weight 2) – ਉਹ ਸੰਸਥਾ ਜੋ ਕਾਨੂੰਨ ਜਾਰੀ ਕਰਦੀ ਹੈ ਜਾਂ ਉਸਦੀ ਨਿਗਰਾਨੀ ਕਰਦੀ ਹੈ (ਸਰਕਾਰੀ ਡੋਮੇਨ, ਏਜੰਸੀ ਸਾਈਟਾਂ)।
- User-generated content (UGC, weight 0) – YouTube ਜਾਂ Reddit ਵਰਗੇ ਪਲੇਟਫਾਰਮ।
ਹਰੇਕ ਇੰਜਣ ਦਾ ਸਮੁੱਚਾ ਸਕੋਰ ਉਸ ਦੁਆਰਾ ਦਿਖਾਏ ਗਏ URL ਦਾ ਔਸਤ ਵਜ਼ਨ ਹੈ।
| Engine | ਦੱਸੇ ਗਏ ਸਰੋਤ | ਸਕੋਰ |
|---|---|---|
| Perplexity | ਅਧਿਕਾਰਤ ਸਰਕਾਰੀ ਡੋਮੇਨ | 2.00 |
| Google AI mode | ਕੰਸਲਟਿੰਗ ਫਰਮਾਂ ਅਤੇ ਇੱਕ YouTube ਵੀਡੀਓ | 1.00 |
| Brave Search | ਪ੍ਰਾਇਮਰੀ ਸਰੋਤ | 3.00 |
ਕਾਗਜ਼ੀ ਤੌਰ 'ਤੇ Brave ਬਿਲਕੁਲ ਸਹੀ ਲੱਗ ਰਿਹਾ ਸੀ, Perplexity ਠੀਕ ਸੀ, ਅਤੇ Google ਪਿੱਛੇ ਰਹਿ ਗਿਆ।
ਲੁਕੀ ਹੋਈ ਅਸਫਲਤਾ: ਮੁਰਦਾ ਲਿੰਕ
ਪੱਧਰ ਨਕਸ਼ਾ (tier map) ਸਿਰਫ ਡੋਮੇਨ ਨਾਮ ਨੂੰ ਦੇਖਦਾ ਹੈ; ਇਹ ਪੁਸ਼ਟੀ ਨਹੀਂ ਕਰਦਾ ਕਿ ਲਿੰਕ ਕੀਤਾ ਗਿਆ ਪੇਜ ਅਸਲ ਵਿੱਚ ਲੋਡ ਹੁੰਦਾ ਹੈ ਜਾਂ ਨਹੀਂ। ਮੈਂ ਹਰ URL ਦੀ ਜਾਂਚ ਕੀਤੀ। Brave ਦੇ "primary" ਹਵਾਲੇ ਨੇ ਇੱਕ ਖਾਲੀ ਬਾਡੀ ਦਿਖਾਈ—ਲਿੰਕ ਮੁਰਦਾ ਸੀ। ਇੰਜਣ ਨੇ ਕਾਨੂੰਨ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਨ ਦਾ ਦਾਅਵਾ ਕੀਤਾ ਪਰ ਕੁਝ ਵੀ ਪ੍ਰਦਾਨ ਨਹੀਂ ਕੀਤਾ।
Perplexity ਨੇ ਅਧਿਕਾਰਤ ਸਰਕਾਰੀ ਡੋਮੇਨਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ।
Google ਨੇ ਕੰਸਲਟੈਂਸੀਆਂ ਅਤੇ ਇੱਕ YouTube ਵੀਡੀਓ ਦੀ ਵਰਤੋਂ ਕੀਤੀ।
ਦੋ ਵੱਖਰੀਆਂ ਸਮੱਸਿਆਵਾਂ ਸਾਹਮਣੇ ਆਈਆਂ:
- ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲਾ ਡੋਮੇਨ ਇੱਕ ਪਹੁੰਚਯੋਗ ਪੇਜ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਦਿੰਦਾ।
- ਇੱਕ ਵਧੀਆ ਤਰੀਕੇ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸਾਰ (summary) ਘੱਟ-ਵਿਸ਼ਵਾਸਯੋਗ ਸਰੋਤਾਂ ਦੁਆਰਾ ਸਪੋਰਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
ਯੂਜ਼ਰ ਇੰਟਰਫੇਸ ਦੋਵਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਲੁਕਾ ਲੈਂਦਾ ਹੈ। ਤਿੰਨੋਂ ਟੂਲ ਇੱਕੋ ਜਿਹਾ ਭਰੋਸੇਮੰਦ ਪੈਰਾਗ੍ਰਾਫ ਅਤੇ ਸਰੋਤ ਚਿਪਸ ਦੀ ਇੱਕ ਸਮਾਨ ਲਾਈਨ ਪੇਸ਼ ਕਰਦੇ ਹਨ, ਬਿਨਾਂ ਕਿਸੇ ਅਜਿਹੇ ਵਿਜ਼ੂਅਲ ਸੰਕੇਤ ਦੇ ਕਿ ਇੱਕ ਚਿਪ ਮੁਰਦਾ ਪੇਜ ਨਾਲ ਜੁੜੀ ਹੋਈ ਹੈ ਜਾਂ ਕੋਈ ਹੋਰ ਕਾਨੂੰਨੀ ਟੈਕਸਟ ਦੀ ਬਜਾਏ YouTube ਟਿਊਟੋਰਿਅਲ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰ ਰਹੀ ਹੈ।
ਡਿਵੈਲਪਰਾਂ ਲਈ ਪ੍ਰੋਵੈਨੈਂਸ (provenance) ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
ਡਿਵੈਲਪਰ ਪ੍ਰੋਵੈਨੈਂਸ ਨੂੰ ਇੱਕ ਟੈਸਟਯੋਗ ਮੈਟ੍ਰਿਕ ਵਿੱਚ ਬਦਲ ਸਕਦੇ ਹਨ:
- ਹਰ ਜਵਾਬ ਨੂੰ ਸਕੋਰ ਕਰੋ ਉੱਪਰ ਦਿੱਤੀ ਗਈ ਤਰ੍ਹਾਂ ਪੱਧਰੀ ਵਜ਼ਨਕਰਨ (tiered weighting) ਦੀ ਵਰਤੋਂ ਕਰਕੇ।
- ਲਿੰਕ ਦੀ ਸਿਹਤ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ ਆਪਣੇ ਆਪ; ਖਾਲੀ ਜਵਾਬਾਂ ਜਾਂ HTTP ਗਲਤੀਆਂ ਨੂੰ ਫਲੈਗ ਕਰੋ।
- ਅਲਰਟ ਜਾਰੀ ਕਰੋ ਜਦੋਂ ਕਿਸੇ ਜਵਾਬ ਦਾ ਪ੍ਰੋਵੈਨੈਂਸ ਸਕੋਰ ਨਿਰਧਾਰਤ ਸੀਮਾ (threshold) ਤੋਂ ਹੇਠਾਂ ਡਿੱਗ ਜਾਵੇ।
ਇਹ ਪਹੁੰਚ "hallucinations" (ਭਰਮ) ਦਾ ਪਿੱਛਾ ਕਰਨ ਨਾਲੋਂ ਵਧੇਰੇ ਸਪਸ਼ਟ ਹੈ - ਮਾਡਲ ਇੱਕ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਵਾਕ ਬਣਾ ਸਕਦਾ ਹੈ, ਪਰ ਪ੍ਰੋਵੈਨੈਂਸ ਚੈੱਕ ਤੁਹਾਨੂੰ ਬਿਲਕੁਲ ਦੱਸਦਾ ਹੈ ਕਿ ਕਿਸ ਹਵਾਲੇ (ਜਾਂ ਹਵਾਲੇ ਦੀ ਘਾਟ) ਕਾਰਨ ਸਮੱਸਿਆ ਹੋਈ ਹੈ, ਜਿਸ ਨਾਲ ਇੱਕ ਨਿਸ਼ਾਨਾ ਬੱਧਾ ਹੱਲ ਲੱਭਿਆ ਜਾ ਸਕਦਾ ਹੈ।
ਸਿੱਖਿਆ (Takeaway)
ਇੱਕ ਸੰਖੇਪ ਪ੍ਰੋਵੈਨੈਂਸ ਟੈਸਟ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ AI ਸਰਚ ਇੰਜਣ ਮੁਰਦਾ ਜਾਂ ਘੱਟ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਸਰੋਤਾਂ ਦਾ ਹਵਾਲਾ ਦਿੰਦੇ ਹੋਏ ਵੀ ਪ੍ਰਮਾਣਿਕ ਲੱਗ ਸਕਦੇ ਹਨ। ਜੋ ਡਿਵੈਲਪਰ ਇਹਨਾਂ ਇੰਜਣਾਂ 'ਤੇ ਨਿਰਭਰ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਹਵਾਲੇ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਇੱਕ ਮਾਪਣਯੋਗ ਗੁਣ ਵਜੋਂ ਦੇਖਣਾ ਚਾਹੀਦਾ ਹੈ, ਨਾ ਕਿ ਇੱਕ ਮੰਨੀ ਹੋਈ ਗਾਰੰਟੀ ਵਜੋਂ, ਅਤੇ ਆਪਣੇ ਪਾਈਪਲਾਈਨਾਂ ਵਿੱਚ ਆਟੋਮੇਟਡ ਚੈੱਕ ਬਣਾਉਣੇ ਚਾਹੀਦੇ ਹਨ। ਇਹ ਪੁਸ਼ਟੀ ਕਰਨਾ ਕਿ ਇੱਕ "primary" ਸਰੋਤ ਅਸਲ ਵਿੱਚ ਲੋਡ ਹੁੰਦਾ ਹੈ, ਇੱਕ ਭਰੋਸੇਮੰਦ ਜਵਾਬ ਅਤੇ ਇੱਕ ਚੁੱਪ ਰਹਿਣ ਵਾਲੇ ਗਲਤ ਜਾਣਕਾਰੀ ਦੇ ਜਾਲ ਦੇ ਵਿਚਕਾਰ ਫਰਕ ਹੋ ਸਕਦਾ ਹੈ।