Hızlı bir test, yapay zeka arama motorlarının ölü veya düşük kaliteli kaynaklara atıfta bulunurken kendinden emin görünebileceğini gösteriyor
Üç popüler yapay zeka destekli arama aracına yapılan basit bir kaynak (provenance) kontrolü, her üçünün de aynı kendinden emin anlatımı ve bir dizi kaynak "çipi" (source chips) sunmasına rağmen, ikisinin ya ölü bağlantılara yönlendirdiğini ya da yanıtlarını düşük güvenilirliğe sahip sitelerle desteklediğini ortaya koydu.
Sürprize neden olan test
Güncel ve olgusal bir soru sordum: “2026 yılında AB Yapay Zeka Yasası'nda (EU AI Act) ne değişti?” Cevap resmi değişiklik metninde mevcuttur, yani ya oradadır ya da değildir. Sorguyu, atıfları öne çıkaran üç yapay zeka arama motoruna ilettim: Perplexity, Google'ın yapay zeka modu ve Brave Search.
Üçü de aynı gerçekleri —aynı tarihler, aynı açıklama— döndürdü, yani saf doğruluk açısından berabere kaldılar. Farklılık ancak atıfta bulunulan kaynakları incelediğimde ortaya çıktı.
Kaynak kalitesini nasıl değerlendirdim
Her bir atıfı barındırıcı (host) türüne göre ağırlıklandıran üç aşamalı bir puanlama şeması oluşturdum:
- Birincil (ağırlık 3) – yasayı gerçekten yayınlayan site (örneğin, resmi AB sicili).
- Resmi (ağırlık 2) – yasayı çıkaran veya denetleyen kurum (devlet alan adları, kurum siteleri).
- Kullanıcı tarafından oluşturulan içerik (UGC, ağırlık 0) – YouTube veya Reddit gibi platformlar.
Her motorun genel puanı, görüntülediği URL'lerin ortalama ağırlığıdır.
| Motor | Bildirilen kaynaklar | Puan |
|---|---|---|
| Perplexity | Resmi devlet alan adları | 2.00 |
| Google AI modu | Danışmanlık firmaları ve bir YouTube videosu | 1.00 |
| Brave Search | Birincil kaynak | 3.00 |
Kağıt üzerinde Brave mükemmel görünüyordu, Perplexity makul düzeydeydi ve Google geride kaldı.
Gizli başarısızlık: ölü bağlantılar
Kademeli harita yalnızca alan adına bakar; bağlantılı sayfanın gerçekten yüklenip yüklenmediğini doğrulamaz. Her bir URL'yi takip ettim. Brave'in "birincil" atıfı boş bir içerik döndürdü; bağlantı ölüydü. Motor, yasaya işaret ettiğini iddia etti ancak hiçbir şey sunamadı.
Perplexity resmi devlet alan adlarını kullandı.
Google ise danışmanlık firmalarını ve bir YouTube videosunu kullandı.
İki belirgin sorun ortaya çıktı:
- Yüksek kaliteli bir alan adı, erişilebilir bir sayfa garantisi vermez.
- İyi hazırlanmış bir özet, düşük güvenilirliğe sahip kaynaklarla desteklenebilir.
Kullanıcı arayüzü her iki sorunu da gizliyor. Her üç araç da, bir çipin ölü bir sayfaya bağlantı verdiğine veya bir diğerinin yasal metin yerine bir YouTube eğitim videosuna işaret ettiğine dair hiçbir görsel ipucu olmaksızın, aynı kendinden emin paragrafı ve tek tip bir kaynak çipi satırını sunuyor.
Kaynak (provenance) geliştiriciler için neden önemlidir
Geliştiriciler, kaynağı test edilebilir bir metriğe dönüştürebilir:
- Yukarıdakine benzer kademeli bir ağırlıklandırma kullanarak her yanıtı puanlayın.
- Bağlantı sağlığını otomatik olarak doğrulayın; boş yanıtları veya HTTP hatalarını işaretleyin.
- Bir yanıtın kaynak puanı yapılandırılabilir bir eşiğin altına düştüğünde uyarıları tetikleyin.
Bu yaklaşım, "halüsinasyonların" peşinden koşmaktan daha somuttur; model makul bir cümle oluşturabilir ancak kaynak kontrolü, soruna tam olarak hangi atıfın (veya atıf eksikliğinin) neden olduğunu size söyleyerek hedef odaklı bir düzeltme yapmanıza olanak tanır.
Sonuç
Kısa bir kaynak testi, yapay zeka arama motorlarının ölü veya düşük kaliteli kaynaklara atıfta bulunurken otoriter görünebileceğini gösteriyor. Bu motorlara güvenen geliştiriciler, atıf kalitesini varsayılan bir garanti olarak değil, ölçülebilir bir özellik olarak ele almalı ve iş akışlarına (pipelines) otomatik kontroller eklemelidir. "Birincil" bir kaynağın gerçekten yüklenip yüklenmediğini doğrulamak, güvenilir bir yanıt ile sessiz bir yanlış bilgi tuzağı arasındaki farkı yaratabilir.