Mesin pencari AI bisa terdengar meyakinkan meski mengutip sumber yang mati atau berkualitas rendah, menurut pengujian cepat
Pemeriksaan asal-usul (provenance) sederhana pada tiga alat pencari berbasis AI yang populer mengungkapkan bahwa dua di antaranya mengarah ke tautan yang mati atau mendukung jawaban mereka dengan situs ber-kredibilitas rendah, meskipun ketiganya menampilkan prosa yang sama-sama meyakinkan dan deretan "chip" sumber.
Pengujian yang memicu kejutan
Saya mengajukan pertanyaan faktual yang baru-baru ini terjadi: “What changed in the EU AI Act in 2026?” Jawabannya ada dalam teks amandemen resmi, jadi jawabannya pasti ada atau tidak ada sama sekali. Saya memasukkan kueri tersebut ke tiga mesin pencari AI yang menampilkan sitasi: Perplexity, mode AI Google, dan Brave Search.
Ketiganya memberikan fakta yang identik—tanggal yang sama, deskripsi yang sama—sehingga mereka seri dalam hal kebenaran murni. Perbedaan baru muncul saat saya memeriksa sumber yang dikutip.
Cara saya menilai kualitas sumber
Saya membuat skema penilaian tiga tingkat yang memberi bobot pada setiap sitasi berdasarkan jenis host:
- Utama (bobot 3) – situs yang benar-benar menerbitkan undang-undang tersebut (misalnya, register resmi EU).
- Resmi (bobot 2) – institusi yang mengeluarkan atau mengawasi undang-undang tersebut (domain pemerintah, situs lembaga).
- Konten buatan pengguna (UGC, bobot 0) – platform seperti YouTube atau Reddit.
Skor keseluruhan setiap mesin adalah rata-rata bobot dari URL yang ditampilkan.
| Mesin | Sumber yang dilaporkan | Skor |
|---|---|---|
| Perplexity | Domain resmi pemerintah | 2.00 |
| Google AI mode | Firma konsultan dan video YouTube | 1.00 |
| Brave Search | Sumber utama | 3.00 |
Di atas kertas, Brave tampak sempurna, Perplexity cukup baik, dan Google tertinggal.
Kegagalan tersembunyi: tautan mati
Pemetaan tingkat hanya melihat nama domain; ia tidak memverifikasi apakah halaman yang ditautkan benar-benar dapat dimuat. Saya mengikuti setiap URL. Sitasi "utama" dari Brave mengembalikan badan halaman yang kosong—tautannya mati. Mesin tersebut mengklaim mengarah ke undang-undang tersebut tetapi tidak memberikan apa pun.
Perplexity menggunakan domain resmi pemerintah.
Google menggunakan firma konsultan dan video YouTube.
Dua masalah berbeda muncul:
- Domain berkualitas tinggi tidak menjamin halaman dapat diakses.
- Ringkasan yang disusun dengan baik dapat didukung oleh sumber dengan kredibilitas rendah.
Antarmuka pengguna menyembunyikan kedua masalah tersebut. Ketiga alat menyajikan paragraf yang sama-sama meyakinkan dan deretan chip sumber yang seragam, tanpa petunjuk visual apa pun bahwa satu chip menautkan ke halaman yang mati atau chip lainnya mengarah ke tutorial YouTube alih-alih teks undang-undang.
Mengapa asal-usul penting bagi pengembang
Pengembang dapat mengubah asal-usul menjadi metrik yang dapat diuji:
- Berikan skor pada setiap jawaban menggunakan pembobotan bertingkat yang serupa dengan yang di atas.
- Validasi kesehatan tautan secara otomatis; tandai respons kosong atau kesalahan HTTP.
- Picu peringatan ketika skor asal-usul jawaban turun di bawah ambang batas yang dapat dikonfigurasi.
Pendekatan ini lebih konkret daripada sekadar mengejar “halusinasi” – model mungkin menghasilkan kalimat yang masuk akal, tetapi pemeriksaan asal-usul memberi tahu Anda dengan tepat sitasi mana (atau ketiadaannya) yang menyebabkan masalah, sehingga memungkinkan perbaikan yang tepat sasaran.
Kesimpulan
Pengujian asal-usul singkat menunjukkan bahwa mesin pencari AI dapat tampak berwibawa sambil mengutip sumber yang mati atau berkualitas rendah. Pengembang yang mengandalkan mesin-mesin ini harus memperlakukan kualitas sitasi sebagai properti yang dapat diukur, bukan jaminan yang dianggap sudah ada, dan membangun pemeriksaan otomatis ke dalam pipeline mereka. Memverifikasi bahwa sumber “utama” benar-benar dapat dimuat dapat menjadi pembeda antara jawaban yang tepercaya dan jebakan misinformasi yang senyap.