Crawler AI menggelembungkan angka trafik Anda, dan cara singkat yang biasa digunakan—memeriksa header User-Agent—tidak dapat menangkapnya.

Pemindaian log selama delapan hari baru-baru ini mengungkap 468 pengambilan artikel asli, tetapi ada 991 permintaan yang berpura-pura menjadi bot AI padahal sebenarnya sedang mencari file seperti .env atau .git. Pelakunya? Siapa pun dapat memasukkan string User-Agent yang dideklarasikan sendiri seperti GPTBot atau ChatGPT-User ke dalam permintaan HTTP.

Mengapa metrik ini penting

Situs web menganggap lonjakan "trafik AI" sebagai tanda relevansi. Mereka menggunakan angka-angka tersebut untuk membenarkan tarif iklan, mengalokasikan sumber daya server, dan pamer kepada investor. Ketika setengah dari laporan kunjungan AI hanyalah gangguan (noise), anggaran menjadi salah sasaran dan dasbor menjadi menyesatkan.

Dua filter yang memisahkan klaim dari realitas

  1. verifiedBotCategory milik Cloudflare – Cloudflare mengisi bidang ini hanya setelah ia menyelesaikan IP permintaan kembali ke domain bot yang dikenal melalui reverse DNS. Jika header mengatakan "GPTBot" tetapi IP gagal dalam pencarian tersebut, permintaan akan masuk ke kategori "tidak terverifikasi".
  2. Pemeriksaan silang sitemap – Sebuah bot benar-benar membaca konten Anda hanya jika URL yang diminta muncul dalam sitemap XML Anda. Permintaan untuk jalur yang tidak ada dalam sitemap kemungkinan besar bertujuan mencari kerentanan, bukan mengindeks artikel.

Menerapkan kedua filter tersebut pada sampel delapan hari yang sama menghasilkan angka yang mencolok:

  • ChatGPT-User – 39% permintaan lulus verifikasi.
  • GPTBot – 13% terverifikasi.
  • PerplexityBot – 0% terverifikasi.
  • Google-Extended – 0% terverifikasi; string tersebut tidak sesuai dengan crawler resmi Google mana pun.

Bahkan di antara panggilan yang terverifikasi, banyak bot yang hanya mengambil robots.txt atau sitemap itu sendiri, bukan halaman artikel yang Anda pedulikan.

Apa yang dapat dilakukan pengembang hari ini

  • Aktifkan verifikasi bot Cloudflare dalam alur analitik Anda. Bidang verifiedBotCategory muncul dalam header permintaan dan dapat disimpan bersama log Anda sendiri.
  • Kelola sitemap yang mutakhir dan otomatiskan pemeriksaan bahwa setiap jalur permintaan yang masuk ada di sana sebelum Anda menghitungnya sebagai tampilan konten.
  • Filter metode non-GET dan permintaan yang menargetkan file pengembangan tipikal (.env, .git, .bak). Itu hampir selalu merupakan pemindaian berbahaya.

Argumen penyeimbang

Beberapa orang berpendapat bahwa pemeriksaan reverse DNS dapat dipalsukan, dan bahwa tujuan sah sebuah bot mungkin adalah untuk menemukan URL baru yang belum terdaftar dalam sitemap. Kekhawatiran tersebut valid: penyerang yang gigih dapat mengompromikan catatan DNS, dan konten baru secara alami akan absen dari sitemap saat ini hingga siklus pembuatan berikutnya.

Respons pragmatisnya adalah memperlakukan verifikasi sebagai skor kepercayaan, bukan sebagai gerbang absolut. Gabungkan verifikasi DNS, keberadaan sitemap, dan pemeriksaan metode permintaan untuk meningkatkan standar apa yang Anda hitung sebagai "trafik AI asli." Jika sebuah permintaan lulus dua dari tiga pemeriksaan, tandai untuk peninjauan manual alih-alih langsung membuangnya.

Apa yang perlu diperhatikan selanjutnya

  • Perubahan pada API verifikasi Cloudflare – setiap perubahan pada logika verifiedBotCategory dapat menggeser tingkat verifikasi.
  • Munculnya bot baru yang mengidentifikasi diri sendiri – perhatikan string User-Agent yang muncul dalam log Anda; lonjakan tiba-tiba dapat mengindikasikan pemindai baru yang menyamar sebagai crawler AI.
  • Frekuensi pembuatan sitemap – interval yang lebih lama meningkatkan kemungkinan crawler yang sah salah diklasifikasikan.

Kesimpulannya sederhana: berhentilah menganggap string User-Agent sebagai bukti. Lapisi dengan verifikasi DNS dan validasi sitemap, maka Anda akan melihat gambaran yang lebih jelas tentang siapa yang sebenarnya membaca konten Anda.

Sumber: https://dev.to/aulvem/ai-crawler-user-agents-are-self-reported-468-real-fetches-991-fake-ones-bgo