একটি ২০২৬ সালের বিশ্লেষণ অনুযায়ী, শীর্ষ ১০৭টি ওয়েবসাইটের মধ্যে ৪৪.৯% অন্তত একটি AI ক্রলারকে ব্লক করে রেখেছে। এর ঝুঁকি কেবল ট্রাফিক হারানো নয়; বরং এটি সেই নতুন মাধ্যমগুলো থেকে অদৃশ্য হয়ে যাওয়ার ঝুঁকি যেখানে ব্যবহারকারীরা আজ তথ্য সংগ্রহ করছেন।

সমস্যার পরিধি

Googlebot এবং অন্যান্য প্রথাগত সার্চ ক্রলার কোন কোন পেজ ইনডেক্স করবে তা জানানোর জন্য Robots.txt ফাইলটি দীর্ঘকাল ধরে ব্যবহৃত হয়ে আসছে। এখন একটি অনুরূপ ফাইল AI ক্রলারদের নিয়ন্ত্রণ করে—এগুলো হলো এমন সফটওয়্যার এজেন্ট যা ChatGPT, Claude এবং Perplexity-এর মতো টুলগুলোর জন্য উত্তর তৈরি করতে ওয়েব কন্টেন্ট পড়ে। গবেষণায় দেখা গেছে যে, পরীক্ষা করা সাইটগুলোর মধ্যে ৪৪.৯% উদ্দেশ্যমূলকভাবে এই বটগুলোর অন্তত একটিকে নিষিদ্ধ করেছে। OpenAI-এর মডেলগুলোতে ব্যবহৃত ক্রলার GPTBot হলো ব্লক করা এজেন্টদের তালিকার শীর্ষে।

ব্লকের একটি বিস্ময়কর অংশ আসে Cloudflare-এর মতো পরিষেবাগুলোর ওয়ান-ক্লিক সেটিংস থেকে, যেখানে সাইট মালিকরা নিরাপত্তা জোরদার করার চেষ্টা করতে গিয়ে অনিচ্ছাকৃতভাবে AI-এর অ্যাক্সেস বন্ধ করে দিতে পারেন।

"AI crawlability" আসলে কী বোঝায়

Crawlability হলো একটি বট কর্তৃক কোনো পেজ সংগ্রহ করার ক্ষমতা। AI-এর ক্ষেত্রে, crawlability নির্ধারণ করে যে কোনো ব্যবহারকারী প্রশ্ন করলে একটি মডেল কোনো ব্র্যান্ড, পণ্য বা পরিষেবা সম্পর্কে সর্বশেষ তথ্য সংগ্রহ করতে পারবে কি না। যদি একটি সাইট crawlable না হয়, তবে AI-এর কাছে উদ্ধৃত করার মতো কোনো উৎস থাকে না এবং উত্তর প্রদানের ফিড থেকে ব্র্যান্ডটি অদৃশ্য হয়ে যায়।

পুরনো SEO কৌশলের মূল লক্ষ্য ছিল Googlebot-এর মাধ্যমে পেজগুলো ক্রল করা যাতে সেগুলো লিঙ্কের তালিকায় র‍্যাঙ্ক করতে পারে। AI crawlability লক্ষ্য পরিবর্তন করে দিচ্ছে: র‍্যাঙ্কিংয়ের পরিবর্তে, এর ফলাফল হলো একটি কথোপকথনমূলক উত্তরের (conversational answer) মধ্যে একটি সুপারিশ (recommendation)।

Training bots বনাম answer bots

সব AI ক্রলার একই উদ্দেশ্যে কাজ করে না।

১. Training bots – উদাহরণ হিসেবে GPTBot, ClaudeBot এবং Google-Extended-এর কথা বলা যেতে পারে। এগুলো বিশাল ডেটাসেট তৈরি করার জন্য ওয়েবের বিশাল অংশ স্ক্র্যাপ করে, যা মূল ল্যাঙ্গুয়েজ মডেলগুলোকে শক্তিশালী করে। সাইট মালিকরা যদি তাদের মালিকানাধীন কন্টেন্ট ভবিষ্যতে মডেল প্রশিক্ষণে ব্যবহার করতে না চান, তবে তারা এগুলো ব্লক করতে পারেন। ২. Answer bots – উদাহরণ হিসেবে OAI-SearchBot, Claude-SearchBot এবং PerplexityBot-এর কথা বলা যেতে পারে। এগুলো রিয়েল-টাইমে কাজ করে এবং ব্যবহারকারীর প্রশ্নের উত্তর দেওয়ার জন্য নির্দিষ্ট অংশ (snippets) সংগ্রহ করে। একটি answer bot-কে ব্লক করার অর্থ হলো সাইটের কন্টেন্ট কখনোই কথোপকথনমূলক উত্তরে প্রদর্শিত হবে না, এমনকি যদি সেই একই পেজ প্রথাগত সার্চ ইঞ্জিন দ্বারা ইনডেক্স করা থাকে তবুও।

বিশ্লেষণটি দেখায় যে অনেক সাইট এই দুইটিকে গুলিয়ে ফেলছে, যার ফলে তারা একটি ঢালাও "সব AI ব্লক করুন" নিয়ম প্রয়োগ করছে যা কোনো প্রকৃত IP রক্ষা না করেই দৃশ্যমানতা নষ্ট করছে।

কেন ভুল বটগুলো ব্লক হয়ে যায়

কয়েকটি কারণ এই ভুল কনফিগারেশনের ব্যাখ্যা দেয়:

  • ডিফল্ট সিকিউরিটি প্রিসেট – যেসব প্ল্যাটফর্ম একটি মাত্র "block AI" টগল অফার করে, সেগুলো প্রায়শই প্রতিটি পরিচিত ক্রলারের ওপর এটি প্রয়োগ করে, যার মধ্যে সেই answer bot-গুলোও অন্তর্ভুক্ত থাকে যেগুলোকে সাইটটি আসলে পেতে চায়।
  • সচেতনতার অভাব – বেশিরভাগ ওয়েবমাস্টার Googlebot-এর জন্য robots.txt সম্পর্কে জানেন, কিন্তু নতুন AI-নির্দিষ্ট নির্দেশাবলী সম্পর্কে তাদের ধারণা কম।
  • ডেটা অপব্যবহারের ভয় – মালিকরা চিন্তিত যে training bots তাদের কন্টেন্ট ভবিষ্যতে মডেলগুলোতে অন্তর্ভুক্ত করে ফেলবে; এটি একটি বৈধ উদ্বেগ যা answer bots-এর ক্ষেত্রে প্রযোজ্য নয়, কারণ তারা কেবল চাহিদার ভিত্তিতে ডেটা সংগ্রহ করে।

কীভাবে সঠিক ভারসাম্য বজায় রাখা যায়

১. robots.txt এডিট করুন – আপনি যে answer bot-গুলোকে পেতে চান তাদের স্পষ্টভাবে অনুমতি দিন। User-agent: OAI-SearchBot\nAllow: / এর মতো একটি লাইন OpenAI-এর answer bot-কে পুরো সাইট ক্রল করতে দেবে, অথচ অন্যান্য এজেন্টদের ব্লক রাখা যাবে। ২. ট্রেনিং ডেটা সম্পর্কে সিদ্ধান্ত নিন – যদি মালিকানাধীন তথ্য রক্ষা করা অগ্রাধিকার হয়, তবে GPTBot, ClaudeBot এবং অনুরূপ training agent-গুলোর জন্য একটি Disallow নিয়ম রাখুন। ৩. llms.txt গ্রহণ করুন – এই উদীয়মান স্ট্যান্ডার্ডটি প্রকাশকদের AI ব্যবহারের জন্য সবচেয়ে গুরুত্বপূর্ণ পেজগুলো হাইলাইট করতে সাহায্য করে, যা answer bot-গুলোর জন্য তথ্য খোঁজার প্রক্রিয়াকে ত্বরান্বিত করে। ৪. থার্ড-পার্টি সেটিংস অডিট করুন – যে কোনো সিকিউরিটি বা CDN কনফিগারেশন যা স্বয়ংক্রিয়ভাবে AI ক্রলারদের ব্লক করে থাকতে পারে তা পর্যালোচনা করুন এবং নিয়মগুলো ম্যানুয়ালি সমন্বয় করুন।

যে ভারসাম্য আপনাকে বিবেচনা করতে হবে

answer bot-গুলোকে অনুমতি দিলে AI-চালিত কথোপকথনে ব্র্যান্ডের পরিচিতি বাড়ে, তবে এর মানে হলো কন্টেন্টটি ব্যবহারকারীর সামনে আসা উত্তরে হুবহু পুনরুৎপাদন করা যেতে পারে। Training bots-কে ব্লক করা ডেটাকে ভবিষ্যতে মডেলের ওজনে (weights) অন্তর্ভুক্ত হওয়া থেকে রক্ষা করে, তবুও এটি answer bot-গুলোকে একই পাবলিক পেজ সংগ্রহ করা থেকে আটকাতে পারে না।

যদি কোনো কোম্পানির মূল লক্ষ্য তার IP-র ওপর কঠোর নিয়ন্ত্রণ রাখা হয়, তবে একটি কঠোর ব্লক ব্যবস্থা যুক্তিযুক্ত হতে পারে, কিন্তু এর বিনিময়ে সেই চ্যানেলগুলোতে উপস্থিতি কমে যাবে যেখানে অনেক ব্যবহারকারী এখন তাদের গবেষণা শুরু করেন। বিপরীতে, একটি ই-কমার্স সাইট যা পণ্য অনুসন্ধানের ওপর নির্ভরশীল, তারা কিছু উদ্ধৃত স্নিপেটের সামান্য ঝুঁকির চেয়ে AI-crawlable হওয়ার মাধ্যমে বেশি উপকৃত হবে।

পরবর্তীতে যা লক্ষ্য রাখা উচিত

  • llms.txt-এর ব্যবহার – এই স্ট্যান্ডার্ডটি যত জনপ্রিয়তা পাচ্ছে, এটি পার্স (parse) করতে সক্ষম টুলগুলো AI অ্যানসার বটগুলোর জন্য উচ্চ-মূল্যের কন্টেন্ট খুঁজে পাওয়ার প্রধান মাধ্যম হয়ে উঠতে পারে।
  • AI প্রদানকারীদের নীতিমালার পরিবর্তন – OpenAI, Anthropic এবং অন্যান্যরা তাদের ক্রলার পলিসিগুলো আরও উন্নত করতে পারে, যা সম্ভবত আরও সূক্ষ্ম বা বিস্তারিত অপ্ট-ইন (opt-in) ব্যবস্থা প্রদান করবে।
  • AI ট্রেনিং ডেটা সংক্রান্ত আইনি নির্দেশনা – স্ক্র্যাপ করা পাবলিক কন্টেন্ট মডেল ট্রেনিংয়ের জন্য ব্যবহার করা যাবে কি না, তা নিয়ে চলমান বিতর্ক কতগুলো সাইট সরাসরি ট্রেনিং বটগুলোকে ব্লক করার সিদ্ধান্ত নেবে, তার ওপর প্রভাব ফেলতে পারে।

মূল কথা হলো: যদি কোনো ব্র্যান্ড এমন জায়গায় দৃশ্যমান থাকতে চায় যেখানে ব্যবহারকারীরা কিওয়ার্ড টাইপ করার পরিবর্তে ক্রমবর্ধমানভাবে প্রশ্ন জিজ্ঞাসা করছেন, তবে তাদের সাইটটিকে অবশ্যই AI-crawlable করতে হবে। প্রথম ধাপ হলো একটি সাধারণ robots.txt এডিট; দ্বিতীয় ধাপ হলো পরবর্তী প্রজন্মের সার্চ ইঞ্জিনের সাথে কোন ডেটা শেয়ার করতে তারা স্বাচ্ছন্দ্যবোধ করবে সে বিষয়ে একটি স্পষ্ট সিদ্ধান্ত নেওয়া। ট্রেনিং বট এবং অ্যানসার বটের মধ্যে পার্থক্য উপেক্ষা করলে একটি কোম্পানি সেই জায়গাতেই অদৃশ্য হয়ে যেতে পারে যা তথ্য খোঁজার পদ্ধতিকে নতুনভাবে সাজিয়ে দিচ্ছে।