একটি AI ওয়েব ক্রলার হল একটি ক্রলার যা একটি AI কোম্পানি দ্বারা পরিচালিত হয় ওয়েব কন্টেন্ট সংগ্রহ করার জন্য ভাষা মডেল প্রশিক্ষণের জন্য অথবা বাস্তব-সময়ের পুনরুদ্ধার শক্তি দেওয়ার জন্য, যা উদ্দেশ্যে প্রচলিত সার্চ ইঞ্জিন ক্রলার থেকে আলাদা। এর উদাহরণগুলির মধ্যে রয়েছে OpenAI-এর GPTBot এবং Anthropic-এর ClaudeBot; গুগল পরিবর্তে Google-Extended অফার করে, একটি robots.txt টোকেন যা প্রকাশকদের নিয়ন্ত্রণ করতে দেয় যে গুগলের বিদ্যমান ক্রলারগুলি যে কন্টেন্ট সংগ্রহ করে তা জেমিনি মডেল প্রশিক্ষণের জন্য ব্যবহার করা যেতে পারে কিনা।
OpenAI, Anthropic এবং Perplexity প্রত্যেকেই বিভিন্ন কাজের জন্য কয়েকটি বট পরিচালনা করে, তাই "AI ক্রলার" তিন ধরনের ট্রাফিককে অন্তর্ভুক্ত করে: ক্রলারগুলি যা প্রশিক্ষণ ডেটা সংগ্রহ করে, ক্রলারগুলি যা AI সার্চের জন্য একটি সূচি তৈরি করে, এবং ফেচারগুলি যা একটি পৃষ্ঠা লোড করে কারণ একজন ব্যবহারকারী একটি প্রশ্ন জিজ্ঞাসা করেছে।
AI বটের তিন ধরনের
- প্রশিক্ষণ ক্রলার: পৃষ্ঠাগুলি সংগ্রহ করে যা মডেল প্রশিক্ষণের জন্য ব্যবহার করা যেতে পারে, যেমন GPTBot এবং ClaudeBot।
- সার্চ ক্রলার: পৃষ্ঠাগুলি সূচিবদ্ধ করে যাতে সেগুলি AI সার্চের উত্তরগুলিতে প্রদর্শিত হতে পারে, যেমন OAI-SearchBot, Claude-SearchBot এবং PerplexityBot। Perplexity বলছে PerplexityBot প্রশিক্ষণ ডেটা সংগ্রহের জন্য ব্যবহার করা হয় না।
- ব্যবহারকারী-প্ররোচিত ফেচার: যখন কেউ সহায়ককে কিছু জিজ্ঞাসা করে তখন একটি পৃষ্ঠা বাস্তব সময়ে লোড করে, যেমন ChatGPT-User, Claude-User এবং Perplexity-User।
কোম্পানি অনুযায়ী AI বট
| কোম্পানি | প্রশিক্ষণ | সার্চ | ব্যবহারকারী-প্ররোচিত |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (কোনও তালিকাভুক্ত নেই) | PerplexityBot | Perplexity-User |
গুগল একটি ভিন্ন পদ্ধতি গ্রহণ করে। Google-Extended-এর কোনও আলাদা ব্যবহারকারী এজেন্ট নেই: এটি একটি নিয়ন্ত্রণ টোকেন যা গ্রাউন্ডিংকেও কভার করে, যেখানে গুগল সার্চ কন্টেন্ট জেমিনি মডেলগুলিকে প্রম্পট সময়ে দেওয়া হয়। গুগল বলছে এটি গুগল সার্চে অন্তর্ভুক্তি বা র্যাঙ্কিংকে প্রভাবিত করে না।
প্রশিক্ষণ ব্লক করা AI সার্চ ব্লক করতে হবে না
প্রতিটি কোম্পানি এই বটগুলিকে আলাদা সুইচ হিসাবে বিবেচনা করে:
- OpenAI: বলে প্রতিটি সেটিং স্বাধীন, তাই একটি সাইট OAI-SearchBot-কে ChatGPT সার্চে উপস্থিত হতে দিতে পারে যখন GPTBot-কে নিষিদ্ধ করে।
- Anthropic: বলে Claude-SearchBot বা Claude-User ব্লক করা একটি সাইটের ব্যবহারকারী সার্চ ফলাফলে দৃশ্যমানতা কমাতে পারে।
- ব্যবহারকারী-প্ররোচিত ফেচারগুলি আলাদা: OpenAI বলে robots.txt নিয়মগুলি ChatGPT-User-এ প্রযোজ্য নাও হতে পারে, এবং Perplexity বলে Perplexity-User সাধারণত সেগুলি উপেক্ষা করে, কারণ একজন ব্যবহারকারী ফেচটি অনুরোধ করেছে। Anthropic বলে সাইটের মালিকরা Claude-User নিয়ন্ত্রণ করতে robots.txt ব্যবহার করতে পারেন।
SEO টিমগুলির জন্য AI উদ্ধৃতি ট্র্যাক করার জন্য, একটি সাধারণ "সমস্ত AI বট ব্লক করুন" নিয়ম একটি সাইটকে AI উত্তর থেকে সরিয়ে ফেলতে পারে, কেবল প্রশিক্ষণ ডেটা থেকে নয়।
AI ক্রলিং কতটা আছে
Cloudflare জুলাই 2025-এ রিপোর্ট করেছে যে GPTBot-এর AI-শুধু ক্রলার ট্রাফিকের অংশ মে 2024 থেকে মে 2025-এর মধ্যে 5% থেকে 30% বৃদ্ধি পেয়েছে, ClaudeBot 21%। একই দিনে, Cloudflare ঘোষণা করেছে যে এটি অনুমতি ছাড়া কন্টেন্ট অ্যাক্সেস করা AI ক্রলারগুলি ডিফল্টভাবে ব্লক করবে এবং প্রতিটি নতুন ডোমেইনকে জিজ্ঞাসা করবে তাদের অনুমতি দেওয়া উচিত কিনা।
ওয়েব স্ক্র্যাপিংয়ের জন্য এর অর্থ কী
- একটি বটের নাম কিছু প্রমাণ করে না: যে কোনও ক্লায়েন্ট একটি AI ক্রলারের নাম তার User-Agent হেডারে পাঠাতে পারে, তাই সাইটগুলি যা যত্নশীল তাদের স্ট্রিংয়ের চেয়ে বেশি চেক করে।
- আপনার নিজস্ব টোকেনের জন্য নিয়মগুলি পড়ুন: robots.txt প্রতিটি ক্রলারের জন্য বিভিন্ন নিয়ম সেট করতে পারে, তাই আপনার ব্যবহারকারী এজেন্টের জন্য প্রযোজ্য গ্রুপটি চেক করুন, কেবল AI বট নয়।
- AI-সম্পর্কিত ট্রাফিকে আরও ব্লকের প্রত্যাশা করুন: Cloudflare-এর মতো নেটওয়ার্কে ডিফল্ট ব্লকিংয়ের সাথে, AI প্রকল্পগুলির জন্য ডেটা পাইপলাইনগুলি প্রত্যাখ্যাত অনুরোধের জন্য পরিকল্পনা করা উচিত এবং সেগুলিকে সম্মান করা উচিত।