অনুরোধ থ্রটলিং হল একটি উদ্দেশ্যমূলক অনুশীলন যা স্ক্র্যাপার কত দ্রুত অনুরোধ পাঠায় তার হার কমিয়ে দেয়, তাদের মধ্যে বিলম্ব যোগ করে, যাতে লক্ষ্য সাইটের সার্ভারগুলিতে খুব বেশি চাপ না পড়ে।

এই শব্দটি সার্ভার সাইডেও ব্যবহৃত হয়। মাইক্রোসফট থ্রটলিংকে একটি কৌশল হিসাবে বর্ণনা করে যা ক্লাউড API গুলি ব্যবহার করে একটি সময়ের মধ্যে কতগুলি অনুরোধ করা যেতে পারে তা সীমিত করতে, যাতে API সকল ব্যবহারকারীর জন্য উপলব্ধ থাকে। যেভাবেই হোক, লক্ষ্য একই: সার্ভার যে গতিতে পরিচালনা করতে পারে সেই গতিতে ট্রাফিক রাখা।

থ্রটলিং বনাম রেট লিমিটিং

থ্রটলিংরেট লিমিটিং
প্রধান ধারণাঅনুরোধের গতিকে নিয়ন্ত্রণ করাএকটি সময়ের মধ্যে অনুরোধের সংখ্যা সীমাবদ্ধ করা
অতিরিক্ত অনুরোধসাধারণত বিলম্বিত বা ছড়িয়ে দেওয়া হয়সাধারণত প্রত্যাখ্যাত
এটি কে প্রয়োগ করেক্লায়েন্ট, সার্ভার বা উভয়ইসাধারণত সার্ভার
সাধারণ সংকেতধীর প্রতিক্রিয়া, বা 429 সহ Retry-After429 Too Many Requests

দুইটি শব্দের মধ্যে বাস্তবে ওভারল্যাপ রয়েছে। উদাহরণস্বরূপ, AWS একটি সীমার উপরে থ্রটলড অনুরোধগুলিকে 429 Too Many Requests ত্রুটির সাথে প্রত্যাখ্যাত হিসাবে বর্ণনা করে। সার্ভারগুলি কীভাবে অনুরোধ গণনা করে তা জানার জন্য রেট লিমিটিং দেখুন।

সার্ভারগুলি কীভাবে থ্রটল করে

  • টোকেন বালতি: AWS এই অ্যালগরিদমের সুপারিশ করে, যেখানে প্রতিটি অনুরোধ একটি টোকেন ব্যবহার করে এবং টোকেন প্রতি সেকেন্ডে একটি নির্ধারিত হারে পূর্ণ হয়।
  • স্ট্যাটাস কোড: সবচেয়ে সাধারণ সংকেত হল 429 Too Many Requests। মাইক্রোসফট উল্লেখ করে যে প্রতিটি API এটি ব্যবহার করে না: গিটহাব 403 দিয়ে প্রতিক্রিয়া জানাতে পারে।
  • অপেক্ষার সময়: কিছু API একটি Retry-After header যোগ করে যা পরবর্তী অনুরোধের আগে কতক্ষণ অপেক্ষা করতে হবে তা বলে।

স্ক্র্যাপারগুলি কীভাবে নিজেদের থ্রটল করে

  • নির্ধারিত বিলম্ব: একই সাইটে অনুরোধের মধ্যে একটি সেট বিরতি।
  • র্যান্ডমাইজড বিলম্ব: স্ক্র্যাপির DOWNLOAD_DELAY_JITTER সেটিং প্রতিটি বিলম্বে র্যান্ডম পরিবর্তন যোগ করে, যাতে অনুরোধগুলি সঠিকভাবে না আসে।
  • অ্যাডাপটিভ বিলম্ব: স্ক্র্যাপির অটোথ্রটল এক্সটেনশন একটি সাইটের প্রতিক্রিয়ার সাথে অভিযোজিত হয়। এটি সার্ভারের লেটেন্সি একটি লক্ষ্য সমান্তরাল দ্বারা ভাগ করে লক্ষ্য বিলম্ব সেট করে এবং ত্রুটি প্রতিক্রিয়ার উপর দ্রুত হয় না।
  • সমান্তরাল ক্যাপস: একটি সাইটে কম সমান্তরাল সংযোগ অনুরোধের হারও কমিয়ে দেয়।

পুনরায় চেষ্টা থ্রটলিংকে বিপরীত করতে পারে

একটি স্ক্র্যাপার তার প্রথম অনুরোধগুলি ভালভাবে পেস করতে পারে এবং এখনও পুনরায় চেষ্টা করে একটি সাইটে প্লাবিত করতে পারে। একটি অ্যামাজন বিল্ডার্স' লাইব্রেরির নিবন্ধ সতর্ক করে যে যদি একটি সিস্টেম অতিরিক্ত লোড হয়, তবে পুনরায় চেষ্টা লোড বাড়াতে পারে বরং কমাতে পারে। এটি একটি উদাহরণ দেয় যেখানে প্রতিটি স্বাধীনভাবে পুনরায় চেষ্টা করা স্তরগুলি একটি ডেটাবেসে 243 গুণ লোড বাড়ায়।

একই নিবন্ধটি সমাধানগুলি তালিকাবদ্ধ করে:

  1. এক্সপোনেনশিয়ালভাবে পিছিয়ে যান: প্রতিটি ব্যর্থ প্রচেষ্টার পরে অপেক্ষার সময় বাড়ান।
  2. জিটার যোগ করুন: প্রতিটি অপেক্ষায় র্যান্ডমতা যোগ করুন, যাতে পুনরায় চেষ্টা সময়ে ছড়িয়ে পড়ে একসাথে না আসে।
  3. এটি সীমাবদ্ধ করুন: একটি সর্বাধিক অপেক্ষা এবং সর্বাধিক পুনরায় চেষ্টা সেট করুন।

ওয়েব স্ক্র্যাপিংয়ের জন্য এর অর্থ

  • প্রতিটি সাইটের জন্য থ্রটল করুন, কাজের জন্য নয়: সীমাবদ্ধতা প্রতিটি লক্ষ্যতে প্রযোজ্য, তাই প্রতিটি ডোমেইনে অনুরোধের গতি আলাদাভাবে রাখুন।
  • 429 কে একটি বিরতি হিসাবে বিবেচনা করুন: Retry-After সময়ের জন্য অপেক্ষা করুন, অথবা যখন এটি নেই তখন জিটারের সাথে পিছিয়ে যান।
  • নতুন IP গুলি পেসিং প্রতিস্থাপন করে না: একটি 429 এর পরে IP পরিবর্তন করা সাহায্য করে না যদি সাইটটি কুকি, অ্যাকাউন্ট বা ফিঙ্গারপ্রিন্ট দ্বারা গণনা করে।

সম্পর্কিত শর্তাবলী