درخواست کی تھروٹلنگ ایک جان بوجھ کر عمل ہے جس میں اسکرپر کی درخواستوں کی رفتار کو سست کیا جاتا ہے، ان کے درمیان تاخیر شامل کی جاتی ہے، تاکہ ہدف کی سائٹ کے سرورز پر زیادہ بوجھ نہ پڑے۔

یہ اصطلاح سرور کی جانب بھی استعمال ہوتی ہے۔ مائیکروسافٹ تھروٹلنگ کو ایک تکنیک کے طور پر بیان کرتا ہے جو کلاؤڈ APIs استعمال کرتی ہیں تاکہ یہ محدود کیا جا سکے کہ ایک مخصوص وقت میں کتنی درخواستیں کی جا سکتی ہیں، تاکہ API تمام صارفین کے لیے دستیاب رہے۔ دونوں صورتوں میں، مقصد ایک ہی ہے: سرور کے قابل برداشت رفتار پر ٹریفک کو برقرار رکھنا۔

تھروٹلنگ بمقابلہ ریٹ لمیٹنگ

تھروٹلنگریٹ لمیٹنگ
بنیادی خیالدرخواستوں کی رفتار کو کنٹرول کرناوقت کی کھڑکی میں درخواستوں کی تعداد کو محدود کرنا
اضافی درخواستیںعام طور پر تاخیر یا پھیلائی جاتی ہیںعام طور پر مسترد کی جاتی ہیں
کون اسے نافذ کرتا ہےکلائنٹ، سرور یا دونوںعام طور پر سرور
عام اشارہسست جوابات، یا 429 کے ساتھ Retry-After429 Too Many Requests

دونوں اصطلاحات عملی طور پر ایک دوسرے کے ساتھ اوورلیپ کرتی ہیں۔ AWS، مثال کے طور پر، حد سے تجاوز کرنے والی درخواستوں کو 429 Too Many Requests کی غلطی کے ساتھ مسترد کرتا ہے۔ دیکھیں ریٹ لمیٹنگ کہ سرور درخواستوں کو کیسے گنتے ہیں۔

سرورز تھروٹل کیسے کرتے ہیں

  • ٹوکین بالٹی: AWS اس الگورڈم کی سفارش کرتا ہے، جہاں ہر درخواست ایک ٹوکین استعمال کرتی ہے اور ٹوکین ہر سیکنڈ میں ایک مقررہ شرح پر دوبارہ بھر جاتے ہیں۔
  • اسٹیٹس کوڈز: سب سے عام اشارہ 429 Too Many Requests ہے۔ مائیکروسافٹ نوٹ کرتا ہے کہ ہر API اسے استعمال نہیں کرتی: GitHub 403 کے ساتھ جواب دے سکتا ہے۔
  • انتظار کے اوقات: کچھ APIs ایک Retry-After header شامل کرتی ہیں جو بتاتی ہیں کہ اگلی درخواست سے پہلے کتنی دیر انتظار کرنا ہے۔

اسکرپر خود کو کیسے تھروٹل کرتے ہیں

  • مستقل تاخیر: ایک ہی سائٹ کے لیے درخواستوں کے درمیان ایک مقررہ وقفہ۔
  • بے ترتیب تاخیر: Scrapy کا DOWNLOAD_DELAY_JITTER سیٹنگ ہر تاخیر میں بے ترتیب تبدیلی شامل کرتی ہے، تاکہ درخواستیں ایک خاص وقت پر نہ پہنچیں۔
  • ایڈاپٹیو تاخیر: Scrapy کا AutoThrottle توسیع سائٹ کے جوابات کے مطابق ڈھالتی ہے۔ یہ ہدف کی تاخیر کو سرور کی لیٹنسی کو ہدف کی ہم وقتی کے ساتھ تقسیم کرکے مقرر کرتی ہے، اور غلطی کے جوابات پر تیز نہیں ہوتی۔
  • ہم وقتی کی حدیں: ایک سائٹ کے لیے کم ہم وقتی کنکشن درخواست کی شرح کو بھی کم کرتی ہیں۔

دوبارہ کوششیں تھروٹلنگ کو ختم کر سکتی ہیں

ایک اسکرپر اپنی پہلی درخواستوں کی رفتار کو اچھی طرح سے ترتیب دے سکتا ہے اور پھر بھی دوبارہ کوششوں کے ساتھ سائٹ کو بھر سکتا ہے۔ ایک Amazon Builders' Library مضمون انتباہ کرتا ہے کہ اگر کوئی نظام زیادہ بوجھ میں ہے، تو دوبارہ کوششیں بوجھ کو بہتر کرنے کے بجائے بدتر بنا سکتی ہیں۔ یہ ایک مثال دیتا ہے جہاں ہر ایک آزادانہ طور پر دوبارہ کوشش کرنے والی تہیں ایک ڈیٹا بیس پر بوجھ 243 گنا بڑھا دیتی ہیں۔

اسی مضمون میں اصلاحات کی فہرست دی گئی ہے:

  1. ایکسپونینشل بیک آف: ہر ناکام کوشش کے بعد انتظار میں اضافہ کریں۔
  2. جٹر شامل کریں: ہر انتظار میں بے ترتیبی شامل کریں، تاکہ دوبارہ کوششیں وقت میں پھیل جائیں بجائے اس کے کہ ایک ساتھ پہنچیں۔
  3. اسے کیپ کریں: ایک زیادہ سے زیادہ انتظار اور زیادہ سے زیادہ دوبارہ کوششوں کا تعین کریں۔

ویب اسکرپنگ کے لیے اس کا کیا مطلب ہے

  • ہر سائٹ کے لیے تھروٹل کریں، نہ کہ ہر کام کے لیے: حدود ہر ہدف پر لاگو ہوتی ہیں، لہذا ہر ڈومین کے لیے درخواستوں کی رفتار کو الگ الگ ترتیب دیں۔
  • 429 کو ایک توقف کے طور پر سمجھیں: Retry-After وقت کا انتظار کریں، یا جب ایسا نہ ہو تو جٹر کے ساتھ پیچھے ہٹیں۔
  • نئے IPs رفتار کو تبدیل نہیں کرتے: 429 کے بعد IPs تبدیل کرنا مدد نہیں کرتا اگر سائٹ کو کوکی، اکاؤنٹ یا فنگر پرنٹ کے ذریعے بھی گنتی ہو۔

متعلقہ اصطلاحات