درخواست کی تھروٹلنگ ایک جان بوجھ کر عمل ہے جس میں اسکرپر کی درخواستوں کی رفتار کو سست کیا جاتا ہے، ان کے درمیان تاخیر شامل کی جاتی ہے، تاکہ ہدف کی سائٹ کے سرورز پر زیادہ بوجھ نہ پڑے۔
یہ اصطلاح سرور کی جانب بھی استعمال ہوتی ہے۔ مائیکروسافٹ تھروٹلنگ کو ایک تکنیک کے طور پر بیان کرتا ہے جو کلاؤڈ APIs استعمال کرتی ہیں تاکہ یہ محدود کیا جا سکے کہ ایک مخصوص وقت میں کتنی درخواستیں کی جا سکتی ہیں، تاکہ API تمام صارفین کے لیے دستیاب رہے۔ دونوں صورتوں میں، مقصد ایک ہی ہے: سرور کے قابل برداشت رفتار پر ٹریفک کو برقرار رکھنا۔
تھروٹلنگ بمقابلہ ریٹ لمیٹنگ
| تھروٹلنگ | ریٹ لمیٹنگ | |
|---|---|---|
| بنیادی خیال | درخواستوں کی رفتار کو کنٹرول کرنا | وقت کی کھڑکی میں درخواستوں کی تعداد کو محدود کرنا |
| اضافی درخواستیں | عام طور پر تاخیر یا پھیلائی جاتی ہیں | عام طور پر مسترد کی جاتی ہیں |
| کون اسے نافذ کرتا ہے | کلائنٹ، سرور یا دونوں | عام طور پر سرور |
| عام اشارہ | سست جوابات، یا 429 کے ساتھ Retry-After | 429 Too Many Requests |
دونوں اصطلاحات عملی طور پر ایک دوسرے کے ساتھ اوورلیپ کرتی ہیں۔ AWS، مثال کے طور پر، حد سے تجاوز کرنے والی درخواستوں کو 429 Too Many Requests کی غلطی کے ساتھ مسترد کرتا ہے۔ دیکھیں ریٹ لمیٹنگ کہ سرور درخواستوں کو کیسے گنتے ہیں۔
سرورز تھروٹل کیسے کرتے ہیں
- ٹوکین بالٹی: AWS اس الگورڈم کی سفارش کرتا ہے، جہاں ہر درخواست ایک ٹوکین استعمال کرتی ہے اور ٹوکین ہر سیکنڈ میں ایک مقررہ شرح پر دوبارہ بھر جاتے ہیں۔
- اسٹیٹس کوڈز: سب سے عام اشارہ
429 Too Many Requestsہے۔ مائیکروسافٹ نوٹ کرتا ہے کہ ہر API اسے استعمال نہیں کرتی: GitHub403کے ساتھ جواب دے سکتا ہے۔ - انتظار کے اوقات: کچھ APIs ایک Retry-After header شامل کرتی ہیں جو بتاتی ہیں کہ اگلی درخواست سے پہلے کتنی دیر انتظار کرنا ہے۔
اسکرپر خود کو کیسے تھروٹل کرتے ہیں
- مستقل تاخیر: ایک ہی سائٹ کے لیے درخواستوں کے درمیان ایک مقررہ وقفہ۔
- بے ترتیب تاخیر: Scrapy کا
DOWNLOAD_DELAY_JITTERسیٹنگ ہر تاخیر میں بے ترتیب تبدیلی شامل کرتی ہے، تاکہ درخواستیں ایک خاص وقت پر نہ پہنچیں۔ - ایڈاپٹیو تاخیر: Scrapy کا AutoThrottle توسیع سائٹ کے جوابات کے مطابق ڈھالتی ہے۔ یہ ہدف کی تاخیر کو سرور کی لیٹنسی کو ہدف کی ہم وقتی کے ساتھ تقسیم کرکے مقرر کرتی ہے، اور غلطی کے جوابات پر تیز نہیں ہوتی۔
- ہم وقتی کی حدیں: ایک سائٹ کے لیے کم ہم وقتی کنکشن درخواست کی شرح کو بھی کم کرتی ہیں۔
دوبارہ کوششیں تھروٹلنگ کو ختم کر سکتی ہیں
ایک اسکرپر اپنی پہلی درخواستوں کی رفتار کو اچھی طرح سے ترتیب دے سکتا ہے اور پھر بھی دوبارہ کوششوں کے ساتھ سائٹ کو بھر سکتا ہے۔ ایک Amazon Builders' Library مضمون انتباہ کرتا ہے کہ اگر کوئی نظام زیادہ بوجھ میں ہے، تو دوبارہ کوششیں بوجھ کو بہتر کرنے کے بجائے بدتر بنا سکتی ہیں۔ یہ ایک مثال دیتا ہے جہاں ہر ایک آزادانہ طور پر دوبارہ کوشش کرنے والی تہیں ایک ڈیٹا بیس پر بوجھ 243 گنا بڑھا دیتی ہیں۔
اسی مضمون میں اصلاحات کی فہرست دی گئی ہے:
- ایکسپونینشل بیک آف: ہر ناکام کوشش کے بعد انتظار میں اضافہ کریں۔
- جٹر شامل کریں: ہر انتظار میں بے ترتیبی شامل کریں، تاکہ دوبارہ کوششیں وقت میں پھیل جائیں بجائے اس کے کہ ایک ساتھ پہنچیں۔
- اسے کیپ کریں: ایک زیادہ سے زیادہ انتظار اور زیادہ سے زیادہ دوبارہ کوششوں کا تعین کریں۔
ویب اسکرپنگ کے لیے اس کا کیا مطلب ہے
- ہر سائٹ کے لیے تھروٹل کریں، نہ کہ ہر کام کے لیے: حدود ہر ہدف پر لاگو ہوتی ہیں، لہذا ہر ڈومین کے لیے درخواستوں کی رفتار کو الگ الگ ترتیب دیں۔
- 429 کو ایک توقف کے طور پر سمجھیں: Retry-After وقت کا انتظار کریں، یا جب ایسا نہ ہو تو جٹر کے ساتھ پیچھے ہٹیں۔
- نئے IPs رفتار کو تبدیل نہیں کرتے: 429 کے بعد IPs تبدیل کرنا مدد نہیں کرتا اگر سائٹ کو کوکی، اکاؤنٹ یا فنگر پرنٹ کے ذریعے بھی گنتی ہو۔