Ang request throttling ay ang sinadyang proseso ng pagpapabagal sa bilis ng mga request na ipinapadala ng isang scraper, na nagdadagdag ng mga pagkaantala sa pagitan ng mga ito, upang maiwasan ang labis na pag-load sa mga server ng target na site.
Ang terminong ito ay ginagamit din sa panig ng server. Inilarawan ng Microsoft ang throttling bilang isang teknik na ginagamit ng mga cloud API upang limitahan kung gaano karaming mga request ang maaaring gawin sa isang takdang panahon, upang ang API ay manatiling available para sa lahat ng mga gumagamit. Sa alinmang paraan, ang layunin ay pareho: panatilihin ang trapiko sa isang bilis na kayang hawakan ng server.
Throttling vs. Rate Limiting
| Throttling | Rate limiting | |
|---|---|---|
| Pangunahing ideya | Kontrolin ang bilis ng mga request | Limitahan ang bilang ng mga request sa isang takdang oras |
| Labis na request | Kadalasang naantala o pinapangalat | Kadalasang tinatanggihan |
| Sino ang nag-aaplay nito | Ang kliyente, ang server, o pareho | Kadalasang ang server |
| Karaniwang senyales | Mabagal na mga tugon, o 429 na may Retry-After | 429 Too Many Requests |
Ang dalawang terminong ito ay nag-o-overlap sa praktika. Halimbawa, inilarawan ng AWS ang mga throttled request na lumampas sa limitasyon bilang tinanggihan na may 429 Too Many Requests na error. Tingnan ang rate limiting para sa kung paano binibilang ng mga server ang mga request.
Paano Nag-Throttle ang mga Server
- Token bucket: Inirerekomenda ng AWS ang algorithm na ito, kung saan bawat request ay gumagamit ng isang token at ang mga token ay nagre-refill sa isang takdang rate bawat segundo.
- Status codes: ang pinaka-karaniwang senyales ay
429 Too Many Requests. Binanggit ng Microsoft na hindi lahat ng API ay gumagamit nito: ang GitHub ay maaaring tumugon gamit ang403. - Wait times: ang ilang API ay nagdadagdag ng Retry-After header na nagsasaad kung gaano katagal dapat maghintay bago ang susunod na request.
Paano Nag-Throttle ang mga Scraper sa Kanilang Sarili
- Fixed delay: isang nakatakdang paghinto sa pagitan ng mga request sa parehong site.
- Randomized delay: ang
DOWNLOAD_DELAY_JITTERna setting ng Scrapy ay nagdadagdag ng random na pagbabago sa bawat delay, kaya ang mga request ay hindi dumarating sa isang eksaktong ritmo. - Adaptive delay: ang AutoThrottle extension ng Scrapy ay umaangkop sa mga tugon ng site. Itinatakda nito ang target na delay sa latency ng server na hinati sa target na concurrency, at hindi pinapabilis sa mga error na tugon.
- Concurrency caps: mas kaunting concurrent connections sa isang site ay nagpapababa rin ng rate ng request.
Ang mga Retry ay Maaaring Magbawi ng Throttling
Maaaring maayos na i-pace ng isang scraper ang mga unang request nito ngunit maaari pa ring magdulot ng labis na load sa site sa pamamagitan ng mga retry. Nagbigay ng babala ang isang artikulo mula sa Amazon Builders' Library na kung ang isang sistema ay overloaded, ang mga retry ay maaaring magpalala ng overload sa halip na magpabuti. Nagbigay ito ng halimbawa kung saan ang mga layer na bawat isa ay nag-retry nang hiwalay ay nagdadala ng load sa isang database ng 243 beses.
Ang parehong artikulo ay naglilista ng mga solusyon:
- Back off exponentially: dagdagan ang paghihintay pagkatapos ng bawat nabigong pagtatangka.
- Add jitter: magdagdag ng randomness sa bawat paghihintay, kaya ang mga retry ay kumakalat sa oras sa halip na sabay-sabay na dumating.
- Cap it: itakda ang isang maximum na paghihintay at isang maximum na bilang ng mga retry.
Ano ang Kahulugan Nito para sa Web Scraping
- Throttle per site, not per job: ang mga limitasyon ay nalalapat sa bawat target, kaya i-pace ang mga request sa bawat domain nang hiwalay.
- Treat 429 as a pause: maghintay para sa Retry-After time, o mag-back off na may jitter kapag wala nito.
- New IPs don't replace pacing: ang pagpapalit ng IP pagkatapos ng 429 ay hindi nakakatulong kung ang site ay nagbibilang din ayon sa cookie, account, o fingerprint.