Ang rate limiting ay isang kontrol na naglilimita kung gaano karaming mga request ang maaaring gawin ng isang kliyente, na kinilala sa pamamagitan ng IP address o user account, sa loob ng isang takdang oras, at pagkatapos ay hinaharangan o pinapabagal ang mga request na lumampas sa limit. Ang mga server ay nag-signify nito gamit ang HTTP 429 Na Masyadong Maraming Request, na maaaring kasama ang isang Retry-After header na nagsasaad kung gaano katagal dapat maghintay bago subukang muli.
Mga Antas ng Pagpapatupad ng Rate Limits
- Bawat IP
- Bawat subnet
- Bawat API key
- Bawat account
Kapag ang isang kliyente ay lumampas sa mga limitasyon, ang server ay maaaring pansamantalang itigil ang pagtugon sa mga request nito at tumugon gamit ang HTTP 429 "Masyadong Maraming Request". Ang pamamahagi ng mga request sa isang malaking, rotating proxy pool ay nagkakalat ng mga ito sa maraming per-IP counters, na tumutulong upang mapanatili ang bawat IP sa ilalim ng per-IP rate limits sa malaking sukat.
Mga Karaniwang Algorithm ng Rate-Limiting
- Fixed window: Binibilang ang mga request at nire-reset ang counter sa simula ng bawat panahon, kaya ang mga spike ng traffic ay maaaring makalusot sa paligid ng bawat reset.
- Sliding window: Binibigyan ng timbang ang bilang mula sa nakaraang panahon batay sa kung gaano ito ka-overlap sa kasalukuyang window, na nagpapalambot sa mga spike na iyon.
- Token bucket: Ang mga token ay nagre-refill sa isang nakatakdang rate hanggang sa isang maximum. Ang bawat request ay gumagamit ng isa, kaya pinapayagan ang mga burst hanggang sa laki ng bucket.
- Leaky bucket: Ang mga request ay umaagos sa isang constant rate. Kapag puno na ang bucket, ang mga bagong request ay tinatanggihan.
Bakit Gumagamit ng Rate Limiting ang mga Site
Ang scraping ay isa lamang target. Ang mga rate limit ay tumutulong din:
- Pabilisin ang mga brute-force login attempts, na inirerekomenda ng Cloudflare na subaybayan sa parehong IP address at username.
- Pagsugpo sa mga blunt na DoS at DDoS traffic floods.
- Panatilihin ang paggamit ng API sa loob ng per-user quotas, tulad ng isang nakatakdang bilang ng mga tawag bawat oras o araw, kahit na ang labis na paggamit ay hindi nakakapinsala.