İstek kısıtlaması, bir scraper'ın istek gönderme hızını yavaşlatmak için kasıtlı olarak uygulanan bir yöntemdir; bu, doğal insan tarayıcı alışkanlıklarını taklit etmek ve hedef bir sitenin hız limitlerinin altında kalmak için aralarına gecikmeler ekler. Kısıtlama, güvenilirlik için hızı feda eder, hız limitlerini veya bot tespiti sistemlerini tetikleme olasılığını azaltır.

Kısıtlama, istekler arasındaki gecikmelerde sabit yerine rastgele gecikmeler kullanabilir (örneğin, Scrapy'nin DOWNLOAD_DELAY_JITTER ayarı, her gecikmeye rastgele varyasyon ekler). Kısıtlama ve proxy döngüsü birbirini tamamlar; döngü, yükü birçok IP'ye yayarken, kısıtlama her bir IP'nin ne kadar agresif kullanılacağını kontrol eder.

Kısıtlama ayrıca bir sitenin yanıtlarına uyum sağlayabilir, Scrapy'nin AutoThrottle uzantısının yaptığı gibi, sunucu gecikmesine göre gecikmeleri ayarlayarak ve hata yanıtlarında hızlanmayarak, önceden seçilen sabit bir gecikmeye güvenmek yerine.

İlgili Terimler