Le throttling des requêtes est la pratique délibérée de ralentir le rythme auquel un scraper envoie des requêtes, en ajoutant des délais entre elles, pour imiter les modèles de navigation humaine naturels et rester en dessous des limites de taux d'un site cible. Le throttling échange la vitesse contre la fiabilité, réduisant les chances de déclencher des limites de taux ou des systèmes de détection de bots.

Le throttling peut utiliser des délais aléatoires plutôt que fixes entre les requêtes (le paramètre DOWNLOAD_DELAY_JITTER de Scrapy, par exemple, ajoute une variation aléatoire à chaque délai). Le throttling et la rotation de proxy fonctionnent ensemble plutôt que comme des substituts : la rotation répartit la charge sur de nombreuses adresses IP, tandis que le throttling contrôle l'agressivité d'utilisation de chaque adresse IP individuelle.

Le throttling peut également s'adapter aux réponses d'un site, comme le fait l'extension AutoThrottle de Scrapy en ajustant les délais en fonction de la latence du serveur et en ne s'accélérant pas en cas de réponses d'erreur, plutôt que de s'appuyer sur un délai fixe choisi à l'avance.

Termes Associés