La limitación de solicitudes es la práctica deliberada de ralentizar la tasa a la que un scraper envía solicitudes, añadiendo retrasos entre ellas, para imitar patrones de navegación humana natural y mantenerse por debajo de los límites de tasa de un sitio objetivo. La limitación intercambia velocidad por fiabilidad, reduciendo las probabilidades de activar límites de tasa o sistemas de detección de bots.

La limitación puede utilizar retrasos aleatorios en lugar de fijos entre solicitudes (la configuración DOWNLOAD_DELAY_JITTER de Scrapy, por ejemplo, añade variación aleatoria a cada retraso). La limitación y la rotación de proxies trabajan juntas en lugar de ser sustitutos: la rotación distribuye la carga entre muchas IPs, mientras que la limitación controla cuán agresivamente se utiliza cada IP individual.

La limitación también puede adaptarse a las respuestas de un sitio, como lo hace la extensión AutoThrottle de Scrapy ajustando los retrasos a la latencia del servidor y no acelerando en respuestas de error, en lugar de depender de un retraso fijo elegido de antemano.

Términos Relacionados