Gleichzeitige Verbindungen, oft als Threads bezeichnet, sind die Anzahl der Anfragen, die Sie gleichzeitig über einen Proxy offen haben können. Ein Limit von 50 bedeutet, dass bis zu 50 Anfragen parallel ausgeführt werden können. Wenn eine abgeschlossen ist, kann eine andere beginnen. Mehr Parallelität beendet große Aufgaben schneller, aber jede offene Verbindung verbraucht auch Ressourcen auf dem Proxy und dem Zielserver.
Ein 429 Too Many Requests-Status bedeutet, dass Sie in einem bestimmten Zeitraum zu viele Anfragen gesendet haben.
Threads, Verbindungen und Anfragen
- Thread: Eine Arbeitseinheit in Ihrem eigenen Programm. In einem einfachen Scraper sendet jeder Thread eine Anfrage und wartet auf die Antwort.
- HTTP/1.x: Eine Verbindung verarbeitet Anfragen größtenteils nacheinander, sodass HTTP/1.0- und HTTP/1.1-Clients mehrere Verbindungen öffnen, um gleichzeitige Anfragen zu stellen.
- HTTP/2: Viele Anfragen, die Streams genannt werden, können auf einer einzigen Verbindung überlagert werden. Ein Server legt sein Limit mit
SETTINGS_MAX_CONCURRENT_STREAMSfest. - Warum es wichtig ist: Ihre Thread-Anzahl, offenen Verbindungen und in Bearbeitung befindlichen Anfragen sind nicht immer die gleiche Zahl, daher sollten Sie überprüfen, auf welche Zahl sich ein Limit bezieht.
Auswahl eines sicheren Parallelitätsniveaus
- Seien Sie konservativ: Die HTTP/1.1-Spezifikation (RFC 9112) besagt, dass ein Client die Anzahl der gleichzeitig offenen Verbindungen zu einem bestimmten Server begrenzen sollte. Es gibt kein festes Maximum.
- Warum: Jede Verbindung verbraucht Serverressourcen, und viele parallele Verbindungen können Staus verursachen, die weniger Verbindungen vermeiden würden.
- Respektieren Sie Retry-After: Eine
429 Too Many Requests-Antwort kann einenRetry-After-Header enthalten, der angibt, wie lange man warten sollte, bevor man es erneut versucht.