Ein HTTP-Proxy ist ein Server, der die HTTP-Anfragen eines Clients empfängt, sie an den Zielserver weiterleitet und die Antworten zurückgibt. Bei HTTPS-Seiten verwendet der Client die CONNECT-Methode, um einen Tunnel durch den Proxy zu öffnen, der dann den verschlüsselten Datenverkehr weiterleitet, ohne ihn lesen zu können.

Ein HTTP-Proxy kann unverschlüsselten HTTP-Datenverkehr, der durch ihn hindurchgeht, lesen und sogar modifizieren, weshalb sensible Daten über HTTPS übertragen werden sollten, wo der Proxy nur den verschlüsselten Datenverkehr tunnelt.

Wie ein HTTP-Proxy eine Anfrage verarbeitet

  1. Der Client sendet seine Anfrage an den Proxy anstelle der Website. Für einfaches HTTP verwendet er die vollständige Ziel-URL; für HTTPS sendet er eine CONNECT host:443-Anfrage.
  2. Wenn der Proxy eine Anmeldung erfordert, fügt der Client einen Proxy-Authorization-Header hinzu.
  3. Für HTTP leitet der Proxy die Anfrage an das Ziel weiter. Bei CONNECT antwortet er mit einem 2xx-Status und wechselt in den Tunnelmodus.
  4. Die Antwort reist durch den Proxy zurück zum Client.

Vorwärts-, Rückwärts- und Transparente HTTP-Proxys

  • Vorwärts-Proxy: handelt für Clients und kann deren Identität vor Websites verbergen. Benutzer können einen einrichten, um ihre IP-Adresse beim Surfen zu verbergen.
  • Rückwärts-Proxy: handelt im Auftrag von Webservern und übernimmt Aufgaben wie Lastverteilung und Caching von statischen Inhalten.
  • Transparenter (abfangender) Proxy: wird im Netzwerkpfad platziert, sodass Clients ihn nicht konfigurieren und möglicherweise nicht wissen, dass er vorhanden ist.

HTTP-Proxy vs. SOCKS5-Proxy

HTTP-ProxySOCKS5-Proxy
Was er verstehtHTTP-Anfragen und -AntwortenNichts über der Transportschicht; er leitet Daten weiter, ohne sie als HTTP zu lesen
Verkehr, den er transportiertWebverkehr, wobei HTTPS durch einen CONNECT-Tunnel geleitet wirdTCP und UDP für jede App, die SOCKS unterstützt
Kann Header wie Via hinzufügenJaNein
In curlStandardtyp, wenn der Proxy kein Schema hatMit einer socks5://- oder socks5h://-Proxy-URL festgelegt

Caching

Einige HTTP-Proxys speichern Antworten, um den Datenverkehr, der ein Netzwerk verlässt, zu reduzieren. MDN nennt diese Proxy-Caches, eine Art gemeinsamer Cache. Websites kennzeichnen personalisierte Antworten mit Cache-Control: private, damit gemeinsame Caches sie nicht speichern. HTTPS-Antworten werden normalerweise in einem Tunnel durch einen Proxy geleitet, sodass der Proxy in vielen Fällen sie nicht cachen kann.

Was es für Web-Scraping bedeutet

  • HTTP ist oft der Standard: curl behandelt einen ohne Schema angegebenen Proxy, wie proxy.example.com:8080, als HTTP-Proxy. Siehe Proxy-Einstellungen, wo Clients dies speichern.
  • Header können den Proxy offenbaren: Proxys können einen Via-Header hinzufügen, und einige fügen X-Forwarded-For mit der ursprünglichen Client-IP hinzu. Überprüfen Sie, was ein Proxy sendet, bevor Sie sich darauf verlassen, dass er Ihre Adresse verbirgt.

Verwandte Begriffe