Ein HTTP-Proxy ist ein Server, der die HTTP-Anfragen eines Clients empfängt, sie an den Zielserver weiterleitet und die Antworten zurückgibt. Bei HTTPS-Seiten verwendet der Client die CONNECT-Methode, um einen Tunnel durch den Proxy zu öffnen, der dann den verschlüsselten Datenverkehr weiterleitet, ohne ihn lesen zu können.
Ein HTTP-Proxy kann unverschlüsselten HTTP-Datenverkehr, der durch ihn hindurchgeht, lesen und sogar modifizieren, weshalb sensible Daten über HTTPS übertragen werden sollten, wo der Proxy nur den verschlüsselten Datenverkehr tunnelt.
Wie ein HTTP-Proxy eine Anfrage verarbeitet
- Der Client sendet seine Anfrage an den Proxy anstelle der Website. Für einfaches HTTP verwendet er die vollständige Ziel-URL; für HTTPS sendet er eine
CONNECT host:443-Anfrage. - Wenn der Proxy eine Anmeldung erfordert, fügt der Client einen
Proxy-Authorization-Header hinzu. - Für HTTP leitet der Proxy die Anfrage an das Ziel weiter. Bei CONNECT antwortet er mit einem 2xx-Status und wechselt in den Tunnelmodus.
- Die Antwort reist durch den Proxy zurück zum Client.
Vorwärts-, Rückwärts- und Transparente HTTP-Proxys
- Vorwärts-Proxy: handelt für Clients und kann deren Identität vor Websites verbergen. Benutzer können einen einrichten, um ihre IP-Adresse beim Surfen zu verbergen.
- Rückwärts-Proxy: handelt im Auftrag von Webservern und übernimmt Aufgaben wie Lastverteilung und Caching von statischen Inhalten.
- Transparenter (abfangender) Proxy: wird im Netzwerkpfad platziert, sodass Clients ihn nicht konfigurieren und möglicherweise nicht wissen, dass er vorhanden ist.
HTTP-Proxy vs. SOCKS5-Proxy
| HTTP-Proxy | SOCKS5-Proxy | |
|---|---|---|
| Was er versteht | HTTP-Anfragen und -Antworten | Nichts über der Transportschicht; er leitet Daten weiter, ohne sie als HTTP zu lesen |
| Verkehr, den er transportiert | Webverkehr, wobei HTTPS durch einen CONNECT-Tunnel geleitet wird | TCP und UDP für jede App, die SOCKS unterstützt |
Kann Header wie Via hinzufügen | Ja | Nein |
| In curl | Standardtyp, wenn der Proxy kein Schema hat | Mit einer socks5://- oder socks5h://-Proxy-URL festgelegt |
Caching
Einige HTTP-Proxys speichern Antworten, um den Datenverkehr, der ein Netzwerk verlässt, zu reduzieren. MDN nennt diese Proxy-Caches, eine Art gemeinsamer Cache. Websites kennzeichnen personalisierte Antworten mit Cache-Control: private, damit gemeinsame Caches sie nicht speichern. HTTPS-Antworten werden normalerweise in einem Tunnel durch einen Proxy geleitet, sodass der Proxy in vielen Fällen sie nicht cachen kann.
Was es für Web-Scraping bedeutet
- HTTP ist oft der Standard: curl behandelt einen ohne Schema angegebenen Proxy, wie
proxy.example.com:8080, als HTTP-Proxy. Siehe Proxy-Einstellungen, wo Clients dies speichern. - Header können den Proxy offenbaren: Proxys können einen
Via-Header hinzufügen, und einige fügen X-Forwarded-For mit der ursprünglichen Client-IP hinzu. Überprüfen Sie, was ein Proxy sendet, bevor Sie sich darauf verlassen, dass er Ihre Adresse verbirgt.