Ang HTTP proxy ay isang server na tumatanggap ng mga HTTP request mula sa kliyente, ipinapasa ito sa destination server, at ibinabalik ang mga response. Para sa mga HTTPS na site, gumagamit ang kliyente ng CONNECT method upang magbukas ng tunnel sa pamamagitan ng proxy, na pagkatapos ay nagre-relay ng encrypted traffic nang hindi ito nababasa.
Ang HTTP proxy ay makakabasa at kahit na maaring baguhin ang unencrypted HTTP traffic na dumadaan dito, kaya't ang sensitibong data ay dapat dumaan sa HTTPS, kung saan ang proxy ay nagtu-tunnel lamang ng encrypted traffic.
Paano Nagha-handle ng Request ang HTTP Proxy
- Ang kliyente ay nagpapadala ng request nito sa proxy sa halip na sa website. Para sa plain HTTP, ginagamit nito ang buong target URL; para sa HTTPS, nagpapadala ito ng
CONNECT host:443request. - Kung ang proxy ay nangangailangan ng login, idinadagdag ng kliyente ang
Proxy-Authorizationheader. - Para sa HTTP, ipinapasa ng proxy ang request sa destination. Para sa CONNECT, tumutugon ito ng 2xx status at lumilipat sa tunnel mode.
- Ang response ay bumabalik sa pamamagitan ng proxy papunta sa kliyente.
Forward, Reverse at Transparent HTTP Proxies
- Forward proxy: kumikilos para sa mga kliyente at maaring itago ang kanilang pagkakakilanlan mula sa mga website. Maaaring mag-set up ang mga user ng isa upang itago ang kanilang IP address habang nagba-browse.
- Reverse proxy: kumikilos sa ngalan ng mga web server, humahawak ng mga trabaho tulad ng load balancing at caching ng static content.
- Transparent (intercepting) proxy: inilalagay sa network path, kaya't hindi ito kinakailangan i-configure ng mga kliyente at maaaring hindi nila alam na nandiyan ito.
HTTP Proxy vs. SOCKS5 Proxy
| HTTP proxy | SOCKS5 proxy | |
|---|---|---|
| Ano ang naiintindihan nito | HTTP requests at responses | Wala sa itaas ng transport layer; nagre-relay ng data nang hindi ito binabasa bilang HTTP |
| Traffic na dinadala nito | Web traffic, na may HTTPS na dumadaan sa CONNECT tunnel | TCP at UDP para sa anumang app na sumusuporta sa SOCKS |
Maaaring magdagdag ng headers tulad ng Via | Oo | Hindi |
| Sa curl | Default type kapag ang proxy ay walang scheme | Itinatakda gamit ang socks5:// o socks5h:// proxy URL |
Caching
Ang ilang HTTP proxies ay nag-iimbak ng mga response upang mabawasan ang traffic na umaalis sa isang network. Tinatawag ito ng MDN na proxy caches, isang uri ng shared cache. Minamarkahan ng mga site ang personalized responses gamit ang Cache-Control: private upang hindi ito maiimbak ng shared caches. Karaniwang dumadaan ang mga HTTPS responses sa proxy sa isang tunnel, kaya sa maraming kaso, hindi ito ma-cache ng proxy.
Ano ang Kahulugan Nito para sa Web Scraping
- HTTP ay kadalasang default: itinuturing ng curl ang proxy na ibinigay nang walang scheme, tulad ng
proxy.example.com:8080, bilang HTTP proxy. Tingnan ang proxy settings para sa kung saan iniimbak ito ng mga kliyente. - Maaaring ibunyag ng mga headers ang proxy: maaaring magdagdag ang mga proxy ng
Viaheader, at ang ilan ay nagdadagdag ng X-Forwarded-For kasama ang orihinal na client IP. Suriin kung ano ang ipinapadala ng proxy bago umasa na itinatago nito ang iyong address.