Ang HTTP proxy ay isang server na tumatanggap ng mga HTTP request mula sa kliyente, ipinapasa ito sa destination server, at ibinabalik ang mga response. Para sa mga HTTPS na site, gumagamit ang kliyente ng CONNECT method upang magbukas ng tunnel sa pamamagitan ng proxy, na pagkatapos ay nagre-relay ng encrypted traffic nang hindi ito nababasa.

Ang HTTP proxy ay makakabasa at kahit na maaring baguhin ang unencrypted HTTP traffic na dumadaan dito, kaya't ang sensitibong data ay dapat dumaan sa HTTPS, kung saan ang proxy ay nagtu-tunnel lamang ng encrypted traffic.

Paano Nagha-handle ng Request ang HTTP Proxy

  1. Ang kliyente ay nagpapadala ng request nito sa proxy sa halip na sa website. Para sa plain HTTP, ginagamit nito ang buong target URL; para sa HTTPS, nagpapadala ito ng CONNECT host:443 request.
  2. Kung ang proxy ay nangangailangan ng login, idinadagdag ng kliyente ang Proxy-Authorization header.
  3. Para sa HTTP, ipinapasa ng proxy ang request sa destination. Para sa CONNECT, tumutugon ito ng 2xx status at lumilipat sa tunnel mode.
  4. Ang response ay bumabalik sa pamamagitan ng proxy papunta sa kliyente.

Forward, Reverse at Transparent HTTP Proxies

  • Forward proxy: kumikilos para sa mga kliyente at maaring itago ang kanilang pagkakakilanlan mula sa mga website. Maaaring mag-set up ang mga user ng isa upang itago ang kanilang IP address habang nagba-browse.
  • Reverse proxy: kumikilos sa ngalan ng mga web server, humahawak ng mga trabaho tulad ng load balancing at caching ng static content.
  • Transparent (intercepting) proxy: inilalagay sa network path, kaya't hindi ito kinakailangan i-configure ng mga kliyente at maaaring hindi nila alam na nandiyan ito.

HTTP Proxy vs. SOCKS5 Proxy

HTTP proxySOCKS5 proxy
Ano ang naiintindihan nitoHTTP requests at responsesWala sa itaas ng transport layer; nagre-relay ng data nang hindi ito binabasa bilang HTTP
Traffic na dinadala nitoWeb traffic, na may HTTPS na dumadaan sa CONNECT tunnelTCP at UDP para sa anumang app na sumusuporta sa SOCKS
Maaaring magdagdag ng headers tulad ng ViaOoHindi
Sa curlDefault type kapag ang proxy ay walang schemeItinatakda gamit ang socks5:// o socks5h:// proxy URL

Caching

Ang ilang HTTP proxies ay nag-iimbak ng mga response upang mabawasan ang traffic na umaalis sa isang network. Tinatawag ito ng MDN na proxy caches, isang uri ng shared cache. Minamarkahan ng mga site ang personalized responses gamit ang Cache-Control: private upang hindi ito maiimbak ng shared caches. Karaniwang dumadaan ang mga HTTPS responses sa proxy sa isang tunnel, kaya sa maraming kaso, hindi ito ma-cache ng proxy.

Ano ang Kahulugan Nito para sa Web Scraping

  • HTTP ay kadalasang default: itinuturing ng curl ang proxy na ibinigay nang walang scheme, tulad ng proxy.example.com:8080, bilang HTTP proxy. Tingnan ang proxy settings para sa kung saan iniimbak ito ng mga kliyente.
  • Maaaring ibunyag ng mga headers ang proxy: maaaring magdagdag ang mga proxy ng Via header, at ang ilan ay nagdadagdag ng X-Forwarded-For kasama ang orihinal na client IP. Suriin kung ano ang ipinapadala ng proxy bago umasa na itinatago nito ang iyong address.

Kaugnay na Mga Termino