Ang rotating proxy ay isang serbisyo ng proxy na awtomatikong nagbabago ng outgoing IP address, kumukuha ng bago mula sa pool para sa bawat request, bawat bagong koneksyon o bawat time window.

Kumokonekta ka sa isang gateway address, at pinipili ng provider ang exit IP na nakikita ng mga target na site. Ang "Rotating" ay naglalarawan kung paano nagbabago ang IP, hindi kung saan ito nagmumula: ang pool ay maaaring maglaman ng residential, datacenter, mobile o ISP addresses.

Paano Gumagana ang Rotating Proxy

  1. Ang iyong client ay nagpapadala ng traffic sa isang gateway host at proxy port, kadalasang may username at password.
  2. Pinipili ng gateway ang exit IP mula sa proxy pool at kumokonekta sa target site mula sa address na iyon.
  3. Nakikita lamang ng target ang exit IP. Sa susunod na request, koneksyon o time window, maaaring pumili ang gateway ng iba.

Mga Paraan ng Rotasyon

  • Per request o per connection: bawat bagong request o koneksyon ay nakakakuha ng bagong exit IP. Angkop ito para sa stateless na page fetches.
  • Timed rotation: isang IP ang pinananatili sa loob ng takdang panahon, tulad ng ilang minuto, bago palitan.
  • Sticky sessions: ang sticky session ay humahawak ng isang IP para sa buong session, kaya ang mga login, carts at multi-step forms ay patuloy na gumagana.

Per Request Kadalasang Nangangahulugan ng Per Connection

Ang HTTPS traffic sa pamamagitan ng proxy ay tumatakbo sa loob ng isang tunnel na binuksan gamit ang HTTP CONNECT method. Ang proxy ay pagkatapos ay nagpapasa ng data nang bulag sa parehong direksyon hanggang sa magsara ang tunnel, kaya bawat request na ipinadala sa isang bukas na tunnel ay umaabot sa site sa pamamagitan ng parehong koneksyon at nagpapakita ng parehong exit IP.

Karamihan sa mga HTTP client ay nagpapanatili rin ng mga koneksyon na bukas at ginagamit ang mga ito para sa mga susunod na request, na kilala bilang persistent o keep-alive connections. Ang HTTP/2 ay mas malayo pa at nagmumultiplex ng maraming request sa isang solong koneksyon. Kung ang iyong scraper ay muling gumagamit ng mga koneksyon, maraming request ang maaaring magbahagi ng isang IP kahit sa isang per-request plan. Upang makakuha ng bagong IP sa bawat pagkakataon, isara ang koneksyon pagkatapos ng bawat request o patayin ang connection reuse sa iyong HTTP client.

Rotating vs. Static Proxy

Rotating ProxyStatic Proxy
Exit IPNagbabago sa bawat request, koneksyon o time windowNanatiling pareho
Session continuityKailangan ng sticky sessionsNakabuilt-in
Request load per IPNakakalat sa poolLahat sa isang IP
Typical fitMalalaking crawls, rank tracking, price checks sa maraming pahinaLogins, account work, IP allowlists

Tingnan ang static proxy para sa mga pagkakataon kung kailan mas magandang pumili ng fixed IP.

Mga Uri ng Rotating Proxies

Ang rotasyon ay maaaring tumakbo sa anumang uri ng IP:

  • Residential: mga home IP na itinalaga ng mga consumer ISPs.
  • Datacenter: mga IP mula sa mga hosting provider, na nak grouped sa ilalim ng hosting ASNs.
  • Mobile: mga carrier IP na kadalasang ibinabahagi ng maraming gumagamit ng telepono.
  • ISP: mga IP na nakarehistro sa mga consumer ISPs ngunit naka-host sa mga data centers.

Ano ang Kahulugan Nito para sa Web Scraping

  • Ang rotasyon ay nagpapakalat ng per-IP counts: sa mga Free at Pro plans ng Cloudflare, ang rate limiting rules ay binibilang ang mga request ayon sa IP lamang. Ang pagpapakalat ng mga request sa isang pool ay nagpapanatili ng mas mababang bilang para sa bawat IP. Tingnan ang rate limiting.
  • I-match ang method sa trabaho: gumamit ng per-request rotation para sa mga independent na pahina, tulad ng mga search results para sa rank tracking. Gumamit ng sticky session para sa anumang nakadepende sa login o session cookie.

Mga Limitasyon ng Rotating Proxies

Ang rotation ay nagbabago lamang ng iyong IP. Ang mga cookies, account logins, at browser fingerprinting ay maaari pa ring makilala ka. Ang W3C's fingerprinting guidance ay nagtuturo na ang mga gumagamit ng Tor, na nagbabago ng kanilang network route, ay maaari pa ring maiugnay sa pamamagitan ng browser fingerprinting, at ang paggamit ng VPN ay hindi rin nakakapigil dito.

  • Ang rate limits ay hindi palaging per IP: sa mga Enterprise plans ng Cloudflare na may Advanced Rate Limiting, ang mga patakaran ay maaaring bilangin ang mga request batay sa IP, ngunit pati na rin sa header, cookie o query parameter values, ASN, bansa, JA3/JA4 TLS fingerprint o JWT claims. Ang bagong IP ay hindi nag-reset ng limit na nakabatay sa mga iyon.
  • Ang pagbabago ng IP sa gitna ng session ay maaaring magtapos ng session: Inirerekomenda ng OWASP na i-bind ang isang session sa mga properties ng client tulad ng IP address, at ituring ang isang pagbabago sa isang itinatag na session bilang posibleng senyales ng hijacking na maaaring i-alerto o itigil. Ang sticky session ay nagpapanatili ng isang IP sa loob ng isang takdang panahon, na iniiwasan ito.
  • Walang karagdagang encryption: ang rotation ay hindi nag-eencrypt ng traffic sa sarili nito. Ang mga HTTPS na site ay nananatiling encrypted mula simula hanggang dulo dahil ang proxy ay nagre-relay lamang ng mga bytes ng tunnel.

Mga Kaugnay na Termino