একটি রোটেটিং প্রক্সি হল একটি প্রক্সি পরিষেবা যা স্বয়ংক্রিয়ভাবে বহির্গামী আইপি ঠিকানা পরিবর্তন করে, প্রতিটি অনুরোধ, প্রতিটি নতুন সংযোগ বা প্রতিটি সময়ের জন্য একটি নতুন আইপি একটি পুল থেকে নিয়ে আসে।

আপনি একটি গেটওয়ে ঠিকানায় সংযোগ করেন, এবং প্রদানকারী লক্ষ্য সাইটগুলি যে এক্সিট আইপি দেখে তা নির্বাচন করে। "রোটেটিং" বর্ণনা করে কিভাবে আইপি পরিবর্তিত হয়, এটি কোথা থেকে আসে তা নয়: পুলে আবাসিক, ডেটাসেন্টার, মোবাইল বা আইএসপি ঠিকানা থাকতে পারে।

একটি রোটেটিং প্রক্সি কিভাবে কাজ করে

  1. আপনার ক্লায়েন্ট একটি গেটওয়ে হোস্ট এবং প্রক্সি পোর্ট এ ট্রাফিক পাঠায়, সাধারণত একটি ব্যবহারকারীর নাম এবং পাসওয়ার্ড সহ।
  2. গেটওয়ে তার প্রক্সি পুল থেকে একটি এক্সিট আইপি নির্বাচন করে এবং সেই ঠিকানা থেকে লক্ষ্য সাইটের সাথে সংযোগ করে।
  3. লক্ষ্যটি কেবল এক্সিট আইপি দেখে। পরবর্তী অনুরোধ, সংযোগ বা সময়ের জন্য, গেটওয়ে একটি ভিন্ন আইপি নির্বাচন করতে পারে।

রোটেশন পদ্ধতি

  • প্রতি অনুরোধ বা প্রতি সংযোগ: প্রতিটি নতুন অনুরোধ বা সংযোগ একটি নতুন এক্সিট আইপি পায়। এটি স্টেটলেস পৃষ্ঠা ফেচের জন্য উপযুক্ত।
  • টাইমড রোটেশন: একটি আইপি একটি নির্দিষ্ট সময়ের জন্য রাখা হয়, যেমন কয়েক মিনিট, তারপর প্রতিস্থাপন করা হয়।
  • স্টিকি সেশন: একটি স্টিকি সেশন পুরো সেশনের জন্য একটি আইপি ধরে রাখে, তাই লগইন, কার্ট এবং মাল্টি-স্টেপ ফর্ম কাজ করতে থাকে।

প্রতি অনুরোধ প্রায়ই প্রতি সংযোগের অর্থ

HTTPS ট্রাফিক একটি প্রক্সির মাধ্যমে একটি টানেল ভিতরে চলে যা HTTP CONNECT পদ্ধতি দিয়ে খোলা হয়। প্রক্সি তারপর অন্ধভাবে উভয় দিকেই ডেটা ফরওয়ার্ড করে যতক্ষণ না টানেল বন্ধ হয়, তাই একটি খোলা টানেলের মাধ্যমে পাঠানো প্রতিটি অনুরোধ একই সংযোগের মাধ্যমে সাইটে পৌঁছে এবং একই এক্সিট আইপি দেখায়।

বেশিরভাগ HTTP ক্লায়েন্টও সংযোগগুলি খোলা রাখে এবং পরে অনুরোধের জন্য সেগুলি পুনরায় ব্যবহার করে, যা স্থায়ী বা কিপ-অলাইভ সংযোগ হিসাবে পরিচিত। HTTP/2 আরও এগিয়ে যায় এবং একটি একক সংযোগের উপর অনেক অনুরোধকে মাল্টিপ্লেক্স করে। যদি আপনার স্ক্র্যাপার সংযোগগুলি পুনরায় ব্যবহার করে, তবে একাধিক অনুরোধ একটি আইপি শেয়ার করতে পারে এমনকি একটি প্রতি-অনুরোধ পরিকল্পনার অধীনে। প্রতিবার একটি নতুন আইপি পেতে, প্রতিটি অনুরোধের পরে সংযোগ বন্ধ করুন বা আপনার HTTP ক্লায়েন্টে সংযোগ পুনরায় ব্যবহার বন্ধ করুন।

রোটেটিং বনাম স্ট্যাটিক প্রক্সি

রোটেটিং প্রক্সিস্ট্যাটিক প্রক্সি
এক্সিট আইপিপ্রতি অনুরোধ, সংযোগ বা সময়ের জন্য পরিবর্তিত হয়একই থাকে
সেশন ধারাবাহিকতাস্টিকি সেশন প্রয়োজনঅন্তর্নির্মিত
প্রতি আইপি অনুরোধের লোডপুলের মধ্যে ছড়িয়ে পড়েএকটি আইপিতে সব
সাধারণ ফিটবড় ক্রল, র‌্যাঙ্ক ট্র্যাকিং, অনেক পৃষ্ঠার মধ্যে মূল্য পরীক্ষালগইন, অ্যাকাউন্ট কাজ, আইপি অনুমতিপত্র

যখন একটি স্থির আইপি ভাল পছন্দ হয় তখন দেখুন স্ট্যাটিক প্রক্সি।

রোটেটিং প্রক্সির প্রকার

রোটেশন যেকোনো আইপি প্রকারে চলতে পারে:

  • আবাসিক: ভোক্তা আইএসপিদের দ্বারা বরাদ্দকৃত বাড়ির আইপি।
  • ডেটাসেন্টার: হোস্টিং প্রদানকারীদের আইপি, হোস্টিং ASN এর অধীনে গোষ্ঠীভুক্ত।
  • মোবাইল: ক্যারিয়ার আইপি যা অনেক ফোন ব্যবহারকারী সাধারণত শেয়ার করে।
  • আইএসপি: ভোক্তা আইএসপিদের জন্য নিবন্ধিত আইপি কিন্তু ডেটা সেন্টারে হোস্ট করা।

ওয়েব স্ক্র্যাপিংয়ের জন্য এর অর্থ

  • রোটেশন প্রতি-আইপি গণনা ছড়িয়ে দেয়: ক্লাউডফ্লেয়ারের ফ্রি এবং প্রো পরিকল্পনায়, রেট লিমিটিং নিয়ম শুধুমাত্র আইপির দ্বারা অনুরোধ গণনা করে। একটি পুলের মধ্যে অনুরোধগুলি ছড়িয়ে দেওয়া প্রতিটি আইপির গণনা কম রাখে। দেখুন রেট লিমিটিং।
  • কাজের জন্য পদ্ধতি মেলান: স্বাধীন পৃষ্ঠাগুলির জন্য প্রতি-অনুরোধ রোটেশন ব্যবহার করুন, যেমন র‌্যাঙ্ক ট্র্যাকিং এর জন্য অনুসন্ধান ফলাফল। লগইন বা সেশন কুকির উপর নির্ভরশীল কিছু জন্য একটি স্টিকি সেশন ব্যবহার করুন।

রোটেটিং প্রোক্সির সীমাবদ্ধতা

রোটেশন শুধুমাত্র আপনার IP পরিবর্তন করে। কুকিজ, অ্যাকাউন্ট লগইন এবং ব্রাউজার ফিঙ্গারপ্রিন্টিং এখনও আপনাকে চিহ্নিত করতে পারে। W3C-এর ফিঙ্গারপ্রিন্টিং নির্দেশিকা উল্লেখ করে যে, টর ব্যবহারকারীরা, যারা তাদের নেটওয়ার্ক রুট পরিবর্তন করে, ব্রাউজার ফিঙ্গারপ্রিন্টিংয়ের মাধ্যমে এখনও সংযুক্ত হতে পারে, এবং একটি VPN ব্যবহার করাও তা প্রতিরোধ করে না।

  • রেট সীমা সবসময় প্রতি IP নয়: ক্লাউডফ্লেয়ারের এন্টারপ্রাইজ পরিকল্পনাগুলিতে উন্নত রেট সীমাবদ্ধতার সাথে, নিয়মগুলি IP দ্বারা অনুরোধ গণনা করতে পারে, তবে হেডার, কুকি বা কোয়েরি প্যারামিটার মান, ASN, দেশ, JA3/JA4 TLS ফিঙ্গারপ্রিন্ট বা JWT দাবি দ্বারা। একটি নতুন IP সেইগুলির উপর ভিত্তি করে একটি সীমা পুনরায় সেট করে না।
  • মধ্য-সেশন IP পরিবর্তন সেশন শেষ করতে পারে: OWASP ক্লায়েন্টের বৈশিষ্ট্যগুলির মতো IP ঠিকানার সাথে একটি সেশন বেঁধে রাখার সুপারিশ করে, এবং একটি প্রতিষ্ঠিত সেশনের সময় পরিবর্তনকে সম্ভাব্য হাইজ্যাকিং চিহ্ন হিসেবে বিবেচনা করে যা সতর্ক করা বা শেষ করা যেতে পারে। একটি স্টিকি সেশন একটি নির্দিষ্ট সময়ের জন্য একটি IP ধরে রাখে, যা এটি এড়ায়।
  • কোন অতিরিক্ত এনক্রিপশন নেই: রোটেশন নিজে ট্রাফিক এনক্রিপ্ট করে না। HTTPS সাইটগুলি শেষ থেকে শেষ পর্যন্ত এনক্রিপ্টেড থাকে কারণ প্রোক্সি কেবল টানেলের বাইটগুলি পুনরায় প্রেরণ করে।

সম্পর্কিত শর্তাবলী