ওয়েব স্ক্র্যাপিং হল ডেটার স্বয়ংক্রিয় নিষ্কাশন ওয়েবসাইট থেকে: একটি প্রোগ্রাম পৃষ্ঠাগুলির জন্য অনুরোধ করে, ফেরত দেওয়া HTML বা JSON বিশ্লেষণ করে এবং নির্দিষ্ট ক্ষেত্রগুলি, যেমন দাম বা তালিকা, একটি কাঠামোগত ফরম্যাটে সংরক্ষণ করে। এটি ওয়েব ক্রলিং থেকে আলাদা, যা লিঙ্ক অনুসরণ করে পৃষ্ঠাগুলি আবিষ্কার এবং সূচিবদ্ধ করে; স্ক্র্যাপিং ফেচ করা পৃষ্ঠাগুলি থেকে নির্দিষ্ট তথ্য বের করে।
একটি মৌলিক স্ক্র্যাপার একটি লক্ষ্য URL-এ HTTP অনুরোধ পাঠায়, কাঁচা HTML (অথবা API-ভিত্তিক সাইটের জন্য JSON) গ্রহণ করে এবং প্রয়োজনীয় নির্দিষ্ট তথ্য পয়েন্টগুলি বিশ্লেষণ করে: পণ্যের দাম, অনুসন্ধান র্যাঙ্কিং, যোগাযোগের তথ্য এবং অনুরূপ। স্কেলে, স্ক্র্যাপিং হার সীমার মুখোমুখি হয়, যা একটি একক IP ঠিকানা একটি নির্দিষ্ট সময়ের মধ্যে কতগুলি অনুরোধ করতে পারে তা সীমাবদ্ধ করে।
ওয়েব স্ক্র্যাপিং টুলের প্রকার
- কোড লাইব্রেরি: স্ক্রিপ্টগুলি যা HTTP অনুরোধ পাঠায় এবং HTML বিশ্লেষণ করে, যেমন HTML বিশ্লেষক সহ পাইথন।
- ব্রাউজার স্বয়ংক্রিয়করণ: সেলেনিয়াম বা প্লে রাইটের মতো টুলগুলি সম্পূর্ণ পৃষ্ঠা লোড করে, জাভাস্ক্রিপ্ট-নির্মিত সামগ্রী সহ, তারপর রেন্ডার করা DOM থেকে তথ্য নিষ্কাশন করে।
- অফিশিয়াল API: যেখানে একটি সাইট একটি অফার করে, এটি সরাসরি কাঠামোগত তথ্য ফেরত দেয়, HTML বিশ্লেষণের প্রয়োজন ছাড়াই।
সাধারণ অ্যান্টি-স্ক্র্যাপিং ব্যবস্থা
হার সীমার পাশাপাশি, সাইটগুলি স্ক্র্যাপারগুলি চিহ্নিত এবং ধীর করার জন্য অন্যান্য উপায় ব্যবহার করে:
- CAPTCHA যা দর্শককে প্রমাণ করতে বলে যে তারা মানব।
- robots.txt ফাইলগুলি যা বলে যে কোন পথগুলি স্বয়ংক্রিয় ক্রলারগুলি অ্যাক্সেস করতে পারে।
- হানিপটস: লুকানো লিঙ্ক যা মানব দর্শক কখনও দেখে না বা ক্লিক করে না, বটগুলি চিহ্নিত এবং আঙুলের ছাপ দেওয়ার জন্য ব্যবহৃত হয়।
- ডিভাইস ফিঙ্গারপ্রিন্টিং, যা একটি ব্রাউজার বা ডিভাইসকে তার বৈশিষ্ট্যগুলির ভিত্তিতে পুনরায় চিহ্নিত করতে পারে, এমনকি যখন কুকিজ মুছে ফেলা হয় বা একটি VPN ব্যবহার করা হয়।