একটি স্ক্র্যাপার এপিআই হল একটি হোস্টেড পরিষেবা যা আপনার জন্য একটি ওয়েব পৃষ্ঠা নিয়ে আসে এবং একটি এপিআই কলের মাধ্যমে এর বিষয়বস্তু ফেরত দেয়। আপনি লক্ষ্য URL পাঠান। পরিষেবাটি প্রক্সি, ব্রাউজার রেন্ডারিং এবং অ্যান্টি-বট ব্যবস্থা পরিচালনা করে, তারপর HTML বা কাঠামোবদ্ধ JSON ফেরত দেয়। কিছু পরিষেবা পৃষ্ঠাটি নামকৃত ক্ষেত্রগুলিতে পার্স করে, যেমন একটি পণ্যের শিরোনাম এবং মূল্য।
কিছু স্ক্র্যাপার এপিআই প্রতি অনুরোধে মূল্য নির্ধারণ করে এবং শুধুমাত্র সফল প্রতিক্রিয়ার জন্য চার্জ করে। কিছু অভ্যন্তরীণভাবে নিষেধাজ্ঞাগুলি পরিচালনা করে, যখন তারা একটি যুক্তিসঙ্গত সময়ে নিষেধাজ্ঞা এড়াতে পারে না তখনই নিষেধাজ্ঞার প্রতিক্রিয়া ফেরত দেয়।
একটি স্ক্র্যাপার এপিআই অনুরোধ কিভাবে কাজ করে
- অনুরোধ: পরিষেবার এন্ডপয়েন্টে আপনার এপিআই কী সহ লক্ষ্য URL পাঠান, যা একটি কোয়েরি প্যারামিটার বা HTTP প্রমাণীকরণ হেডারে যায় পরিষেবা অনুযায়ী।
- বিকল্প: প্যারামিটারগুলি জাভাস্ক্রিপ্ট রেন্ডারিং চালু করতে, অনুরোধটি কোন দেশ থেকে আসছে তা নির্বাচন করতে, বা একাধিক অনুরোধের মধ্যে একটি সেশন পুনরায় ব্যবহার করতে সক্ষম করে।
- প্রতিক্রিয়া: পরিষেবাটি কাঁচা HTML, ব্রাউজার-রেন্ডার করা HTML, একটি স্ক্রীনশট বা নিষ্কাশিত কাঠামোবদ্ধ তথ্য ফেরত দেয়।
- অ্যাসিঙ্ক জবস: বড় ব্যাচের জন্য, কিছু পরিষেবা একটি কাজ গ্রহণ করে, একটি স্ট্যাটাস URL ফেরত দেয় চেক করার জন্য, এবং ফলাফল একটি ওয়েবহুক এ পাঠাতে পারে।
স্ক্র্যাপার এপিআই বনাম অফিসিয়াল এপিআই
একটি অফিসিয়াল এপিআই হল ওয়েবসাইটের মালিক দ্বারা প্রোগ্রাম্যাটিক অ্যাক্সেসের জন্য প্রকাশিত। এটি একটি ডকুমেন্টেড ফরম্যাটে তথ্য ফেরত দেয় এবং স্পষ্ট সীমা সেট করে। উদাহরণস্বরূপ, GitHub-এর REST API প্রতি ঘণ্টায় 60 অপ্রমাণিত অনুরোধ এবং একটি প্রমাণিত ব্যবহারকারীর জন্য প্রতি ঘণ্টায় 5,000 অনুমতি দেয়। একটি স্ক্র্যাপার এপিআই পরিবর্তে মানব ব্রাউজারের জন্য নির্মিত পৃষ্ঠাগুলি থেকে কাজ করে। এটি পাবলিক ডেটাতে পৌঁছাতে পারে যা কোন অফিসিয়াল এপিআই অফার করে না।