ویب اسکرپنگ ویب سائٹس سے ڈیٹا کا خودکار استخراج ہے: ایک پروگرام صفحات کی درخواست کرتا ہے، واپس آنے والے HTML یا JSON کو پارس کرتا ہے، اور مخصوص فیلڈز، جیسے قیمتیں یا فہرستیں، کو منظم شکل میں محفوظ کرتا ہے۔ یہ ویب کرالنگ سے مختلف ہے، جو صفحات کو دریافت اور انڈیکس کرنے کے لیے لنکس کی پیروی کرتا ہے؛ اسکرپنگ fetched صفحات سے مخصوص ڈیٹا نکالتی ہے۔

ایک بنیادی اسکرپر ایک ہدف URL کو HTTP درخواست بھیجتا ہے، خام HTML (یا API پر مبنی سائٹس کے لیے JSON) وصول کرتا ہے، اور درکار مخصوص ڈیٹا پوائنٹس کو پارس کرتا ہے: مصنوعات کی قیمتیں، تلاش کی درجہ بندیاں، رابطے کی معلومات، اور اسی طرح کی چیزیں۔ بڑے پیمانے پر، اسکرپنگ کی رفتار کی حدود کا سامنا کرتی ہے، جو یہ طے کرتی ہیں کہ ایک ہی IP ایڈریس ایک دیے گئے وقت کی مدت میں کتنی درخواستیں کر سکتا ہے۔

ویب اسکرپنگ ٹولز کی اقسام

  • کوڈ لائبریریاں: اسکرپٹس جو HTTP درخواستیں بھیجتے ہیں اور HTML کو پارس کرتے ہیں، مثال کے طور پر Python کے ساتھ HTML پارسر۔
  • براؤزر کی خودکار کاری: ایسے ٹولز جیسے Selenium یا Playwright مکمل صفحہ لوڈ کرتے ہیں، بشمول جاوا اسکرپٹ سے بنائی گئی مواد، پھر رینڈر کردہ DOM سے ڈیٹا نکالتے ہیں۔
  • سرکاری APIs: جہاں ایک سائٹ ایک فراہم کرتی ہے، یہ براہ راست منظم ڈیٹا واپس کرتی ہے، بغیر HTML پارس کیے۔

عام اینٹی اسکرپنگ اقدامات

رفتار کی حدود کے علاوہ، سائٹس اسکرپرز کو تلاش کرنے اور سست کرنے کے لیے دیگر طریقے استعمال کرتی ہیں:

  • CAPTCHAs جو وزیٹر سے پوچھتے ہیں کہ وہ یہ ثابت کریں کہ وہ انسان ہیں۔
  • robots.txt فائلیں جو بیان کرتی ہیں کہ خودکار کرالرز کون سے راستوں تک رسائی حاصل کر سکتے ہیں۔
  • ہنی پاٹس: پوشیدہ لنکس جو انسانی وزیٹر کبھی نہیں دیکھتے یا کلک نہیں کرتے، جو بوٹس کی شناخت اور فنگر پرنٹنگ کے لیے استعمال ہوتے ہیں۔
  • ڈیوائس فنگر پرنٹنگ، جو ایک براؤزر یا ڈیوائس کی خصوصیات سے دوبارہ شناخت کر سکتی ہے، یہاں تک کہ جب کوکیز صاف کی جائیں یا جب VPN استعمال کیا جائے۔

متعلقہ اصطلاحات