تعدين الويب هو الاستخراج الآلي للبيانات من المواقع: حيث يطلب برنامج صفحات، ويحلل HTML أو JSON المعاد، ويخزن حقول محددة، مثل الأسعار أو القوائم، في تنسيق منظم. يختلف عن الزحف على الويب، الذي يتبع الروابط لاكتشاف وفهرسة الصفحات؛ حيث يقوم التعدين بسحب بيانات محددة من الصفحات التي تم جلبها.
يرسل جهاز التعدين الأساسي طلب HTTP إلى عنوان URL المستهدف، ويتلقى HTML الخام (أو JSON، لمواقع تعتمد على API)، ويحلل نقاط البيانات المحددة المطلوبة: أسعار المنتجات، تصنيفات البحث، معلومات الاتصال، وما شابه. على نطاق واسع، يواجه التعدين حدود معدل، والتي تحدد عدد الطلبات التي يمكن أن يقدمها عنوان IP واحد في نافذة زمنية معينة.
أنواع أدوات تعدين الويب
- مكتبات الشيفرة: سكريبتات ترسل طلبات HTTP وتحلل HTML، على سبيل المثال بايثون مع محلل HTML.
- أتمتة المتصفح: أدوات مثل Selenium أو Playwright تقوم بتحميل الصفحة بالكامل، بما في ذلك المحتوى المبني على JavaScript، ثم تستخرج البيانات من DOM المعروض.
- APIs الرسمية: حيث يقدم الموقع واحدًا، فإنه يعيد البيانات المنظمة مباشرة، دون الحاجة إلى تحليل HTML.
تدابير مكافحة التعدين الشائعة
بجانب حدود المعدل، تستخدم المواقع طرقًا أخرى لرصد وإبطاء أجهزة التعدين:
- CAPTCHAs التي تطلب من الزائر إثبات أنه إنسان.
- ملفات robots.txt التي تحدد المسارات التي يمكن لزواحف الأتمتة الوصول إليها.
- Honeypots: روابط مخفية لا يراها أو ينقر عليها الزوار البشر، تُستخدم لتحديد بصمات الروبوتات.
- بصمة الجهاز، التي يمكن أن تعيد تحديد متصفح أو جهاز من خصائصه، حتى بعد مسح الكوكيز أو عند استخدام VPN.