واجهة برمجة التطبيقات الخاصة بالزاحف هي خدمة مستضافة تقوم بجلب صفحة ويب لك وإرجاع محتواها من خلال استدعاء API واحد. تقوم بإرسال عنوان URL المستهدف. تتولى الخدمة إدارة الوكلاء، وعرض المتصفح، وتدابير مكافحة الروبوتات، ثم تعيد HTML أو JSON منظم. بعض الخدمات تقوم أيضًا بتحليل الصفحة إلى حقول مسماة، مثل عنوان المنتج وسعره.

تسعر بعض واجهات برمجة التطبيقات الخاصة بالزاحف حسب الطلب وتفرض رسومًا فقط على الاستجابات الناجحة. كما أن بعض الخدمات تتعامل مع الحظر داخليًا، حيث تعيد استجابة حظر فقط عندما لا يمكنها تجنب الحظر في وقت معقول.

كيف تعمل طلبات واجهة برمجة التطبيقات الخاصة بالزاحف

  • الطلب: أرسل عنوان URL المستهدف إلى نقطة نهاية الخدمة مع مفتاح API الخاص بك، والذي يتم تضمينه في معلمة استعلام أو في رأس مصادقة HTTP حسب الخدمة.
  • الخيارات: يمكن أن تقوم المعلمات بتفعيل عرض JavaScript، واختيار البلد الذي يأتي منه الطلب، أو إعادة استخدام جلسة عبر عدة طلبات.
  • الاستجابة: تعيد الخدمة HTML الخام، أو HTML المعروض في المتصفح، أو لقطة شاشة أو بيانات مستخرجة منظمة.
  • وظائف غير متزامنة: بالنسبة للدفعات الكبيرة، تقبل بعض الخدمات وظيفة، وتعيد عنوان URL للحالة للتحقق، ويمكنها إرسال النتائج إلى ويب هوك.

واجهة برمجة التطبيقات الخاصة بالزاحف مقابل واجهة برمجة التطبيقات الرسمية

واجهة برمجة التطبيقات الرسمية هي التي تنشرها مالك الموقع للوصول البرمجي. تعيد البيانات بتنسيق موثق وتحدد حدودًا صريحة. على سبيل المثال، تسمح واجهة برمجة التطبيقات REST الخاصة بـ GitHub بـ 60 طلبًا غير مصادق عليه في الساعة و5,000 في الساعة لمستخدم مصادق عليه. بينما تعمل واجهة برمجة التطبيقات الخاصة بالزاحف من الصفحات المصممة لمتصفحات البشر. يمكنها الوصول إلى البيانات العامة التي لا تقدمها أي واجهة برمجة تطبيقات رسمية.

المصطلحات ذات الصلة