واجهة برمجة التطبيقات (API) هي مجموعة محددة من القواعد التي تسمح لقطعة من البرمجيات بالتواصل مع أخرى، مما يسمح للتطبيقات بطلب وتبادل البيانات بتنسيق منظم، مثل JSON، دون الحاجة إلى تحليل HTML الخام. عندما يقوم موقع بتحميل بياناته من واجهة برمجة التطبيقات، فإن وثائق Scrapy تشير إلى أن إعادة إنتاج تلك الطلبات هي الطريقة المفضلة، لأنها توفر بيانات منظمة وكاملة مع الحد الأدنى من وقت التحليل.
على الويب، "واجهة برمجة التطبيقات" تعني عادة واجهة برمجة التطبيقات على الويب: مجموعة من عناوين URL، تُسمى نقاط النهاية، التي تقبل طلبات HTTP وتعيد البيانات بدلاً من الصفحات.
كيف يعمل طلب واجهة برمجة التطبيقات
- العميل يستدعي نقطة النهاية: يرسل طلب HTTP، مثل
GET، إلى عنوان URL محدد. - يتبع مخطط واجهة برمجة التطبيقات: يجب أن يستخدم الطلب المعلمات والتنسيق الذي تتوقعه واجهة برمجة التطبيقات، أو لن يتمكن الخادم من إعادة إجابة قابلة للاستخدام.
- يثبت هويته: تتطلب العديد من واجهات برمجة التطبيقات مفتاح API أو رمز وصول من OAuth.
- الخادم يستجيب: يعيد البيانات، غالبًا بتنسيق JSON، بالإضافة إلى رمز حالة مثل
200للنجاح أو429عندما تم إرسال الكثير من الطلبات.
الأنواع الشائعة من واجهات برمجة التطبيقات
- REST: نمط معماري لخدمات الويب. تشير Cloudflare إلى أن معظم واجهات برمجة التطبيقات اليوم هي واجهات REST.
- SOAP: بروتوكول رسائل، بدلاً من نمط مثل REST.
- GraphQL: لغة استعلام لواجهات برمجة التطبيقات. يقول موقعها الرسمي إن العملاء يمكنهم طلب الحقول التي يحتاجونها بالضبط والحصول على البيانات ذات الصلة في طلب واحد.
- Webhooks: يستدعي الخادم عنوان URL الخاص بك عندما يحدث حدث، بدلاً من أن تسأل أنت. انظر webhook.
واجهة برمجة التطبيقات مقابل استخراج البيانات من الويب
| واجهة برمجة التطبيقات الرسمية | استخراج البيانات من الويب | |
|---|---|---|
| ما تحصل عليه | بيانات منظمة، غالبًا JSON | HTML مصمم للناس |
| الحدود | موثقة، مثل 60 طلب غير مصادق عليه أو 5000 طلب مصادق عليه في الساعة من GitHub | غير منشورة، على الرغم من أن المواقع لا تزال يمكن أن تحد من المعدل |
| التنسيق | محدد بواسطة مخطط واجهة برمجة التطبيقات | أيًا كان ما يحدث أن يكون HTML الصفحة |
| التغطية | فقط البيانات التي يختارها المالك للكشف عنها | أي شيء يظهر على الصفحات العامة |
بعض مزودي البروكسي واستخراج البيانات يقدمون "واجهات برمجة التطبيقات الخاصة بالزاحف" التي تجمع بين بنية البروكسي مع التحليل المدمج، مما يحول فعليًا موقعًا غير منظم إلى استجابة واجهة برمجة تطبيقات منظمة نيابة عن العميل.
العديد من المواقع لديها واجهة برمجة تطبيقات مخفية
الصفحات التي تحمل المحتوى باستخدام JavaScript غالبًا ما تجلبه من واجهة برمجة التطبيقات الخاصة بالموقع. توصي وثائق Scrapy بالبحث عن هذا الطلب في أداة الشبكة في متصفحك وإعادة إنتاجه. أحيانًا تكون نفس طريقة HTTP وعنوان URL كافية. في أحيان أخرى تحتاج أيضًا إلى رؤوسه، أو جسمه، أو معلمات النموذج. إذا كانت الاستجابة بتنسيق JSON، يمكنك تحميلها مباشرة بدلاً من تحليل HTML.
أعد المحاولة فقط الطلبات التي يمكن تكرارها بأمان
تختلف طرق HTTP في ما يحدث إذا تم إرسال طلب مرتين. تعرف MDN الطريقة على أنها متطابقة عندما يكون للعديد من الطلبات المتماثلة نفس التأثير المقصود كواحد:
- آمن للتكرار:
GET،HEAD،OPTIONS،PUTوDELETEهي متطابقة. - غير مضمونة:
POSTوPATCHليست كذلك، لذا فإن إعادة محاولةPOSTفاشلة يمكن أن تخلق طلبًا مكررًا، أو رسالة، أو سجل. - إصلاح قيد التقدم: مسودة IETF تعرف رأس
Idempotency-Keyالذي يسمح للخوادم بالتعرف على إعادة المحاولات لنفسPOST. تسرد Stripe وAdyen وآخرين كمن يستخدمون رأسًا مشابهًا بالفعل.
ماذا يعني ذلك لاستخراج البيانات من الويب
- تحقق من وجود واجهة برمجة التطبيقات أولاً: عادةً ما توفر واجهة برمجة التطبيقات الرسمية أو المخفية بيانات أنظف من HTML.
- احترم الحدود الموثقة: ينطبق الحد الأعلى من GitHub على المستخدم المصادق عليه، لذا فإنه يتبع الحساب، وليس عنوان IP.
- أعد المحاولة للقراءات، وليس الكتابات: تعتبر إعادة المحاولات التلقائية الأكثر أمانًا على طلبات
GET.