Une API de scraping est un service hébergé qui récupère une page web pour vous et renvoie son contenu via un appel API. Vous envoyez l'URL cible. Le service gère les proxies, le rendu du navigateur et les mesures anti-bot, puis renvoie du HTML ou du JSON structuré. Certains services analysent également la page en champs nommés, tels que le titre et le prix d'un produit.

Certains API de scraping sont tarifés par requête et ne facturent que les réponses réussies. D'autres gèrent également les interdictions en interne, renvoyant une réponse d'interdiction uniquement lorsqu'ils ne peuvent pas éviter l'interdiction dans un délai raisonnable.

Comment fonctionne une requête d'API de scraping

  • Requête : Envoyez l'URL cible à l'endpoint du service avec votre clé API, qui se trouve dans un paramètre de requête ou un en-tête d'authentification HTTP selon le service.
  • Options : Les paramètres peuvent activer le rendu JavaScript, choisir le pays d'où provient la requête, ou réutiliser une session à travers plusieurs requêtes.
  • Réponse : Le service renvoie le HTML brut, le HTML rendu par le navigateur, une capture d'écran ou des données structurées extraites.
  • Travaux asynchrones : Pour de grands lots, certains services acceptent un travail, renvoient une URL de statut à vérifier, et peuvent envoyer les résultats à un webhook.

API de scraping vs. API officielle

Une API officielle est publiée par le propriétaire du site pour un accès programmatique. Elle renvoie des données dans un format documenté et fixe des limites explicites. L'API REST de GitHub, par exemple, permet 60 requêtes non authentifiées par heure et 5 000 par heure pour un utilisateur authentifié. Une API de scraping, en revanche, fonctionne à partir de pages conçues pour les navigateurs humains. Elle peut accéder à des données publiques qu'aucune API officielle ne propose.

Termes associés