Eine Scraper-API ist ein gehosteter Dienst, der eine Webseite für Sie abruft und deren Inhalt über einen API-Aufruf zurückgibt. Sie senden die Ziel-URL. Der Dienst kümmert sich um Proxys, Browser-Rendering und Anti-Bot-Maßnahmen und gibt dann HTML oder strukturiertes JSON zurück. Einige Dienste parsen die Seite auch in benannte Felder, wie den Titel und den Preis eines Produkts.
Einige Scraper-APIs werden pro Anfrage berechnet und erheben Gebühren nur für erfolgreiche Antworten. Einige verwalten auch Sperren intern und geben eine Sperrantwort nur zurück, wenn sie die Sperre nicht innerhalb eines angemessenen Zeitrahmens vermeiden können.
Wie eine Scraper-API-Anfrage funktioniert
- Anfrage: Senden Sie die Ziel-URL an den Endpunkt des Dienstes mit Ihrem API-Schlüssel, der je nach Dienst in einem Abfrageparameter oder einem HTTP-Authentifizierungsheader enthalten ist.
- Optionen: Parameter können das JavaScript-Rendering aktivieren, das Land auswählen, aus dem die Anfrage kommt, oder eine Sitzung über mehrere Anfragen hinweg wiederverwenden.
- Antwort: Der Dienst gibt das rohe HTML, das browsergerenderte HTML, einen Screenshot oder extrahierte strukturierte Daten zurück.
- Async-Jobs: Für große Mengen akzeptieren einige Dienste einen Job, geben eine Status-URL zurück, um den Status zu überprüfen, und können Ergebnisse an einen Webhook senden.
Scraper API vs. Offizielle API
Eine offizielle API wird vom Webseiteninhaber für den programmgesteuerten Zugriff veröffentlicht. Sie gibt Daten in einem dokumentierten Format zurück und legt explizite Grenzen fest. Die REST-API von GitHub erlaubt beispielsweise 60 nicht authentifizierte Anfragen pro Stunde und 5.000 pro Stunde für einen authentifizierten Benutzer. Eine Scraper-API hingegen arbeitet mit Seiten, die für menschliche Browser erstellt wurden. Sie kann auf öffentliche Daten zugreifen, die keine offizielle API anbietet.