Bir scraper API, bir web sayfasını sizin için alıp içeriğini tek bir API çağrısı ile döndüren bir barındırılan hizmettir. Hedef URL'sini gönderirsiniz. Hizmet, proxy'leri, tarayıcı render'ını ve anti-bot önlemlerini yönetir, ardından HTML veya yapılandırılmış JSON döner. Bazı hizmetler ayrıca sayfayı bir ürünün başlığı ve fiyatı gibi adlandırılmış alanlara ayrıştırır.

Bazı scraper API'leri talep başına fiyatlandırılır ve yalnızca başarılı yanıtlar için ücret alır. Bazıları ayrıca yasakları dahili olarak yönetir ve makul bir süre içinde yasaktan kaçınamadıklarında yalnızca bir yasak yanıtı döner.

Scraper API İsteği Nasıl Çalışır

  • İstek: Hedef URL'yi hizmetin uç noktasına API anahtarınızla gönderin; bu, hizmete bağlı olarak bir sorgu parametresi veya bir HTTP kimlik doğrulama başlığına gider.
  • Seçenekler: Parametreler, JavaScript render'ını açabilir, isteğin geldiği ülkeyi seçebilir veya birkaç istek arasında bir oturumu yeniden kullanabilir.
  • Yanıt: Hizmet, ham HTML, tarayıcı tarafından render edilmiş HTML, bir ekran görüntüsü veya çıkarılmış yapılandırılmış veri döner.
  • Asenkron işler: Büyük partiler için bazı hizmetler bir iş kabul eder, kontrol edilecek bir durum URL'si döner ve sonuçları bir webhook'a gönderebilir.

Scraper API vs. Resmi API

Resmi bir API, programatik erişim için web sitesi sahibi tarafından yayımlanır. Belirli bir formatta veri döner ve açık sınırlar belirler. Örneğin, GitHub'ın REST API'si, saatte 60 kimlik doğrulaması yapılmamış isteğe ve kimlik doğrulaması yapılmış bir kullanıcı için saatte 5,000 isteğe izin verir. Bir scraper API ise insan tarayıcıları için oluşturulmuş sayfalardan çalışır. Resmi bir API'nin sunmadığı kamu verilerine ulaşabilir.

İlgili Terimler