Pengendalian permintaan adalah praktik yang disengaja untuk memperlambat laju di mana sebuah scraper mengirimkan permintaan, menambahkan jeda di antara mereka, untuk menghindari membebani server situs target terlalu keras.

Istilah ini juga digunakan di sisi server. Microsoft menggambarkan pengendalian sebagai teknik yang digunakan API cloud untuk membatasi berapa banyak permintaan yang dapat dilakukan dalam periode waktu tertentu, sehingga API tetap tersedia untuk semua pengguna. Bagaimanapun, tujuannya tetap sama: menjaga lalu lintas pada kecepatan yang dapat ditangani server.

Pengendalian vs. Pembatasan Laju

PengendalianPembatasan laju
Ide utamaMengontrol kecepatan permintaanMembatasi jumlah permintaan dalam jendela waktu
Permintaan berlebihBiasanya ditunda atau disebarBiasanya ditolak
Siapa yang menerapkannyaKlien, server, atau keduanyaBiasanya server
Sinyal khasRespons yang lebih lambat, atau 429 dengan Retry-After429 Too Many Requests

Kedua istilah ini tumpang tindih dalam praktik. AWS, misalnya, menggambarkan permintaan yang terpengaruh di atas batas sebagai ditolak dengan kesalahan 429 Too Many Requests. Lihat pembatasan laju untuk bagaimana server menghitung permintaan.

Bagaimana Server Mengendalikan

  • Token bucket: AWS merekomendasikan algoritma ini, di mana setiap permintaan menggunakan token dan token diisi ulang pada laju tertentu per detik.
  • Kode status: sinyal yang paling umum adalah 429 Too Many Requests. Microsoft mencatat bahwa tidak setiap API menggunakannya: GitHub dapat merespons dengan 403.
  • Waktu tunggu: beberapa API menambahkan header Retry-After yang mengatakan berapa lama harus menunggu sebelum permintaan berikutnya.

Bagaimana Scraper Mengendalikan Diri Mereka Sendiri

  • Jeda tetap: jeda yang ditetapkan antara permintaan ke situs yang sama.
  • Jeda acak: pengaturan DOWNLOAD_DELAY_JITTER dari Scrapy menambahkan variasi acak pada setiap jeda, sehingga permintaan tidak tiba pada ketukan yang tepat.
  • Jeda adaptif: ekstensi AutoThrottle dari Scrapy beradaptasi dengan respons situs. Ini menetapkan jeda target ke latensi server dibagi dengan target konkruensi, dan tidak mempercepat pada respons kesalahan.
  • Batas konkruensi: lebih sedikit koneksi bersamaan ke satu situs mengurangi laju permintaan juga.

Pengulangan Dapat Membatalkan Pengendalian

Sebuah scraper dapat mengatur laju permintaan pertamanya dengan baik dan tetap membanjiri situs dengan pengulangan. Sebuah artikel di Amazon Builders' Library memperingatkan bahwa jika sebuah sistem kelebihan beban, pengulangan dapat membuat beban lebih buruk daripada lebih baik. Ini memberikan contoh di mana lapisan yang masing-masing mencoba ulang secara independen meningkatkan beban pada database 243 kali.

Artikel yang sama mencantumkan perbaikan:

  1. Mundur secara eksponensial: tingkatkan waktu tunggu setelah setiap upaya yang gagal.
  2. Tambahkan jitter: tambahkan keacakan pada setiap waktu tunggu, sehingga pengulangan menyebar dalam waktu alih-alih tiba bersamaan.
  3. Batasi: tetapkan waktu tunggu maksimum dan jumlah pengulangan maksimum.

Apa Artinya untuk Web Scraping

  • Pengendalian per situs, bukan per pekerjaan: batasan berlaku untuk setiap target, jadi atur laju permintaan ke setiap domain secara terpisah.
  • Anggap 429 sebagai jeda: tunggu waktu Retry-After, atau mundur dengan jitter ketika tidak ada.
  • IP baru tidak menggantikan pengaturan laju: beralih IP setelah 429 tidak membantu jika situs juga menghitung berdasarkan cookie, akun, atau sidik jari.

Istilah Terkait