Pengurangan permintaan adalah amalan yang sengaja dilakukan untuk memperlahankan kadar di mana pengikis menghantar permintaan, dengan menambah kelewatan di antara mereka, untuk mengelakkan daripada membebankan pelayan laman sasaran.

Istilah ini juga digunakan di pihak pelayan. Microsoft menggambarkan pengurangan sebagai teknik yang digunakan oleh API awan untuk mengehadkan berapa banyak permintaan yang boleh dibuat dalam satu tempoh masa, supaya API tetap tersedia untuk semua pengguna. Dalam apa jua keadaan, tujuannya adalah sama: mengekalkan trafik pada kadar yang boleh ditangani oleh pelayan.

Pengurangan vs. Had Kadar

PenguranganHad kadar
Idea utamaMengawal kadar permintaanMengehadkan bilangan permintaan dalam tetingkap masa
Permintaan berlebihanBiasanya ditangguhkan atau disebarkanBiasanya ditolak
Siapa yang melaksanakannyaPelanggan, pelayan atau kedua-duanyaBiasanya pelayan
Isyarat biasaRespons yang lebih perlahan, atau 429 dengan Retry-After429 Too Many Requests

Kedua-dua istilah ini bertindih dalam amalan. AWS, sebagai contoh, menggambarkan permintaan yang dikurangkan melebihi had sebagai ditolak dengan ralat 429 Too Many Requests. Lihat had kadar untuk cara pelayan mengira permintaan.

Bagaimana Pelayan Mengurangkan

  • Token bucket: AWS mengesyorkan algoritma ini, di mana setiap permintaan menggunakan token dan token diisi semula pada kadar tetap setiap saat.
  • Kod status: isyarat yang paling biasa adalah 429 Too Many Requests. Microsoft mencatat bahawa tidak setiap API menggunakannya: GitHub boleh memberi respons dengan 403.
  • Masa menunggu: beberapa API menambah header Retry-After yang menyatakan berapa lama untuk menunggu sebelum permintaan seterusnya.

Bagaimana Pengikis Mengurangkan Diri Mereka

  • Kelewatan tetap: jeda tetap antara permintaan ke laman yang sama.
  • Kelewatan rawak: tetapan DOWNLOAD_DELAY_JITTER Scrapy menambah variasi rawak kepada setiap kelewatan, supaya permintaan tidak tiba pada rentak yang tepat.
  • Kelewatan adaptif: sambungan AutoThrottle Scrapy menyesuaikan dengan respons laman. Ia menetapkan kelewatan sasaran kepada latensi pelayan dibahagikan dengan keserentakan sasaran, dan tidak mempercepatkan pada respons ralat.
  • Had keserentakan: kurang sambungan serentak ke satu laman mengurangkan kadar permintaan juga.

Ulangan Boleh Membatalkan Pengurangan

Seorang pengikis boleh mengatur permintaan pertamanya dengan baik dan masih membanjiri laman dengan ulangan. Artikel dari Perpustakaan Pembina Amazon memberi amaran bahawa jika sistem terlalu terbeban, ulangan boleh menjadikan beban lebih teruk daripada lebih baik. Ia memberikan contoh di mana lapisan yang masing-masing mengulang secara bebas meningkatkan beban pada pangkalan data sebanyak 243 kali.

Artikel yang sama menyenaraikan penyelesaian:

  1. Kembali secara eksponen: tingkatkan masa tunggu selepas setiap percubaan yang gagal.
  2. Tambah jitter: tambahkan unsur rawak kepada setiap tunggu, supaya ulangan tersebar dalam masa dan tidak tiba bersama-sama.
  3. Hadkan: tetapkan maksimum masa tunggu dan maksimum bilangan ulangan.

Apa Maknanya untuk Pengikisan Web

  • Pengurangan mengikut laman, bukan mengikut kerja: had dikenakan kepada setiap sasaran, jadi atur permintaan kepada setiap domain secara berasingan.
  • Anggap 429 sebagai jeda: tunggu untuk masa Retry-After, atau kembali dengan jitter apabila tiada.
  • IP baru tidak menggantikan pengaturan: menukar IP selepas 429 tidak membantu jika laman juga mengira berdasarkan kuki, akaun atau cap jari.

Istilah Berkaitan