Amalan Terbaik Had Kadar untuk Pengikis

Oleh Elena Kovacs•18 Nov 2026•17 min baca
rate-limiting-best-practices-for-scrapers

Had penghad limit boleh menentukan sama ada saluran pengikisan kekal stabil atau runtuh di bawah sekatan, percubaan semula, dan kos yang meningkat. Apabila kelajuan permintaan terlalu agresif, pengikis mencetuskan respons 429, sekatan 403, halaman CAPTCHA, masa tamat, dan sekatan lembut. Apabila kelajuan terlalu konservatif, data menjadi lapuk dan infrastruktur tidak digunakan sepenuhnya.

Bagi pasukan yang menjalankan penjejak harga, pengikisan SEO, pemantauan persaingan, pemeriksaan tambang perjalanan, pengesahan iklan, atau saluran data AI, penghad limit bukan sekadar tetapan teknikal. Ia adalah strategi operasi yang melindungi kadar kejayaan, kualiti data, kos infrastruktur, dan kestabilan laman sasaran.

Amalan terbaik penghad limit untuk pengikis termasuk menetapkan had per domain, per laluan, per proksi, dan per sesi; menambah jitter; menggunakan pengunduran adaptif; menghormati isyarat penghad limit; memantau kadar sekatan dan latensi; dan menyesuaikan berdasarkan kos per permintaan yang berjaya.

Pengikis yang baik tidak seharusnya hanya berjalan secepat mungkin. Ia seharusnya berjalan secepat yang boleh sambil masih mengembalikan data yang sah pada kos yang boleh diramalkan.

Apa Itu Penghad Limit dalam Pengikisan?

Penghad limit adalah kawalan berapa banyak permintaan yang dihantar oleh pengikis, seberapa cepat ia menghantarnya, dan bagaimana ia bertindak balas apabila sasaran mula menunjukkan tekanan atau geseran.

Dalam pengikisan, penghad limit biasanya mengawal:

  • permintaan per saat
  • permintaan serentak
  • permintaan per proksi
  • permintaan per sesi
  • permintaan per domain
  • permintaan per jenis laluan
  • kekerapan percubaan semula
  • tingkap cooldown selepas sekatan
  • jadual pengikisan merentasi masa

Pengikis mungkin menghantar trafik melalui web scraping proxies, automasi pelayar, klien HTTP, atau titik akhir seperti API. Tanpa mengira tumpukan teknikal, kelajuan permintaan mesti diurus.

Tanpa penghad limit, walaupun pengikis yang dibina dengan baik boleh kelihatan abusif, membebankan sistem sasaran, atau menghancurkan kecekapan kosnya sendiri melalui percubaan semula dan sekatan.

Mengapa Penghad Limit Penting

Penghad limit mempengaruhi empat hasil utama: akses, kos, kesegaran, dan kualiti data.

Penghad limit yang lemah boleh menyebabkan:

  • respons 429 Terlalu Banyak Permintaan
  • ralat 403 Dilarang
  • halaman CAPTCHA atau cabaran
  • sekatan Cloudflare
  • tetapan semula sambungan
  • kedalaman percubaan semula yang tinggi
  • kegagalan sesi
  • data yang salah atau tidak lengkap
  • perbelanjaan proksi yang meningkat
  • laporan yang lapuk

Penghad limit yang kuat membantu pasukan:

  • mengurangkan kadar sekatan
  • meningkatkan kadar kejayaan
  • melindungi kelangsungan sesi
  • menurunkan CPSR
  • menstabilkan tingkap pengikisan
  • mengurangkan sekatan lembut
  • mengelakkan ribut percubaan semula
  • mengumpul data yang lebih bersih

CPSR bermaksud kos per permintaan yang berjaya.

Dalam istilah mudah: CPSR memberitahu anda berapa banyak setiap hasil yang sah kos selepas perbelanjaan proksi, pengiraan, rendering pelayar, percubaan semula, dan percubaan yang gagal.

Pengikis yang lebih cepat tidak semestinya lebih baik jika kelajuan tambahan meningkatkan CPSR dan menurunkan kualiti data.

Konsep Teras: RPS, Keserentakan, dan Identiti

Sebelum menetapkan had, fahami tiga kawalan utama.

Permintaan Per Saat

Permintaan per saat, atau RPS, mengukur berapa banyak permintaan baru yang bermula dalam satu saat. Pengikis yang berjalan pada 5 RPS memulakan lima permintaan setiap saat.

RPS mengawal kelajuan.

Keserentakan

Keserentakan mengukur berapa banyak permintaan yang sedang diproses pada masa yang sama. Pengikis mungkin hanya memulakan 1 permintaan setiap saat tetapi masih mempunyai 20 permintaan serentak jika halaman lambat.

Keserentakan mengawal tekanan.

Identiti

Laman web sering menghadkan trafik berdasarkan identiti, bukan hanya berdasarkan domain. Identiti mungkin termasuk:

  • alamat IP
  • titik akhir proksi
  • subnet
  • ASN
  • kuki sesi
  • akaun
  • profil pelayar
  • cap jari peranti
  • laluan geografi

Had penghad yang hanya mengawal RPS global mungkin masih membebankan satu proksi, satu sesi, atau satu laluan. Pengikis pengeluaran memerlukan had berdasarkan identiti dan sasaran.

Jawapan Pantas: Strategi Penghad Limit Terbaik untuk Pengikis

  1. Gunakan token bucket atau limiter serupa untuk kadar permintaan purata.
  2. Tambah had keserentakan bagi setiap domain, laluan, dan identiti.
  3. Tambah jitter untuk mengelakkan masa yang sempurna seperti mesin.
  4. Kembali dengan cepat pada 429, 403, CAPTCHA, halaman cabaran, dan latensi yang meningkat.
  5. Gunakan sesi melekit untuk aliran kerja yang memerlukan kuki atau kesinambungan pelbagai langkah.
  6. Jejaki kadar kejayaan, kadar sekatan, kedalaman percubaan semula, latensi, kelangsungan sesi, dan CPSR.
  7. Tingkatkan kelajuan secara beransur-ansur hanya selepas tingkap stabil.

Matlamatnya adalah melalui kawalan, bukan melalui maksimum.

Had Kadar Mengikut Domain, Laluan, dan Identiti

Kesilapan biasa adalah menggunakan satu had global untuk setiap sasaran.

Persediaan yang lebih baik menggunakan pelbagai lapisan had.

Had Per-Domain

Had per-domain menghalang satu laman sasaran daripada menerima terlalu banyak trafik.

Contoh:

  • example.com: maksimum 2 RPS
  • store.example.com: maksimum 1 RPS
  • api.example.com: maksimum 0.5 RPS

Ini melindungi kestabilan khusus sasaran.

Had Per-Laluan

Tidak semua halaman mempunyai sensitiviti yang sama.

Halaman produk mungkin boleh bertoleransi dengan satu kadar. Halaman carian, laluan pembayaran, halaman log masuk, dan titik akhir inventori mungkin memerlukan kadar yang jauh lebih perlahan.

Contoh kelas laluan yang lebih ketat:

  • /search
  • /availability
  • /cart
  • /checkout
  • /login
  • titik akhir API dinamik
  • halaman hasil yang dirender JavaScript

Had Per-Identiti

Jika anda menggunakan proksi, setiap proksi atau sesi harus mempunyai hadnya sendiri.

Penyodok yang menggunakan datacenter proxies, residential proxies, atau laluan ISP harus mengelakkan menghantar terlalu banyak trafik melalui satu identiti.

Had per-identiti membantu memelihara reputasi proksi dan mengurangkan sekatan berkumpul.

Token Bucket vs. Leaky Bucket vs. Fixed Window

Jenis limiter yang berbeza berfungsi lebih baik untuk beban kerja yang berbeza.

Jenis LimiterTerbaik UntukKekuatanKelemahan
--------------------------------------------------------------------------------------------------------------------------------------------
Token bucketKebanyakan saluran penyodokMembolehkan lonjakan terkawal sambil menguatkuasakan kadar purataMasih boleh melonjak jika dikonfigurasi terlalu agresif
Leaky bucketTrafik yang lancar dan stabilOutput yang sangat boleh diramalkanMungkin tidak menggunakan kapasiti semasa tingkap selamat
Fixed windowSkrip dan percubaan mudahMudah untuk dilaksanakanBoleh mencipta lonjakan sempadan
Sliding windowKawalan kadar yang lebih tepatLebih baik daripada tingkap tetap untuk keadilanSedikit lebih kompleks
Adaptive limiterPenyodok pengeluaranBertindak balas kepada maklum balas langsungMemerlukan metrik yang baik

Bagi kebanyakan penyodok, token bucket ditambah dengan had keserentakan dan pemulihan adaptif adalah titik permulaan yang kuat.

Had Permulaan untuk Pelbagai Beban Kerja

Tiada kadar selamat universal. Mulakan secara konservatif, kemudian laraskan dengan metrik.

Beban KerjaTitik Permulaan Disyorkan
--------------------------------------------------------------------------
Halaman HTML awam statik1–2 RPS setiap identiti, 2–4 keserentakan setiap domain
Halaman butiran produk0.5–1 RPS setiap identiti, 1–3 keserentakan setiap domain
Halaman hasil carian0.2–0.8 RPS setiap identiti, had laluan ketat
Halaman berat JavaScript0.2–0.5 RPS setiap identiti, 1–2 sesi pelayar
Aliran log masuk atau akaunKadar rendah, sesi melekit/statik
Semakan SEO tempatanKadar rendah hingga sederhana mengikut lokasi dan sesi
Semakan tambang perjalananKadar rendah, cooldown lebih lama, had percubaan ketat

Ini adalah titik permulaan, bukan tetapan tetap. Kadar yang betul adalah yang menghasilkan output yang sah pada CPSR yang boleh diterima.

Had Kadar Adaptif

Had kadar adaptif mengubah kelajuan permintaan berdasarkan isyarat langsung.

Daripada menggunakan nilai tetap selama-lamanya, penyapu memantau metrik dan menyesuaikan.

Isyarat berguna termasuk:

  • kadar 429
  • kadar 403
  • kadar CAPTCHA
  • kadar cabaran
  • p95 latensi
  • kadar tamat
  • kedalaman percubaan semula
  • kelangsungan sesi
  • kadar sekatan lembut
  • kadar kandungan sah

Gelung adaptif yang mudah:

  1. Mulakan dengan had yang konservatif.
  2. Ukur hasil untuk tetingkap tetap.
  3. Jika kadar sekatan meningkat, kurangkan RPS dan keserentakan.
  4. Jika latensi meningkat, kurangkan keserentakan terlebih dahulu.
  5. Jika percubaan semula meningkat, berhenti atau sejukkan laluan yang terjejas.
  6. Jika beberapa tetingkap kekal stabil, tingkatkan RPS perlahan-lahan.
  7. Berhenti meningkatkan apabila CPSR semakin teruk.

Ini mengelakkan penyapu daripada bertindak balas secara berlebihan terhadap satu kegagalan tetapi masih bertindak balas dengan cepat terhadap geseran sebenar.

Cara Menjawab Kesalahan 429

Respons 429 Terlalu Banyak Permintaan adalah isyarat had kadar yang paling jelas.

Apabila anda melihat 429:

  • hormati Retry-After header apabila ada
  • berhenti mencuba semula dengan segera
  • kurangkan RPS untuk identiti itu
  • kurangkan keserentakan khusus laluan
  • tambah penangguhan eksponen
  • tambah jitter
  • sejukkan laluan yang terjejas
  • pantau sama ada 429 berkumpul mengikut domain, IP, laluan, atau akaun

Jangan anggap 429 sebagai percubaan semula biasa. Ia adalah maklum balas bahawa penyapu bergerak terlalu cepat untuk laluan atau titik akhir itu.

Untuk penyelesaian masalah yang lebih luas, lihat Kesalahan Proksi Umum dan Cara Memperbaikinya.

Cara Menjawab Kesalahan 403

Kesalahan 403 mungkin menunjukkan peraturan akses, reputasi IP, pengesanan bot, keadaan sesi yang hilang, atau tekanan trafik yang berlebihan.

Apabila 403 meningkat:

  • kurangkan keserentakan
  • periksa badan respons
  • semak sama ada halaman disekat atau disekat lembut
  • sahkan header dan kuki
  • bandingkan laluan proksi
  • semak konsistensi geo dan lokasi
  • semak sama ada laluan sasaran dibenarkan
  • elakkan ribut percubaan semula

Jika 403 jatuh dengan mendadak selepas memperlahankan, kadar dan keserentakan mungkin merupakan faktor penyumbang.

Untuk panduan yang lebih mendalam, lihat Memahami Kesalahan 403 dalam Pengikisan.

Had Kadar dan Sekatan Cloudflare

Laman yang dilindungi Cloudflare mungkin menerapkan peraturan WAF, Pengurusan Bot, had kadar, dasar geo, dan cabaran pelayar. Had kadar hanyalah satu bahagian daripada penyelesaian, tetapi ia sering kali perkara pertama yang perlu diperbaiki.

Apabila sekatan Cloudflare meningkat:

  • jadwalkan pekerjaan secara bertahap
  • kurangkan kadar permintaan per laluan
  • tambah penangguhan selepas cabaran
  • elakkan serangan langsung ke laluan sensitif
  • gunakan caching jika boleh
  • kekalkan sesi stabil jika perlu
  • sahkan kandungan yang dikembalikan
  • bandingkan jenis laluan dengan teliti

Jangan bergantung pada penukaran proksi yang agresif sahaja. Jika corak permintaan adalah masalahnya, menukar IP mungkin tidak menyelesaikannya.

Untuk butiran berkaitan, lihat Sekatan Cloudflare Dijelaskan untuk Pembangun.

Jitter: Mengapa Kebarangkalian Membantu

Penjadualan yang sempurna oleh mesin mudah dikesan dan boleh mencipta lonjakan yang diselaraskan.

Jitter bermaksud menambah variasi rawak kecil kepada masa permintaan.

Gunakan jitter untuk:

  • selang permintaan
  • kelewatan percubaan semula
  • permulaan pekerja
  • masa pengisian token
  • tetingkap jadual pengikisan
  • menunggu tindakan pelayar

Contoh:

Daripada menghantar satu permintaan tepat setiap saat, hantarkan permintaan seterusnya selepas kelewatan rawak antara 0.8 dan 1.2 saat.

Jitter harus sederhana dan terkawal. Ia bukan bertujuan untuk meniru tingkah laku manusia secara sembrono. Ia hanya mengelakkan corak trafik yang tajam dan diselaraskan.

Strategi Penangguhan

Penangguhan adalah cara penyapu memperlahankan selepas kesalahan.

Strategi penangguhan yang praktikal:

  • percubaan semula sekali untuk kesalahan rangkaian sementara
  • gunakan penangguhan eksponen untuk 429 dan 5xx
  • terapkan penangguhan yang lebih lama selepas halaman CAPTCHA atau cabaran
  • hadkan jumlah percubaan semula
  • berhenti mencuba semula 403 yang berulang tanpa diagnosis
  • lalukan kegagalan keras untuk semakan

Contoh logik backoff:

Attempt 1: wait 2 seconds
Attempt 2: wait 4 seconds
Attempt 3: wait 8 seconds
Then stop or queue for later review

Tambah jitter kepada setiap waktu menunggu.

Retry yang mendalam biasanya meningkatkan CPSR dan boleh memburukkan sekatan.

Had Kadar Sesi-Sedar

Had kadar sesi-sedar bukan sahaja menjejak domain tetapi juga sesi.

Ini penting untuk:

  • aliran log masuk
  • troli
  • ujian pembayaran
  • pemilihan kedai
  • penomboran halaman
  • semakan SERP tempatan
  • pelayaran berat JavaScript
  • semakan variasi produk

Jika sesi itu berharga, jangan membebankannya.

Jejaki:

  • halaman per sesi
  • tempoh sesi
  • sekatan per sesi
  • kedalaman retry per sesi
  • kelangsungan sesi
  • penugasan proksi
  • keadaan cookie

Jika sesi gagal awal, kurangkan kadar per sesi dan pertimbangkan untuk menggunakan lebih banyak sesi pada kelajuan yang lebih rendah daripada memaksa satu sesi lebih keras.

Untuk tingkah laku penghalaan, lihat Proksi Berputar vs Statik.

Strategi Proksi dan Had Kadar

Jenis proksi mempengaruhi kelajuan yang selamat.

Proksi pusat data mungkin menyokong kelajuan yang lebih tinggi pada halaman awam yang toleran, tetapi mereka mungkin menghadapi sekatan yang lebih kuat di laman yang berhadapan dengan pengguna.

Proksi kediaman mungkin meningkatkan akses dan ketepatan geo, tetapi mereka masih perlu dihadkan dengan teliti.

Proksi ISP mungkin berfungsi dengan baik untuk sesi berulang yang stabil.

Proksi mudah alih mungkin memerlukan kadar yang lebih rendah disebabkan oleh kos, latensi, dan tingkah laku pembawa.

Strategi yang baik menghala berdasarkan beban kerja:

Beban KerjaLaluan ProksiStrategi Kadar
Halaman awam statikPusat dataRPS sederhana, lebih tinggi jika ditoleransi
Halaman produkPusat data pertama, fallback kediamanHad konservatif per domain
SEO tempatanKediamanSesi sedar lokasi, kurang ledakan
Aliran log masukLaluan statik atau melekitKelajuan rendah, kesinambungan sesi tinggi
Halaman sensitif CloudflareKediaman atau hibridBackoff ketat dan had laluan
Automasi pelayar beratKediaman atau ISPKesinambungan rendah, cooldown lebih lama

Untuk pemilihan jenis proksi, lihat Pusat Data vs Kediaman vs Proksi ISP Dijelaskan.

Sekatan Lembut dan Had Kadar

Sebuah scraper boleh dihadkan kadar tanpa menerima 429.

Sekatan lembut berlaku apabila pelayan mengembalikan HTTP 200 tetapi kandungannya tidak sah atau tidak lengkap.

Contoh:

  • harga produk hilang
  • hasil SERP hilang
  • templat halaman generik
  • halaman salah wilayah
  • CAPTCHA tersembunyi dalam HTML
  • data inventori kosong
  • respons identik berulang
  • kandungan basi

Had kadar juga harus bertindak balas terhadap sekatan lembut. Jika kadar sekatan lembut meningkat, perlahan, periksa sampel kegagalan, dan sahkan sama ada masalahnya adalah laluan, sesi, laluan, atau pengalihan parser.

Apa yang Perlu Diukur

Had kadar harus diselaraskan melalui metrik, bukan tekaan.

MetrikMengapa Ia Penting
Kadar kejayaanMenunjukkan output yang sah
Kadar sekatanMenangkap halaman 403, 429, CAPTCHA, dan cabaran
Kadar sekatan lembutMengesan kandungan tidak sah yang dikembalikan sebagai kejayaan
CPSRMengukur kos per hasil yang berjaya
Kedalaman ulangMenunjukkan ketidakstabilan tersembunyi
P95 latensiMendedahkan tekanan sasaran atau laluan
Kadar aliranMengukur halaman sah per minit
Kelangsungan sesiMenunjukkan kestabilan aliran kerja berbilang langkah
Ketepatan geoMengesahkan kesahan sensitif lokasi
Kelewatan barisanMenunjukkan sama ada had terlalu ketat untuk matlamat kesegaran

Ukur ini mengikut domain, jenis laluan, laluan proksi, wilayah, dan pekerja pengikis. Purata menyembunyikan masalah.

Kawalan Kos: Optimumkan untuk CPSR, Bukan Kelajuan Kasar

Seorang pengikis mungkin mengumpul lebih banyak halaman per minit tetapi masih menelan kos lebih jika sekatan dan ulang meningkat.

Gunakan CPSR untuk membandingkan tetapan.

Contoh:

  • Tetapan A: 10,000 permintaan, 70% kejayaan, ulang tinggi
  • Tetapan B: 7,000 permintaan, 95% kejayaan, ulang rendah

Tetapan B mungkin menghasilkan lebih banyak data yang boleh digunakan dengan kos yang lebih rendah walaupun ia menghantar permintaan yang lebih sedikit.

Had kadar terbaik sering kali di bawah kadar maksimum yang boleh dihantar oleh sistem secara teknikal.

Senario Dunia Nyata: Penjejak Harga E-Dagang

Sebuah pasukan pemantauan harga mengumpul harga produk dari 40 domain peruncit.

Tetapan lama menjalankan semua tugas pada awal jam. Sekatan meningkat, ulang meningkat, dan medan harga hilang.

Tetapan yang diperbaiki:

  • mengatur tingkap pengikisan
  • mengenakan had per-domain
  • mengenakan had yang lebih ketat kepada titik akhir carian
  • menggunakan proksi kediaman untuk halaman produk sensitif
  • menambah jitter dan backoff eksponen
  • mengesahkan harga, mata wang, dan ketersediaan sebelum menyimpan data

Hasilnya adalah kurang sekatan, data yang lebih bersih, dan CPSR yang lebih rendah.

Senario Dunia Nyata: Pengumpul Tambang Perjalanan

Sebuah platform perjalanan mengumpul data tambang dan ketersediaan dari halaman yang berat JavaScript.

Tetapan lama menjalankan terlalu banyak sesi pelayar sekaligus. Latensi meningkat, masa tamat meningkat, dan kelangsungan sesi menurun.

Tetapan yang diperbaiki:

  • mengehadkan keserentakan pelayar per identiti
  • menambah cooldown yang lebih lama selepas 403s
  • memisahkan halaman pendaratan awam dari halaman hasil dinamik
  • menggunakan sesi melekit untuk aliran carian penuh
  • memantau latensi p95 dan kedalaman ulang

Aliran kerja menjadi lebih perlahan per permintaan tetapi lebih cepat per hasil yang sah.

Senario Dunia Nyata: Pemantauan SEO Tempatan

Sebuah pasukan SEO mengumpul SERP tempatan di ratusan lokasi.

Tetapan lama menggunakan jadual dan kadar yang sama untuk setiap bandar. Beberapa semakan bandar mengembalikan sekatan atau SERP lokasi yang salah.

Tetapan yang diperbaiki:

  • menggunakan barisan khusus lokasi
  • mengehadkan permintaan per bandar dan laluan proksi
  • menambah jitter kepada jadual
  • mengesahkan isyarat bandar pek tempatan
  • memperlahankan pasaran dengan kadar sekatan yang lebih tinggi

Laporan menjadi lebih boleh dipercayai kerana sistem memisahkan pergerakan kedudukan dari ketidakstabilan pengumpulan.

Mod Kegagalan Umum

Autoscaling Berlebihan

Pekerja baru bermula pada masa yang sama dan membebankan domain sasaran.

Penyelesaian: atur permulaan pekerja dan kekalkan keadaan penampan merentasi penyebaran.

Had Global Sahaja

Had global mungkin kelihatan selamat sementara satu proksi atau laluan dibebani.

Penyelesaian: mengenakan had per-domain, per-laluan, dan per-identiti.

Mengabaikan Sensitiviti Laluan

Titik akhir carian, troli, log masuk, dan ketersediaan mungkin memerlukan had yang lebih ketat daripada halaman produk.

Penyelesaian: mengklasifikasikan laluan dan menetapkan penampan yang berasingan.

Terlalu Meningkat

Meningkatkan RPS terlalu cepat selepas satu tingkap stabil boleh mencipta osilasi.

Penyelesaian: tingkatkan perlahan-lahan dan memerlukan beberapa tingkap stabil.

Ulang Buta

Ulang tanpa backoff meningkatkan tekanan dan kos.

Penyelesaian: hadkan ulang dan klasifikasikan ralat.

Mengabaikan Latensi

Kenaikan latensi p95 sering muncul sebelum blok.

Fix: kurangkan keserentakan apabila latensi meningkat.

Senarai Semak Pelaksanaan

Sebelum pelancaran pengeluaran:

  • Tentukan had per-domain.
  • Tentukan had per-path.
  • Tentukan had per-identity.
  • Gunakan token bucket atau limiter adaptif.
  • Tambah had keserentakan.
  • Tambah jitter kepada jadual dan percubaan semula.
  • Hormati header Retry-After.
  • Tambah exponential backoff.
  • Hadkan kedalaman percubaan semula.
  • Jejaki kadar kejayaan dan kadar blok.
  • Jejaki blok lembut.
  • Jejaki CPSR.
  • Simpan sampel kegagalan.
  • Laraskan had mengikut laluan dan beban kerja.
  • Semak pematuhan dan peraturan akses.

Untuk corak penyediaan, lihat tutorial proxy SquidProxies dan kes penggunaan proxy yang lebih luas.

Soalan Lazim

Apakah itu had kadar dalam pengikisan?

Had kadar mengawal seberapa cepat pengikis menghantar permintaan dan berapa banyak permintaan yang berjalan serentak. Ia membantu mengurangkan blok, timeout, percubaan semula, dan tekanan pada laman sasaran.

Apakah kadar pengikisan yang selamat?

Tiada kadar selamat yang universal. Mulakan dengan berhati-hati, pantau kadar blok dan latensi, kemudian tingkatkan secara beransur-ansur. Halaman statik mungkin dapat menampung kadar yang lebih tinggi berbanding dengan aliran kerja yang berat JavaScript, log masuk, troli, atau carian.

Patutkah saya hadkan mengikut IP atau domain?

Kedua-duanya. Gunakan had per-domain untuk mengawal jumlah trafik ke laman dan had per-identity untuk mengelakkan penggunaan berlebihan satu proxy, sesi, atau akaun.

Apa yang perlu saya lakukan selepas ralat 429?

Perlahankan. Hormati header Retry-After, kurangkan RPS, tambah backoff, dan elakkan percubaan semula segera.

Adakah menambah lebih banyak proxy menyelesaikan had kadar?

Tidak selalu. Lebih banyak proxy boleh mengagihkan trafik, tetapi jika sasaran mempunyai had per-path atau berasaskan tingkah laku, aliran kerja masih memerlukan penyesuaian yang lebih baik.

Adakah token bucket baik untuk pengikis?

Ya. Token bucket adalah pilihan default yang kuat kerana ia mengawal kadar permintaan purata sambil membenarkan letupan terhad. Pasangkan dengan had keserentakan dan backoff.

Bagaimana had kadar mengurangkan CPSR?

Pacing yang lebih baik mengurangkan blok dan percubaan semula. Lebih sedikit percubaan semula bermakna perbelanjaan proxy yang lebih sedikit, pembaziran pengiraan yang kurang, dan lebih banyak hasil yang sah per dolar.

Bagaimana saya menyesuaikan had untuk automasi pelayar?

Gunakan keserentakan yang lebih rendah, timeout yang lebih lama, sesi melekit, dan backoff yang lebih ketat. Sesi pelayar lebih berat dan lebih sensitif daripada permintaan HTTP yang mudah.

Apakah metrik yang perlu saya pantau?

Jejaki kadar kejayaan, kadar blok, kadar blok lembut, CPSR, kedalaman percubaan semula, latensi p95, throughput, kelangsungan sesi, ketepatan geo, dan kelewatan barisan.

Pemikiran Akhir

Amalan terbaik had kadar untuk pengikis adalah tentang kawalan, maklum balas, dan pengukuran. Nombor tetap boleh berfungsi untuk percubaan kecil, tetapi sistem pengeluaran memerlukan had adaptif yang bertindak balas kepada blok, latensi, percubaan semula, dan kualiti data.

Mulakan dengan berhati-hati. Hadkan mengikut domain, laluan, dan identiti. Tambah jitter dan backoff. Hormati isyarat had kadar. Jejaki CPSR, bukan hanya jumlah permintaan. Tingkatkan kelajuan hanya selepas tingkap prestasi stabil.

Pengikis terbaik bukanlah yang menghantar permintaan terbanyak. Ia adalah yang mengembalikan data yang paling sah dengan kos yang paling rendah dan berdaya tahan.

Tentang Penulis

Elena Kovacs

Elena Kovacs works at the intersection of data strategy and proxy infrastructure. She designs scalable, geo-targeted data collection frameworks for SEO monitoring, market intelligence, and AI datasets. Her writing explores how proxy networks enable reliable, compliant data acquisition at scale.