Amalan Terbaik Had Kadar untuk Pengikis

Had penghad limit boleh menentukan sama ada saluran pengikisan kekal stabil atau runtuh di bawah sekatan, percubaan semula, dan kos yang meningkat. Apabila kelajuan permintaan terlalu agresif, pengikis mencetuskan respons 429, sekatan 403, halaman CAPTCHA, masa tamat, dan sekatan lembut. Apabila kelajuan terlalu konservatif, data menjadi lapuk dan infrastruktur tidak digunakan sepenuhnya.
Bagi pasukan yang menjalankan penjejak harga, pengikisan SEO, pemantauan persaingan, pemeriksaan tambang perjalanan, pengesahan iklan, atau saluran data AI, penghad limit bukan sekadar tetapan teknikal. Ia adalah strategi operasi yang melindungi kadar kejayaan, kualiti data, kos infrastruktur, dan kestabilan laman sasaran.
Amalan terbaik penghad limit untuk pengikis termasuk menetapkan had per domain, per laluan, per proksi, dan per sesi; menambah jitter; menggunakan pengunduran adaptif; menghormati isyarat penghad limit; memantau kadar sekatan dan latensi; dan menyesuaikan berdasarkan kos per permintaan yang berjaya.
Pengikis yang baik tidak seharusnya hanya berjalan secepat mungkin. Ia seharusnya berjalan secepat yang boleh sambil masih mengembalikan data yang sah pada kos yang boleh diramalkan.
Apa Itu Penghad Limit dalam Pengikisan?
Penghad limit adalah kawalan berapa banyak permintaan yang dihantar oleh pengikis, seberapa cepat ia menghantarnya, dan bagaimana ia bertindak balas apabila sasaran mula menunjukkan tekanan atau geseran.
Dalam pengikisan, penghad limit biasanya mengawal:
- permintaan per saat
- permintaan serentak
- permintaan per proksi
- permintaan per sesi
- permintaan per domain
- permintaan per jenis laluan
- kekerapan percubaan semula
- tingkap cooldown selepas sekatan
- jadual pengikisan merentasi masa
Pengikis mungkin menghantar trafik melalui web scraping proxies, automasi pelayar, klien HTTP, atau titik akhir seperti API. Tanpa mengira tumpukan teknikal, kelajuan permintaan mesti diurus.
Tanpa penghad limit, walaupun pengikis yang dibina dengan baik boleh kelihatan abusif, membebankan sistem sasaran, atau menghancurkan kecekapan kosnya sendiri melalui percubaan semula dan sekatan.
Mengapa Penghad Limit Penting
Penghad limit mempengaruhi empat hasil utama: akses, kos, kesegaran, dan kualiti data.
Penghad limit yang lemah boleh menyebabkan:
- respons 429 Terlalu Banyak Permintaan
- ralat 403 Dilarang
- halaman CAPTCHA atau cabaran
- sekatan Cloudflare
- tetapan semula sambungan
- kedalaman percubaan semula yang tinggi
- kegagalan sesi
- data yang salah atau tidak lengkap
- perbelanjaan proksi yang meningkat
- laporan yang lapuk
Penghad limit yang kuat membantu pasukan:
- mengurangkan kadar sekatan
- meningkatkan kadar kejayaan
- melindungi kelangsungan sesi
- menurunkan CPSR
- menstabilkan tingkap pengikisan
- mengurangkan sekatan lembut
- mengelakkan ribut percubaan semula
- mengumpul data yang lebih bersih
CPSR bermaksud kos per permintaan yang berjaya.
Dalam istilah mudah: CPSR memberitahu anda berapa banyak setiap hasil yang sah kos selepas perbelanjaan proksi, pengiraan, rendering pelayar, percubaan semula, dan percubaan yang gagal.
Pengikis yang lebih cepat tidak semestinya lebih baik jika kelajuan tambahan meningkatkan CPSR dan menurunkan kualiti data.
Konsep Teras: RPS, Keserentakan, dan Identiti
Sebelum menetapkan had, fahami tiga kawalan utama.
Permintaan Per Saat
Permintaan per saat, atau RPS, mengukur berapa banyak permintaan baru yang bermula dalam satu saat. Pengikis yang berjalan pada 5 RPS memulakan lima permintaan setiap saat.
RPS mengawal kelajuan.
Keserentakan
Keserentakan mengukur berapa banyak permintaan yang sedang diproses pada masa yang sama. Pengikis mungkin hanya memulakan 1 permintaan setiap saat tetapi masih mempunyai 20 permintaan serentak jika halaman lambat.
Keserentakan mengawal tekanan.
Identiti
Laman web sering menghadkan trafik berdasarkan identiti, bukan hanya berdasarkan domain. Identiti mungkin termasuk:
- alamat IP
- titik akhir proksi
- subnet
- ASN
- kuki sesi
- akaun
- profil pelayar
- cap jari peranti
- laluan geografi
Had penghad yang hanya mengawal RPS global mungkin masih membebankan satu proksi, satu sesi, atau satu laluan. Pengikis pengeluaran memerlukan had berdasarkan identiti dan sasaran.
Jawapan Pantas: Strategi Penghad Limit Terbaik untuk Pengikis
- Gunakan token bucket atau limiter serupa untuk kadar permintaan purata.
- Tambah had keserentakan bagi setiap domain, laluan, dan identiti.
- Tambah jitter untuk mengelakkan masa yang sempurna seperti mesin.
- Kembali dengan cepat pada 429, 403, CAPTCHA, halaman cabaran, dan latensi yang meningkat.
- Gunakan sesi melekit untuk aliran kerja yang memerlukan kuki atau kesinambungan pelbagai langkah.
- Jejaki kadar kejayaan, kadar sekatan, kedalaman percubaan semula, latensi, kelangsungan sesi, dan CPSR.
- Tingkatkan kelajuan secara beransur-ansur hanya selepas tingkap stabil.
Matlamatnya adalah melalui kawalan, bukan melalui maksimum.
Had Kadar Mengikut Domain, Laluan, dan Identiti
Kesilapan biasa adalah menggunakan satu had global untuk setiap sasaran.
Persediaan yang lebih baik menggunakan pelbagai lapisan had.
Had Per-Domain
Had per-domain menghalang satu laman sasaran daripada menerima terlalu banyak trafik.
Contoh:
example.com: maksimum 2 RPSstore.example.com: maksimum 1 RPSapi.example.com: maksimum 0.5 RPS
Ini melindungi kestabilan khusus sasaran.
Had Per-Laluan
Tidak semua halaman mempunyai sensitiviti yang sama.
Halaman produk mungkin boleh bertoleransi dengan satu kadar. Halaman carian, laluan pembayaran, halaman log masuk, dan titik akhir inventori mungkin memerlukan kadar yang jauh lebih perlahan.
Contoh kelas laluan yang lebih ketat:
/search/availability/cart/checkout/login- titik akhir API dinamik
- halaman hasil yang dirender JavaScript
Had Per-Identiti
Jika anda menggunakan proksi, setiap proksi atau sesi harus mempunyai hadnya sendiri.
Penyodok yang menggunakan datacenter proxies, residential proxies, atau laluan ISP harus mengelakkan menghantar terlalu banyak trafik melalui satu identiti.
Had per-identiti membantu memelihara reputasi proksi dan mengurangkan sekatan berkumpul.
Token Bucket vs. Leaky Bucket vs. Fixed Window
Jenis limiter yang berbeza berfungsi lebih baik untuk beban kerja yang berbeza.
| Jenis Limiter | Terbaik Untuk | Kekuatan | Kelemahan |
|---|---|---|---|
| ---------------- | ------------------------- | ----------------------------------------------------- | ---------------------------------------------- |
| Token bucket | Kebanyakan saluran penyodok | Membolehkan lonjakan terkawal sambil menguatkuasakan kadar purata | Masih boleh melonjak jika dikonfigurasi terlalu agresif |
| Leaky bucket | Trafik yang lancar dan stabil | Output yang sangat boleh diramalkan | Mungkin tidak menggunakan kapasiti semasa tingkap selamat |
| Fixed window | Skrip dan percubaan mudah | Mudah untuk dilaksanakan | Boleh mencipta lonjakan sempadan |
| Sliding window | Kawalan kadar yang lebih tepat | Lebih baik daripada tingkap tetap untuk keadilan | Sedikit lebih kompleks |
| Adaptive limiter | Penyodok pengeluaran | Bertindak balas kepada maklum balas langsung | Memerlukan metrik yang baik |
Bagi kebanyakan penyodok, token bucket ditambah dengan had keserentakan dan pemulihan adaptif adalah titik permulaan yang kuat.
Had Permulaan untuk Pelbagai Beban Kerja
Tiada kadar selamat universal. Mulakan secara konservatif, kemudian laraskan dengan metrik.
| Beban Kerja | Titik Permulaan Disyorkan |
|---|---|
| ------------------------ | -------------------------------------------------- |
| Halaman HTML awam statik | 1–2 RPS setiap identiti, 2–4 keserentakan setiap domain |
| Halaman butiran produk | 0.5–1 RPS setiap identiti, 1–3 keserentakan setiap domain |
| Halaman hasil carian | 0.2–0.8 RPS setiap identiti, had laluan ketat |
| Halaman berat JavaScript | 0.2–0.5 RPS setiap identiti, 1–2 sesi pelayar |
| Aliran log masuk atau akaun | Kadar rendah, sesi melekit/statik |
| Semakan SEO tempatan | Kadar rendah hingga sederhana mengikut lokasi dan sesi |
| Semakan tambang perjalanan | Kadar rendah, cooldown lebih lama, had percubaan ketat |
Ini adalah titik permulaan, bukan tetapan tetap. Kadar yang betul adalah yang menghasilkan output yang sah pada CPSR yang boleh diterima.
Had Kadar Adaptif
Had kadar adaptif mengubah kelajuan permintaan berdasarkan isyarat langsung.
Daripada menggunakan nilai tetap selama-lamanya, penyapu memantau metrik dan menyesuaikan.
Isyarat berguna termasuk:
- kadar 429
- kadar 403
- kadar CAPTCHA
- kadar cabaran
- p95 latensi
- kadar tamat
- kedalaman percubaan semula
- kelangsungan sesi
- kadar sekatan lembut
- kadar kandungan sah
Gelung adaptif yang mudah:
- Mulakan dengan had yang konservatif.
- Ukur hasil untuk tetingkap tetap.
- Jika kadar sekatan meningkat, kurangkan RPS dan keserentakan.
- Jika latensi meningkat, kurangkan keserentakan terlebih dahulu.
- Jika percubaan semula meningkat, berhenti atau sejukkan laluan yang terjejas.
- Jika beberapa tetingkap kekal stabil, tingkatkan RPS perlahan-lahan.
- Berhenti meningkatkan apabila CPSR semakin teruk.
Ini mengelakkan penyapu daripada bertindak balas secara berlebihan terhadap satu kegagalan tetapi masih bertindak balas dengan cepat terhadap geseran sebenar.
Cara Menjawab Kesalahan 429
Respons 429 Terlalu Banyak Permintaan adalah isyarat had kadar yang paling jelas.
Apabila anda melihat 429:
- hormati
Retry-Afterheader apabila ada - berhenti mencuba semula dengan segera
- kurangkan RPS untuk identiti itu
- kurangkan keserentakan khusus laluan
- tambah penangguhan eksponen
- tambah jitter
- sejukkan laluan yang terjejas
- pantau sama ada 429 berkumpul mengikut domain, IP, laluan, atau akaun
Jangan anggap 429 sebagai percubaan semula biasa. Ia adalah maklum balas bahawa penyapu bergerak terlalu cepat untuk laluan atau titik akhir itu.
Untuk penyelesaian masalah yang lebih luas, lihat Kesalahan Proksi Umum dan Cara Memperbaikinya.
Cara Menjawab Kesalahan 403
Kesalahan 403 mungkin menunjukkan peraturan akses, reputasi IP, pengesanan bot, keadaan sesi yang hilang, atau tekanan trafik yang berlebihan.
Apabila 403 meningkat:
- kurangkan keserentakan
- periksa badan respons
- semak sama ada halaman disekat atau disekat lembut
- sahkan header dan kuki
- bandingkan laluan proksi
- semak konsistensi geo dan lokasi
- semak sama ada laluan sasaran dibenarkan
- elakkan ribut percubaan semula
Jika 403 jatuh dengan mendadak selepas memperlahankan, kadar dan keserentakan mungkin merupakan faktor penyumbang.
Untuk panduan yang lebih mendalam, lihat Memahami Kesalahan 403 dalam Pengikisan.
Had Kadar dan Sekatan Cloudflare
Laman yang dilindungi Cloudflare mungkin menerapkan peraturan WAF, Pengurusan Bot, had kadar, dasar geo, dan cabaran pelayar. Had kadar hanyalah satu bahagian daripada penyelesaian, tetapi ia sering kali perkara pertama yang perlu diperbaiki.
Apabila sekatan Cloudflare meningkat:
- jadwalkan pekerjaan secara bertahap
- kurangkan kadar permintaan per laluan
- tambah penangguhan selepas cabaran
- elakkan serangan langsung ke laluan sensitif
- gunakan caching jika boleh
- kekalkan sesi stabil jika perlu
- sahkan kandungan yang dikembalikan
- bandingkan jenis laluan dengan teliti
Jangan bergantung pada penukaran proksi yang agresif sahaja. Jika corak permintaan adalah masalahnya, menukar IP mungkin tidak menyelesaikannya.
Untuk butiran berkaitan, lihat Sekatan Cloudflare Dijelaskan untuk Pembangun.
Jitter: Mengapa Kebarangkalian Membantu
Penjadualan yang sempurna oleh mesin mudah dikesan dan boleh mencipta lonjakan yang diselaraskan.
Jitter bermaksud menambah variasi rawak kecil kepada masa permintaan.
Gunakan jitter untuk:
- selang permintaan
- kelewatan percubaan semula
- permulaan pekerja
- masa pengisian token
- tetingkap jadual pengikisan
- menunggu tindakan pelayar
Contoh:
Daripada menghantar satu permintaan tepat setiap saat, hantarkan permintaan seterusnya selepas kelewatan rawak antara 0.8 dan 1.2 saat.
Jitter harus sederhana dan terkawal. Ia bukan bertujuan untuk meniru tingkah laku manusia secara sembrono. Ia hanya mengelakkan corak trafik yang tajam dan diselaraskan.
Strategi Penangguhan
Penangguhan adalah cara penyapu memperlahankan selepas kesalahan.
Strategi penangguhan yang praktikal:
- percubaan semula sekali untuk kesalahan rangkaian sementara
- gunakan penangguhan eksponen untuk 429 dan 5xx
- terapkan penangguhan yang lebih lama selepas halaman CAPTCHA atau cabaran
- hadkan jumlah percubaan semula
- berhenti mencuba semula 403 yang berulang tanpa diagnosis
- lalukan kegagalan keras untuk semakan
Contoh logik backoff:
Attempt 1: wait 2 seconds
Attempt 2: wait 4 seconds
Attempt 3: wait 8 seconds
Then stop or queue for later review
Tambah jitter kepada setiap waktu menunggu.
Retry yang mendalam biasanya meningkatkan CPSR dan boleh memburukkan sekatan.
Had Kadar Sesi-Sedar
Had kadar sesi-sedar bukan sahaja menjejak domain tetapi juga sesi.
Ini penting untuk:
- aliran log masuk
- troli
- ujian pembayaran
- pemilihan kedai
- penomboran halaman
- semakan SERP tempatan
- pelayaran berat JavaScript
- semakan variasi produk
Jika sesi itu berharga, jangan membebankannya.
Jejaki:
- halaman per sesi
- tempoh sesi
- sekatan per sesi
- kedalaman retry per sesi
- kelangsungan sesi
- penugasan proksi
- keadaan cookie
Jika sesi gagal awal, kurangkan kadar per sesi dan pertimbangkan untuk menggunakan lebih banyak sesi pada kelajuan yang lebih rendah daripada memaksa satu sesi lebih keras.
Untuk tingkah laku penghalaan, lihat Proksi Berputar vs Statik.
Strategi Proksi dan Had Kadar
Jenis proksi mempengaruhi kelajuan yang selamat.
Proksi pusat data mungkin menyokong kelajuan yang lebih tinggi pada halaman awam yang toleran, tetapi mereka mungkin menghadapi sekatan yang lebih kuat di laman yang berhadapan dengan pengguna.
Proksi kediaman mungkin meningkatkan akses dan ketepatan geo, tetapi mereka masih perlu dihadkan dengan teliti.
Proksi ISP mungkin berfungsi dengan baik untuk sesi berulang yang stabil.
Proksi mudah alih mungkin memerlukan kadar yang lebih rendah disebabkan oleh kos, latensi, dan tingkah laku pembawa.
Strategi yang baik menghala berdasarkan beban kerja:
| Beban Kerja | Laluan Proksi | Strategi Kadar |
|---|---|---|
| Halaman awam statik | Pusat data | RPS sederhana, lebih tinggi jika ditoleransi |
| Halaman produk | Pusat data pertama, fallback kediaman | Had konservatif per domain |
| SEO tempatan | Kediaman | Sesi sedar lokasi, kurang ledakan |
| Aliran log masuk | Laluan statik atau melekit | Kelajuan rendah, kesinambungan sesi tinggi |
| Halaman sensitif Cloudflare | Kediaman atau hibrid | Backoff ketat dan had laluan |
| Automasi pelayar berat | Kediaman atau ISP | Kesinambungan rendah, cooldown lebih lama |
Untuk pemilihan jenis proksi, lihat Pusat Data vs Kediaman vs Proksi ISP Dijelaskan.
Sekatan Lembut dan Had Kadar
Sebuah scraper boleh dihadkan kadar tanpa menerima 429.
Sekatan lembut berlaku apabila pelayan mengembalikan HTTP 200 tetapi kandungannya tidak sah atau tidak lengkap.
Contoh:
- harga produk hilang
- hasil SERP hilang
- templat halaman generik
- halaman salah wilayah
- CAPTCHA tersembunyi dalam HTML
- data inventori kosong
- respons identik berulang
- kandungan basi
Had kadar juga harus bertindak balas terhadap sekatan lembut. Jika kadar sekatan lembut meningkat, perlahan, periksa sampel kegagalan, dan sahkan sama ada masalahnya adalah laluan, sesi, laluan, atau pengalihan parser.
Apa yang Perlu Diukur
Had kadar harus diselaraskan melalui metrik, bukan tekaan.
| Metrik | Mengapa Ia Penting |
|---|---|
| Kadar kejayaan | Menunjukkan output yang sah |
| Kadar sekatan | Menangkap halaman 403, 429, CAPTCHA, dan cabaran |
| Kadar sekatan lembut | Mengesan kandungan tidak sah yang dikembalikan sebagai kejayaan |
| CPSR | Mengukur kos per hasil yang berjaya |
| Kedalaman ulang | Menunjukkan ketidakstabilan tersembunyi |
| P95 latensi | Mendedahkan tekanan sasaran atau laluan |
| Kadar aliran | Mengukur halaman sah per minit |
| Kelangsungan sesi | Menunjukkan kestabilan aliran kerja berbilang langkah |
| Ketepatan geo | Mengesahkan kesahan sensitif lokasi |
| Kelewatan barisan | Menunjukkan sama ada had terlalu ketat untuk matlamat kesegaran |
Ukur ini mengikut domain, jenis laluan, laluan proksi, wilayah, dan pekerja pengikis. Purata menyembunyikan masalah.
Kawalan Kos: Optimumkan untuk CPSR, Bukan Kelajuan Kasar
Seorang pengikis mungkin mengumpul lebih banyak halaman per minit tetapi masih menelan kos lebih jika sekatan dan ulang meningkat.
Gunakan CPSR untuk membandingkan tetapan.
Contoh:
- Tetapan A: 10,000 permintaan, 70% kejayaan, ulang tinggi
- Tetapan B: 7,000 permintaan, 95% kejayaan, ulang rendah
Tetapan B mungkin menghasilkan lebih banyak data yang boleh digunakan dengan kos yang lebih rendah walaupun ia menghantar permintaan yang lebih sedikit.
Had kadar terbaik sering kali di bawah kadar maksimum yang boleh dihantar oleh sistem secara teknikal.
Senario Dunia Nyata: Penjejak Harga E-Dagang
Sebuah pasukan pemantauan harga mengumpul harga produk dari 40 domain peruncit.
Tetapan lama menjalankan semua tugas pada awal jam. Sekatan meningkat, ulang meningkat, dan medan harga hilang.
Tetapan yang diperbaiki:
- mengatur tingkap pengikisan
- mengenakan had per-domain
- mengenakan had yang lebih ketat kepada titik akhir carian
- menggunakan proksi kediaman untuk halaman produk sensitif
- menambah jitter dan backoff eksponen
- mengesahkan harga, mata wang, dan ketersediaan sebelum menyimpan data
Hasilnya adalah kurang sekatan, data yang lebih bersih, dan CPSR yang lebih rendah.
Senario Dunia Nyata: Pengumpul Tambang Perjalanan
Sebuah platform perjalanan mengumpul data tambang dan ketersediaan dari halaman yang berat JavaScript.
Tetapan lama menjalankan terlalu banyak sesi pelayar sekaligus. Latensi meningkat, masa tamat meningkat, dan kelangsungan sesi menurun.
Tetapan yang diperbaiki:
- mengehadkan keserentakan pelayar per identiti
- menambah cooldown yang lebih lama selepas 403s
- memisahkan halaman pendaratan awam dari halaman hasil dinamik
- menggunakan sesi melekit untuk aliran carian penuh
- memantau latensi p95 dan kedalaman ulang
Aliran kerja menjadi lebih perlahan per permintaan tetapi lebih cepat per hasil yang sah.
Senario Dunia Nyata: Pemantauan SEO Tempatan
Sebuah pasukan SEO mengumpul SERP tempatan di ratusan lokasi.
Tetapan lama menggunakan jadual dan kadar yang sama untuk setiap bandar. Beberapa semakan bandar mengembalikan sekatan atau SERP lokasi yang salah.
Tetapan yang diperbaiki:
- menggunakan barisan khusus lokasi
- mengehadkan permintaan per bandar dan laluan proksi
- menambah jitter kepada jadual
- mengesahkan isyarat bandar pek tempatan
- memperlahankan pasaran dengan kadar sekatan yang lebih tinggi
Laporan menjadi lebih boleh dipercayai kerana sistem memisahkan pergerakan kedudukan dari ketidakstabilan pengumpulan.
Mod Kegagalan Umum
Autoscaling Berlebihan
Pekerja baru bermula pada masa yang sama dan membebankan domain sasaran.
Penyelesaian: atur permulaan pekerja dan kekalkan keadaan penampan merentasi penyebaran.
Had Global Sahaja
Had global mungkin kelihatan selamat sementara satu proksi atau laluan dibebani.
Penyelesaian: mengenakan had per-domain, per-laluan, dan per-identiti.
Mengabaikan Sensitiviti Laluan
Titik akhir carian, troli, log masuk, dan ketersediaan mungkin memerlukan had yang lebih ketat daripada halaman produk.
Penyelesaian: mengklasifikasikan laluan dan menetapkan penampan yang berasingan.
Terlalu Meningkat
Meningkatkan RPS terlalu cepat selepas satu tingkap stabil boleh mencipta osilasi.
Penyelesaian: tingkatkan perlahan-lahan dan memerlukan beberapa tingkap stabil.
Ulang Buta
Ulang tanpa backoff meningkatkan tekanan dan kos.
Penyelesaian: hadkan ulang dan klasifikasikan ralat.
Mengabaikan Latensi
Kenaikan latensi p95 sering muncul sebelum blok.
Fix: kurangkan keserentakan apabila latensi meningkat.
Senarai Semak Pelaksanaan
Sebelum pelancaran pengeluaran:
- Tentukan had per-domain.
- Tentukan had per-path.
- Tentukan had per-identity.
- Gunakan token bucket atau limiter adaptif.
- Tambah had keserentakan.
- Tambah jitter kepada jadual dan percubaan semula.
- Hormati header Retry-After.
- Tambah exponential backoff.
- Hadkan kedalaman percubaan semula.
- Jejaki kadar kejayaan dan kadar blok.
- Jejaki blok lembut.
- Jejaki CPSR.
- Simpan sampel kegagalan.
- Laraskan had mengikut laluan dan beban kerja.
- Semak pematuhan dan peraturan akses.
Untuk corak penyediaan, lihat tutorial proxy SquidProxies dan kes penggunaan proxy yang lebih luas.
Soalan Lazim
Apakah itu had kadar dalam pengikisan?
Had kadar mengawal seberapa cepat pengikis menghantar permintaan dan berapa banyak permintaan yang berjalan serentak. Ia membantu mengurangkan blok, timeout, percubaan semula, dan tekanan pada laman sasaran.
Apakah kadar pengikisan yang selamat?
Tiada kadar selamat yang universal. Mulakan dengan berhati-hati, pantau kadar blok dan latensi, kemudian tingkatkan secara beransur-ansur. Halaman statik mungkin dapat menampung kadar yang lebih tinggi berbanding dengan aliran kerja yang berat JavaScript, log masuk, troli, atau carian.
Patutkah saya hadkan mengikut IP atau domain?
Kedua-duanya. Gunakan had per-domain untuk mengawal jumlah trafik ke laman dan had per-identity untuk mengelakkan penggunaan berlebihan satu proxy, sesi, atau akaun.
Apa yang perlu saya lakukan selepas ralat 429?
Perlahankan. Hormati header Retry-After, kurangkan RPS, tambah backoff, dan elakkan percubaan semula segera.
Adakah menambah lebih banyak proxy menyelesaikan had kadar?
Tidak selalu. Lebih banyak proxy boleh mengagihkan trafik, tetapi jika sasaran mempunyai had per-path atau berasaskan tingkah laku, aliran kerja masih memerlukan penyesuaian yang lebih baik.
Adakah token bucket baik untuk pengikis?
Ya. Token bucket adalah pilihan default yang kuat kerana ia mengawal kadar permintaan purata sambil membenarkan letupan terhad. Pasangkan dengan had keserentakan dan backoff.
Bagaimana had kadar mengurangkan CPSR?
Pacing yang lebih baik mengurangkan blok dan percubaan semula. Lebih sedikit percubaan semula bermakna perbelanjaan proxy yang lebih sedikit, pembaziran pengiraan yang kurang, dan lebih banyak hasil yang sah per dolar.
Bagaimana saya menyesuaikan had untuk automasi pelayar?
Gunakan keserentakan yang lebih rendah, timeout yang lebih lama, sesi melekit, dan backoff yang lebih ketat. Sesi pelayar lebih berat dan lebih sensitif daripada permintaan HTTP yang mudah.
Apakah metrik yang perlu saya pantau?
Jejaki kadar kejayaan, kadar blok, kadar blok lembut, CPSR, kedalaman percubaan semula, latensi p95, throughput, kelangsungan sesi, ketepatan geo, dan kelewatan barisan.
Pemikiran Akhir
Amalan terbaik had kadar untuk pengikis adalah tentang kawalan, maklum balas, dan pengukuran. Nombor tetap boleh berfungsi untuk percubaan kecil, tetapi sistem pengeluaran memerlukan had adaptif yang bertindak balas kepada blok, latensi, percubaan semula, dan kualiti data.
Mulakan dengan berhati-hati. Hadkan mengikut domain, laluan, dan identiti. Tambah jitter dan backoff. Hormati isyarat had kadar. Jejaki CPSR, bukan hanya jumlah permintaan. Tingkatkan kelajuan hanya selepas tingkap prestasi stabil.
Pengikis terbaik bukanlah yang menghantar permintaan terbanyak. Ia adalah yang mengembalikan data yang paling sah dengan kos yang paling rendah dan berdaya tahan.


