Pengunci web adalah layanan pengambilan data yang dikelola yang menangani langkah-langkah anti-bot untuk Anda, seperti CAPTCHA, sidik jari browser, percobaan ulang, dan pemilihan proxy, dan mengembalikan halaman target melalui satu titik akhir. Alih-alih mengatur header dan memutar IP sendiri, Anda mengirimkan permintaan dan layanan tersebut bekerja untuk mendapatkan respons yang berhasil.
Beberapa penyedia menyebut kategori yang sama sebagai "penghapus web." Layanan dalam kategori ini dapat digunakan sebagai titik akhir proxy, di mana Anda mengirimkan opsi dalam header permintaan kustom, atau melalui REST API.
Apa yang Ditangani oleh Pengunci Web
- CAPTCHA dan tantangan: Layanan ini secara otomatis menyelesaikan CAPTCHA dan tantangan anti-bot.
- Header dan sidik jari: Ini mengatur header permintaan dan sidik jari browser untuk mencocokkan lalu lintas pengguna nyata.
- Percobaan ulang: Upaya yang gagal dicoba kembali dengan konfigurasi yang berbeda hingga permintaan berhasil atau layanan menyerah.
- Pemilihan dan rotasi proxy: Ini memilih dan memutar proxy yang digunakan untuk setiap target.
- Penyajian JavaScript: Beberapa layanan dapat menyajikan JavaScript atas permintaan, misalnya melalui header permintaan.
Pengunci Web vs. Proxy Standar
Proxy standar meneruskan permintaan Anda dan menyerahkan penanganan deteksi kepada Anda. Pengunci web menambahkan logika anti-bot di atas jaringan proxy. Beberapa layanan hanya mengenakan biaya untuk permintaan yang mengembalikan respons yang berhasil.
Output dan Batasan
- Output: Layanan ini mengembalikan halaman target, biasanya sebagai HTML mentah. Beberapa layanan dapat mengembalikan JSON ketika Anda mengatur opsi format.
- Tidak ada otomatisasi browser: Pengunci web tidak dirancang untuk mengklik, mengisi formulir, atau mengoperasikan browser tanpa kepala seperti Playwright, Selenium, atau Puppeteer melalui titik akhir.
- Pemeriksaan sertifikat: Ketika digunakan sebagai titik akhir proxy, beberapa layanan mengharuskan klien untuk melewati verifikasi sertifikat TLS untuk titik akhir tersebut.