Koneksi bersamaan, yang sering disebut sebagai utas, adalah jumlah permintaan yang dapat Anda buka melalui proxy pada saat yang sama. Batas 50 berarti hingga 50 permintaan dapat berjalan secara paralel. Ketika satu selesai, yang lain dapat dimulai. Lebih banyak koneksi bersamaan menyelesaikan pekerjaan besar lebih cepat, tetapi setiap koneksi yang terbuka juga menggunakan sumber daya pada proxy dan server target.

Status 429 Too Many Requests berarti Anda telah mengirim terlalu banyak permintaan dalam waktu tertentu.

Utas, Koneksi, dan Permintaan

  • Utas: Sebuah unit kerja dalam program Anda sendiri. Dalam scraper sederhana, setiap utas mengirim satu permintaan dan menunggu responsnya.
  • HTTP/1.x: Satu koneksi menangani permintaan sebagian besar satu per satu, sehingga klien HTTP/1.0 dan HTTP/1.1 membuka beberapa koneksi untuk membuat permintaan bersamaan.
  • HTTP/2: Banyak permintaan, yang disebut aliran, dapat diselingi pada satu koneksi. Server menetapkan batasnya dengan SETTINGS_MAX_CONCURRENT_STREAMS.
  • Mengapa ini penting: Jumlah utas Anda, koneksi terbuka, dan permintaan yang sedang diproses tidak selalu merupakan angka yang sama, jadi periksa yang mana yang dirujuk oleh batas.

Memilih Tingkat Koneksi yang Aman

  • Bersikap konservatif: Spesifikasi HTTP/1.1 (RFC 9112) mengatakan bahwa klien seharusnya membatasi jumlah koneksi terbuka yang bersamaan ke server tertentu. Ini tidak menetapkan maksimum tetap.
  • Mengapa: Setiap koneksi mengonsumsi sumber daya server, dan banyak koneksi paralel dapat menyebabkan kemacetan yang dapat dihindari dengan lebih sedikit koneksi.
  • Hormati Retry-After: Respons 429 Too Many Requests mungkin menyertakan header Retry-After yang mengatakan berapa lama harus menunggu sebelum mencoba lagi.

Istilah Terkait