Throughput adalah laju di mana data sebenarnya dikirimkan melalui sebuah koneksi, diukur seiring waktu dan biasanya dinyatakan dalam bit per detik, seperti Mbps. Berbeda dengan bandwidth, yang merupakan kapasitas sebuah tautan, throughput adalah apa yang berhasil dikirim setelah penundaan, kehilangan paket, dan overhead protokol mengambil bagiannya.
Standar IETF untuk menguji throughput TCP, RFC 6349, menyebut laju data yang dibawa di atas header TCP/IP sebagai "goodput," yang lebih rendah dari laju mentah di kabel.
Throughput vs. Bandwidth vs. Latency
| Throughput | Bandwidth | Latency | |
|---|---|---|---|
| Pertanyaan yang dijawab | Seberapa cepat data tiba? | Seberapa banyak yang bisa dibawa tautan? | Berapa lama setiap pertukaran berlangsung? |
| Apa yang diukur | Data yang sebenarnya dikirim per detik | Sebagian besar data yang bisa dibawa tautan per detik | Waktu untuk data melakukan perjalanan pergi dan kembali |
| Satuan umum | Mbps | Mbps atau Gbps | Milidetik |
Dalam penetapan harga proxy, "bandwidth" biasanya berarti total data yang ditransfer dalam GB, bukan kecepatan. Lihat bandwidth untuk perbedaannya.
Mengapa Throughput Jatuh di Bawah Bandwidth
- Overhead protokol: setelah header IP 20-byte dan header TCP 20-byte ditambah framing Ethernet, tautan Ethernet 100 Mbps membawa sekitar 94.9 Mbps dari TCP goodput pada maksimum.
- Jendela terima dan waktu perjalanan pulang: throughput satu koneksi dibatasi oleh jendela terima (dalam bit) dibagi dengan waktu perjalanan pulang. Jalur 100 Mbps dengan waktu perjalanan pulang 5 ms dan jendela 16 KB mencapai maksimum 25.6 Mbps.
- Produk bandwidth-penundaan: untuk mengisi sebuah tautan, jendela terima harus setidaknya kapasitas tautan dikalikan dengan penundaan perjalanan pulang.
- Kehilangan paket: jendela kemacetan TCP dihitung dari tingkat kehilangan jalur, dan paket yang hilang harus dikirim ulang.
Bagaimana Throughput Diukur
Tes throughput TCP memindahkan data nyata dan mengukurnya:
- Transfer blok data: Waktu Transfer TCP Aktual adalah waktu yang dibutuhkan untuk mengirim blok tersebut melalui koneksi atau koneksi.
- Bandingkan dengan yang ideal: Rasio Waktu Transfer membagi waktu transfer aktual dengan waktu transfer ideal untuk jalur tersebut.
- Hitung pengulangan: Efisiensi TCP adalah persentase byte yang tidak dikirim ulang.
Periksa satuan saat Anda membandingkan hasil. Kecepatan jaringan dinyatakan dalam bit per detik, sementara beberapa alat melaporkan byte per detik. Satu byte adalah 8 bit, jadi 12.5 MB per detik sama dengan 100 Mbps. curl, misalnya, melaporkan nilai speed_download sebagai kecepatan rata-rata dari unduhan lengkap dalam byte per detik.
Sebuah Proxy Mengurangi Throughput Per-Koneksi
Sebuah koneksi TCP tunggal dapat memindahkan paling banyak satu jendela terima data per perjalanan pulang. Sebuah proxy menambahkan satu lagi bagian ke jalur, sehingga perjalanan pulang bertambah dan jendela yang sama mengirimkan lebih sedikit per detik.
- Contoh yang dikerjakan: dengan jendela 16 KB, perjalanan pulang 5 ms membatasi satu koneksi pada 25.6 Mbps. Pada 50 ms, jendela yang sama memberikan 2.56 Mbps.
- Lebih banyak koneksi mengisi pipa: jendela yang lebih kecil membutuhkan lebih banyak koneksi paralel untuk mengisi sebuah tautan. Jalur 500 Mbps dengan perjalanan pulang 5 ms membutuhkan 20 koneksi dengan jendela 16 KB, atau 5 dengan jendela 64 KB.
Jadi, unduhan tunggal yang lambat melalui proxy yang jauh tidak berarti tautan proxy lambat. Perjalanan pulang mungkin menjadi batasnya.
Apa Artinya untuk Web Scraping
- Bandingkan proxy pada pengujian yang sama: waktu unduhan tetap ke target yang sama melalui setiap proxy, karena throughput berubah dengan jarak dan jalur. Dalam curl,
time_connectmenunjukkan kapan koneksi TCP ke proxy selesai, terpisah daritime_total. - Skala dengan koneksi paralel, dalam batas: koneksi bersamaan meningkatkan total throughput, tetapi HTTP/1.1 mengatakan bahwa klien seharusnya membatasi koneksi simultan ke satu server. AutoThrottle Scrapy bertujuan untuk menjaga jumlah permintaan yang ditargetkan dalam penerbangan, dan dokumennya mengatakan bahwa meningkatkan target tersebut meningkatkan throughput dan beban pada server.
- Gunakan kembali koneksi untuk halaman kecil: setiap koneksi baru menghabiskan perjalanan pulang pergi untuk DNS, TCP, dan pengaturan TLS sebelum data mengalir, jadi menggunakan kembali satu koneksi menyimpan lebih banyak waktu untuk transfer.