Pemrosesan data adalah proses ekstraksi informasi terstruktur yang dapat digunakan dari konten mentah yang diambil, seperti HTML, JSON, atau XML, dan mengubahnya menjadi format bersih seperti spreadsheet atau catatan basis data. Pemrosesan adalah langkah yang mengubah halaman web yang diambil menjadi data yang benar-benar dapat digunakan.
Pendekatan Pemrosesan Umum
- Perpustakaan pemrosesan HTML (seperti BeautifulSoup atau Cheerio), yang menavigasi struktur DOM halaman untuk mengekstrak elemen tertentu
- Kueri pemilih CSS atau XPath, yang menargetkan elemen berdasarkan tag, atribut, atau posisi mereka dalam pohon dokumen
Memproses HTML yang Salah Format
Halaman nyata sering kali mengandung markup yang tidak valid, dan pemroses tidak memperbaikinya dengan cara yang sama. Dokumen Beautiful Soup menunjukkan input <a></p> menjadi <a></a> dalam html.parser Python, <html><body><a></a></body></html> dalam lxml, dan <html><head></head><body><a><p></p></a></body></html> dalam html5lib, yang memproses seperti browser. Dokumen merekomendasikan untuk menamai pemroses secara eksplisit agar kode memberikan hasil yang sama di setiap mesin.
Memproses JSON
Respon JSON diproses langsung menjadi objek alih-alih dicari sebagai markup. Dalam JavaScript, JSON.parse() membangun nilai yang dijelaskan oleh string JSON dan melempar SyntaxError jika string tersebut bukan JSON yang valid, misalnya ketika memiliki koma di akhir atau string yang diapit tanda kutip tunggal.