تحليل البيانات هو عملية استخراج معلومات منظمة وقابلة للاستخدام من محتوى خام تم جمعه، مثل HTML أو JSON أو XML، وتحويلها إلى تنسيق نظيف مثل جدول بيانات أو سجل قاعدة بيانات. التحليل هو الخطوة التي تحول صفحة ويب خام تم جمعها إلى بيانات قابلة للاستخدام فعليًا.
طرق التحليل الشائعة
- مكتبات تحليل HTML (مثل BeautifulSoup أو Cheerio)، التي تتنقل في هيكل DOM للصفحة لاستخراج عناصر معينة
- استعلامات محدد CSS أو XPath، التي تستهدف العناصر حسب العلامات أو السمات أو الموقع في شجرة الوثيقة
تحليل HTML غير الصحيح
غالبًا ما تحتوي الصفحات الحقيقية على تعليمات برمجية غير صالحة، ولا تقوم أدوات التحليل بإصلاحها بنفس الطريقة. توضح وثائق Beautiful Soup أن المدخلات <a></p> تصبح <a></a> في محلل HTML الخاص بـ Python، و <html><body><a></a></body></html> في lxml، و <html><head></head><body><a><p></p></a></body></html> في html5lib، الذي يقوم بالتحليل مثل المتصفح. توصي الوثائق بتسمية المحلل بشكل صريح حتى تعطي الشيفرة نفس النتائج على كل جهاز.
تحليل JSON
تتم معالجة استجابات JSON مباشرة إلى كائنات بدلاً من البحث عنها كتعليمات برمجية. في JavaScript، JSON.parse() يبني القيمة التي يصفها سلسلة JSON ويرمي SyntaxError إذا كانت السلسلة ليست JSON صالحًا، على سبيل المثال عندما تحتوي على فاصلة زائدة أو سلاسل محاطة بعلامات اقتباس مفردة.