نموذج اللغة الكبير هو نوع من أنظمة الذكاء الاصطناعي المدربة على كميات هائلة من النصوص لفهم وتوليد نصوص تشبه النصوص البشرية. يأتي الكثير من هذا النص من بيانات الويب العامة التي تم تجميعها في مجموعات بيانات مثل C4 وRefinedWeb وDolma.
بالإضافة إلى التدريب، تُستخدم بيانات الويب أيضًا في التوليد المعزز بالاسترجاع، حيث يسترجع النموذج معلومات ذات صلة من مصدر خارجي، مثل فهرس البحث، قبل أن يولد استجابة.
حجم مجموعة بيانات التدريب ليس الشيء الوحيد الذي يهم. جودة البيانات مهمة أيضًا. وجدت دراسة RefinedWeb أن بيانات الويب المفلترة والمكررة بشكل صحيح يمكن أن تؤدي وحدها إلى نماذج قوية.
أمثلة على نماذج LLMs
نماذج مملوكة، تُستخدم من خلال التطبيقات وواجهات برمجة التطبيقات:
- GPT: نماذج OpenAI، المتاحة من خلال واجهة برمجة تطبيقات OpenAI.
- Claude: عائلة من نماذج اللغة الكبيرة التي طورتها Anthropic.
- Gemini: نماذج Google، المتاحة من خلال واجهة برمجة تطبيقات Gemini.
نماذج ذات وزن مفتوح، يمكن تنزيل أوزانها:
- Llama: نماذج Meta، مع إصدارات من Llama 2 (2023) إلى Llama 4 (2025).
- Mistral: عدة نماذج صدرت بموجب ترخيص Apache 2.0، مثل Mistral 7B وMixtral 8x7B.
- gpt-oss: نموذجين من OpenAI، gpt-oss-120b وgpt-oss-20b، صدرا بموجب Apache 2.0 في أغسطس 2025.