एक बड़ा भाषा मॉडल एक प्रकार की एआई प्रणाली है जिसे मानव-समान पाठ को समझने और उत्पन्न करने के लिए विशाल मात्रा में पाठ पर प्रशिक्षित किया गया है। उस पाठ का अधिकांश भाग सार्वजनिक वेब डेटा से आता है जिसे C4, RefinedWeb, और Dolma जैसे कॉर्पोरा में संकलित किया गया है।
प्रशिक्षण के अलावा, वेब डेटा का उपयोग पुनर्प्राप्ति-संवर्धित उत्पादन के लिए भी किया जाता है, जहाँ एक मॉडल एक बाहरी स्रोत, जैसे कि खोज अनुक्रमणिका से प्रासंगिक जानकारी प्राप्त करता है, इससे पहले कि वह एक प्रतिक्रिया उत्पन्न करे।
प्रशिक्षण डेटासेट का आकार ही एकमात्र महत्वपूर्ण बात नहीं है। डेटा की गुणवत्ता भी महत्वपूर्ण है। RefinedWeb अध्ययन ने पाया कि सही तरीके से फ़िल्टर और डेडुप्लिकेट किया गया वेब डेटा अकेले शक्तिशाली मॉडलों की ओर ले जा सकता है।
LLM के उदाहरण
ऐप्स और एपीआई के माध्यम से उपयोग किए जाने वाले स्वामित्व मॉडल:
- GPT: OpenAI के मॉडल, जो OpenAI API के माध्यम से उपलब्ध हैं।
- Claude: Anthropic द्वारा विकसित बड़े भाषा मॉडलों का एक परिवार।
- Gemini: Google के मॉडल, जो Gemini API के माध्यम से उपलब्ध हैं।
डाउनलोड किए जा सकने वाले ओपन-वेट मॉडल:
- Llama: Meta के मॉडल, Llama 2 (2023) से लेकर Llama 4 (2025) तक के रिलीज़ के साथ।
- Mistral: Apache 2.0 लाइसेंस के तहत जारी किए गए कई मॉडल, जैसे Mistral 7B और Mixtral 8x7B।
- gpt-oss: दो OpenAI मॉडल, gpt-oss-120b और gpt-oss-20b, अगस्त 2025 में Apache 2.0 के तहत जारी किए गए।