ایک بڑا زبان ماڈل ایک قسم کا AI نظام ہے جو انسانی طرز کی تحریر کو سمجھنے اور پیدا کرنے کے لیے بڑے پیمانے پر متن پر تربیت دیا گیا ہے۔ اس متن کا زیادہ تر حصہ عوامی ویب ڈیٹا سے آتا ہے جسے C4، RefinedWeb، اور Dolma جیسے کارپورا میں جمع کیا گیا ہے۔
تربیت کے علاوہ، ویب ڈیٹا ریٹریول-اگمینٹڈ جنریشن کے لیے بھی استعمال ہوتا ہے، جہاں ماڈل جواب پیدا کرنے سے پہلے کسی خارجی ماخذ، جیسے کہ سرچ انڈیکس، سے متعلقہ معلومات حاصل کرتا ہے۔
تربیتی ڈیٹا سیٹ کے حجم کے علاوہ، ڈیٹا کے معیار کی بھی اہمیت ہے۔ RefinedWeb کے مطالعے نے پایا کہ صحیح طور پر فلٹر اور ڈی ڈوپلیکیٹ کیا گیا ویب ڈیٹا اکیلے طاقتور ماڈلز کی تشکیل کر سکتا ہے۔
LLMs کی مثالیں
ایپلیکیشنز اور APIs کے ذریعے استعمال ہونے والے ملکیتی ماڈلز:
- GPT: OpenAI کے ماڈلز، جو OpenAI API کے ذریعے دستیاب ہیں۔
- Claude: Anthropic کی طرف سے تیار کردہ بڑے زبان ماڈلز کا خاندان۔
- Gemini: گوگل کے ماڈلز، جو Gemini API کے ذریعے دستیاب ہیں۔
اوپن-ویٹ ماڈلز، جن کے وزن ڈاؤن لوڈ کیے جا سکتے ہیں:
- Llama: Meta کے ماڈلز، Llama 2 (2023) سے لے کر Llama 4 (2025) تک کے ریلیز۔
- Mistral: کئی ماڈلز جو Apache 2.0 لائسنس کے تحت جاری کیے گئے، جیسے Mistral 7B اور Mixtral 8x7B۔
- gpt-oss: دو OpenAI ماڈلز، gpt-oss-120b اور gpt-oss-20b، جو اگست 2025 میں Apache 2.0 کے تحت جاری کیے گئے۔