একটি বড় ভাষার মডেল হল একটি ধরনের AI সিস্টেম যা বিশাল পরিমাণের টেক্সটের উপর প্রশিক্ষিত হয় মানবসদৃশ টেক্সট বোঝার এবং তৈরি করার জন্য। সেই টেক্সটের অনেকটাই জনসাধারণের ওয়েব ডেটা থেকে আসে যা C4, RefinedWeb এবং Dolma-এর মতো কর্পাসে সংগৃহীত হয়।
প্রশিক্ষণের পাশাপাশি, ওয়েব ডেটা রিট্রিভাল-অগমেন্টেড জেনারেশন এর জন্যও ব্যবহৃত হয়, যেখানে একটি মডেল একটি অনুসন্ধান সূচী মত একটি বাইরের উৎস থেকে প্রাসঙ্গিক তথ্য উদ্ধার করে, তারপরে এটি একটি প্রতিক্রিয়া তৈরি করে।
প্রশিক্ষণ ডেটাসেটের আকারই একমাত্র বিষয় নয় যা গুরুত্বপূর্ণ। ডেটার গুণগত মানও গুরুত্বপূর্ণ। RefinedWeb গবেষণায় দেখা গেছে যে সঠিকভাবে ফিল্টার এবং ডিডুপ্লিকেট করা ওয়েব ডেটা একা শক্তিশালী মডেল তৈরি করতে পারে।
LLM-এর উদাহরণ
অ্যাপ এবং API-এর মাধ্যমে ব্যবহৃত মালিকানা মডেল:
- GPT: OpenAI-এর মডেল, যা OpenAI API-এর মাধ্যমে উপলব্ধ।
- Claude: Anthropic দ্বারা উন্নত একটি বড় ভাষার মডেলের পরিবার।
- Gemini: Google-এর মডেল, যা Gemini API-এর মাধ্যমে উপলব্ধ।
ডাউনলোডযোগ্য ওপেন-ওজন মডেল:
- Llama: Meta-এর মডেল, Llama 2 (2023) থেকে Llama 4 (2025) পর্যন্ত প্রকাশিত।
- Mistral: Apache 2.0 লাইসেন্সের অধীনে প্রকাশিত কয়েকটি মডেল, যেমন Mistral 7B এবং Mixtral 8x7B।
- gpt-oss: দুটি OpenAI মডেল, gpt-oss-120b এবং gpt-oss-20b, যা আগস্ট 2025-এ Apache 2.0-এর অধীনে প্রকাশিত।