Model bahasa besar adalah sejenis sistem AI yang dilatih dengan jumlah teks yang besar untuk memahami dan menghasilkan teks yang menyerupai manusia. Sebahagian besar teks tersebut berasal dari data web awam yang dikumpulkan menjadi korpus seperti C4, RefinedWeb, dan Dolma.
Selain latihan, data web juga digunakan untuk generasi yang diperkaya dengan pengambilan, di mana model mengambil maklumat yang relevan dari sumber luar, seperti indeks carian, sebelum ia menghasilkan respons.
Saiz dataset latihan bukanlah satu-satunya perkara yang penting. Kualiti data juga penting. Kajian RefinedWeb mendapati bahawa data web yang disaring dan dihapuskan dengan betul boleh menghasilkan model yang berkuasa.
Contoh LLM
Model proprietari, digunakan melalui aplikasi dan API:
- GPT: Model OpenAI, tersedia melalui API OpenAI.
- Claude: Keluarga model bahasa besar yang dibangunkan oleh Anthropic.
- Gemini: Model Google, tersedia melalui API Gemini.
Model berat terbuka, yang beratnya boleh dimuat turun:
- Llama: Model Meta, dengan keluaran dari Llama 2 (2023) hingga Llama 4 (2025).
- Mistral: Beberapa model yang dikeluarkan di bawah lesen Apache 2.0, seperti Mistral 7B dan Mixtral 8x7B.
- gpt-oss: Dua model OpenAI, gpt-oss-120b dan gpt-oss-20b, dikeluarkan di bawah Apache 2.0 pada bulan Ogos 2025.