Model bahasa besar adalah jenis sistem AI yang dilatih pada volume teks yang sangat besar untuk memahami dan menghasilkan teks yang mirip dengan manusia. Sebagian besar teks tersebut berasal dari data web publik yang disusun menjadi korpora seperti C4, RefinedWeb, dan Dolma.
Selain pelatihan, data web juga digunakan untuk generasi yang ditingkatkan dengan pengambilan, di mana model mengambil informasi relevan dari sumber eksternal, seperti indeks pencarian, sebelum menghasilkan respons.
Ukuran dataset pelatihan bukanlah satu-satunya hal yang penting. Kualitas data juga penting. Studi RefinedWeb menemukan bahwa data web yang difilter dan dihapus duplikatnya dengan benar dapat menghasilkan model yang kuat.
Contoh LLM
Model kepemilikan, digunakan melalui aplikasi dan API:
- GPT: Model OpenAI, tersedia melalui API OpenAI.
- Claude: Keluarga model bahasa besar yang dikembangkan oleh Anthropic.
- Gemini: Model Google, tersedia melalui API Gemini.
Model berat terbuka, yang bobotnya dapat diunduh:
- Llama: Model Meta, dengan rilis dari Llama 2 (2023) hingga Llama 4 (2025).
- Mistral: Beberapa model dirilis di bawah lisensi Apache 2.0, seperti Mistral 7B dan Mixtral 8x7B.
- gpt-oss: Dua model OpenAI, gpt-oss-120b dan gpt-oss-20b, dirilis di bawah Apache 2.0 pada Agustus 2025.