Büyük dil modeli, insan benzeri metinleri anlamak ve üretmek için büyük hacimlerde metinle eğitilmiş bir AI sisteminin türüdür. Bu metinlerin çoğu, C4, RefinedWeb ve Dolma gibi derlemelere toplanmış kamusal web verilerinden gelmektedir.

Eğitim dışında, web verileri ayrıca geri alma artırımlı üretim için de kullanılmaktadır; burada bir model, bir yanıt üretmeden önce, bir arama dizini gibi harici bir kaynaktan ilgili bilgileri alır.

Eğitim veri setinin boyutu tek başına önemli değildir. Veri kalitesi de önemlidir. RefinedWeb çalışması, düzgün bir şekilde filtrelenmiş ve yinelenen verilerden arındırılmış web verilerinin güçlü modellere yol açabileceğini bulmuştur.

LLM Örnekleri

Uygulamalar ve API'ler aracılığıyla kullanılan özel modeller:

  • GPT: OpenAI'nin modelleri, OpenAI API'si aracılığıyla mevcuttur.
  • Claude: Anthropic tarafından geliştirilen büyük dil modelleri ailesi.
  • Gemini: Google'ın modelleri, Gemini API'si aracılığıyla mevcuttur.

Ağırlıkları indirilebilen açık ağırlık modelleri:

  • Llama: Meta'nın modelleri, Llama 2 (2023) ile Llama 4 (2025) arasında yayınlar.
  • Mistral: Apache 2.0 lisansı altında yayınlanan birkaç model, örneğin Mistral 7B ve Mixtral 8x7B.
  • gpt-oss: Ağustos 2025'te Apache 2.0 altında yayınlanan iki OpenAI modeli, gpt-oss-120b ve gpt-oss-20b.

İlgili Terimler