‘n Groot taalmodel is ‘n tipe KI-stelsel wat opgelei is op massiewe volumes teks om mensagtige teks te verstaan en te genereer. Baie van daardie teks kom van publieke webdata wat in korpora soos C4, RefinedWeb en Dolma saamgestel is.

Benewens opleiding, word webdata ook gebruik vir herwinning-augmenteerde generasie, waar ‘n model relevante inligting van ‘n eksterne bron, soos ‘n soekindeks, herwin voordat dit ‘n antwoord genereer.

Die grootte van die opleidingsdataset is nie die enigste ding wat saak maak nie. Data kwaliteit is ook belangrik. Die RefinedWeb-studie het bevind dat behoorlik gefilterde en gededupliceerde webdata alleen kan lei tot kragtige modelle.

Voorbeelde van LLMs

Eienaarskapmodelle, wat deur toepassings en API's gebruik word:

  • GPT: OpenAI se modelle, beskikbaar deur die OpenAI API.
  • Claude: ‘n Familie van groot taalmodelle wat deur Anthropic ontwikkel is.
  • Gemini: Google se modelle, beskikbaar deur die Gemini API.

Open-gewig modelle, waarvan die gewigte afgelaai kan word:

  • Llama: Meta se modelle, met vrystellings van Llama 2 (2023) tot Llama 4 (2025).
  • Mistral: Verskeie modelle wat onder die Apache 2.0 lisensie vrygestel is, soos Mistral 7B en Mixtral 8x7B.
  • gpt-oss: Twee OpenAI modelle, gpt-oss-120b en gpt-oss-20b, vrygestel onder Apache 2.0 in Augustus 2025.

Verwante Terme