Ang malaking modelo ng wika ay isang uri ng sistema ng AI na sinanay sa napakalaking dami ng teksto upang maunawaan at makabuo ng teksto na katulad ng sa tao. Karamihan sa mga tekstong ito ay nagmumula sa public web data na pinagsama-sama sa mga corpus tulad ng C4, RefinedWeb, at Dolma.

Bilang karagdagan sa pagsasanay, ginagamit din ang web data para sa retrieval-augmented generation, kung saan ang isang modelo ay kumukuha ng kaugnay na impormasyon mula sa isang panlabas na mapagkukunan, tulad ng isang search index, bago ito makabuo ng tugon.

Hindi lamang ang laki ng training dataset ang mahalaga. Mahalaga rin ang kalidad ng data. Natuklasan ng pag-aaral ng RefinedWeb na ang wastong na-filter at deduplicated na web data lamang ay maaaring magdulot ng makapangyarihang mga modelo.

Mga Halimbawa ng LLMs

Mga proprietary na modelo, ginagamit sa pamamagitan ng mga apps at APIs:

  • GPT: Mga modelo ng OpenAI, na available sa pamamagitan ng OpenAI API.
  • Claude: Isang pamilya ng malalaking modelo ng wika na binuo ng Anthropic.
  • Gemini: Mga modelo ng Google, na available sa pamamagitan ng Gemini API.

Mga open-weight na modelo, na ang mga weights ay maaaring i-download:

  • Llama: Mga modelo ng Meta, mula sa Llama 2 (2023) hanggang Llama 4 (2025).
  • Mistral: Ilang modelo na inilabas sa ilalim ng Apache 2.0 license, tulad ng Mistral 7B at Mixtral 8x7B.
  • gpt-oss: Dalawang modelo ng OpenAI, gpt-oss-120b at gpt-oss-20b, na inilabas sa ilalim ng Apache 2.0 noong Agosto 2025.

Mga Kaugnay na Termino