Um modelo de linguagem grande é um tipo de sistema de IA treinado em volumes massivos de texto para entender e gerar texto semelhante ao humano. Grande parte desse texto vem de dados da web pública reunidos em corpora como C4, RefinedWeb e Dolma.
Além do treinamento, os dados da web também são usados para geração aumentada por recuperação, onde um modelo recupera informações relevantes de uma fonte externa, como um índice de busca, antes de gerar uma resposta.
O tamanho do conjunto de dados de treinamento não é a única coisa que importa. A qualidade dos dados também é importante. O estudo RefinedWeb descobriu que dados da web devidamente filtrados e deduplicados podem levar a modelos poderosos.
Exemplos de LLMs
Modelos proprietários, usados por meio de aplicativos e APIs:
- GPT: Modelos da OpenAI, disponíveis através da API da OpenAI.
- Claude: Uma família de modelos de linguagem grande desenvolvidos pela Anthropic.
- Gemini: Modelos do Google, disponíveis através da API do Gemini.
Modelos de peso aberto, cujos pesos podem ser baixados:
- Llama: Modelos da Meta, com lançamentos de Llama 2 (2023) a Llama 4 (2025).
- Mistral: Vários modelos lançados sob a licença Apache 2.0, como Mistral 7B e Mixtral 8x7B.
- gpt-oss: Dois modelos da OpenAI, gpt-oss-120b e gpt-oss-20b, lançados sob Apache 2.0 em agosto de 2025.