Un modelo de lenguaje grande es un tipo de sistema de IA entrenado con volúmenes masivos de texto para entender y generar texto similar al humano. Gran parte de ese texto proviene de datos web públicos ensamblados en corpora como C4, RefinedWeb y Dolma.

Además del entrenamiento, los datos web también se utilizan para generación aumentada por recuperación, donde un modelo recupera información relevante de una fuente externa, como un índice de búsqueda, antes de generar una respuesta.

El tamaño del conjunto de datos de entrenamiento no es lo único que importa. La calidad de los datos también es importante. El estudio de RefinedWeb encontró que los datos web correctamente filtrados y desduplicados pueden llevar a modelos poderosos.

Ejemplos de LLMs

Modelos propietarios, utilizados a través de aplicaciones y APIs:

  • GPT: Modelos de OpenAI, disponibles a través de la API de OpenAI.
  • Claude: Una familia de modelos de lenguaje grande desarrollados por Anthropic.
  • Gemini: Modelos de Google, disponibles a través de la API de Gemini.

Modelos de peso abierto, cuyos pesos se pueden descargar:

  • Llama: Modelos de Meta, con lanzamientos desde Llama 2 (2023) hasta Llama 4 (2025).
  • Mistral: Varios modelos lanzados bajo la licencia Apache 2.0, como Mistral 7B y Mixtral 8x7B.
  • gpt-oss: Dos modelos de OpenAI, gpt-oss-120b y gpt-oss-20b, lanzados bajo Apache 2.0 en agosto de 2025.

Términos Relacionados