Un grand modèle de langage est un type de système d'IA formé sur d'énormes volumes de texte pour comprendre et générer un texte semblable à celui des humains. Une grande partie de ce texte provient de données web publiques assemblées en corpus tels que C4, RefinedWeb et Dolma.

En plus de l'entraînement, les données web sont également utilisées pour la génération augmentée par récupération, où un modèle récupère des informations pertinentes à partir d'une source externe, comme un index de recherche, avant de générer une réponse.

La taille de l'ensemble de données d'entraînement n'est pas la seule chose qui compte. La qualité des données est également importante. L'étude RefinedWeb a révélé que des données web correctement filtrées et dédupliquées peuvent à elles seules conduire à des modèles puissants.

Exemples de LLMs

Modèles propriétaires, utilisés via des applications et des API :

  • GPT : Les modèles d'OpenAI, disponibles via l'API OpenAI.
  • Claude : Une famille de grands modèles de langage développés par Anthropic.
  • Gemini : Les modèles de Google, disponibles via l'API Gemini.

Modèles à poids ouverts, dont les poids peuvent être téléchargés :

  • Llama : Les modèles de Meta, avec des versions de Llama 2 (2023) à Llama 4 (2025).
  • Mistral : Plusieurs modèles publiés sous la licence Apache 2.0, tels que Mistral 7B et Mixtral 8x7B.
  • gpt-oss : Deux modèles d'OpenAI, gpt-oss-120b et gpt-oss-20b, publiés sous Apache 2.0 en août 2025.

Termes associés