Ein großes Sprachmodell ist eine Art KI-System, das auf massiven Textmengen trainiert wurde, um menschenähnlichen Text zu verstehen und zu generieren. Ein Großteil dieses Textes stammt aus öffentlichen Webdaten, die in Korpora wie C4, RefinedWeb und Dolma zusammengestellt wurden.
Neben dem Training werden Webdaten auch für abrufunterstützte Generierung verwendet, bei der ein Modell relevante Informationen aus einer externen Quelle, wie einem Suchindex, abruft, bevor es eine Antwort generiert.
Die Größe des Trainingsdatensatzes ist nicht das einzige, was zählt. Auch die Datenqualität ist wichtig. Die RefinedWeb-Studie hat gezeigt, dass richtig gefilterte und deduplizierte Webdaten allein zu leistungsstarken Modellen führen können.
Beispiele für LLMs
Proprietäre Modelle, die über Apps und APIs verwendet werden:
- GPT: Die Modelle von OpenAI, verfügbar über die OpenAI API.
- Claude: Eine Familie von großen Sprachmodellen, die von Anthropic entwickelt wurden.
- Gemini: Die Modelle von Google, verfügbar über die Gemini API.
Open-Weight-Modelle, deren Gewichte heruntergeladen werden können:
- Llama: Die Modelle von Meta, mit Veröffentlichungen von Llama 2 (2023) bis Llama 4 (2025).
- Mistral: Mehrere Modelle, die unter der Apache 2.0-Lizenz veröffentlicht wurden, wie Mistral 7B und Mixtral 8x7B.
- gpt-oss: Zwei OpenAI-Modelle, gpt-oss-120b und gpt-oss-20b, die im August 2025 unter Apache 2.0 veröffentlicht wurden.