大型语言模型是一种人工智能系统,经过大量文本的训练,以理解和生成类人文本。这些文本大部分来自于 公共网络数据,汇集成语料库,如 C4、RefinedWeb 和 Dolma。
除了训练,网络数据还用于 检索增强生成,在生成响应之前,模型从外部来源(如搜索索引)检索相关信息。
训练数据集的大小并不是唯一重要的因素。数据质量同样重要。RefinedWeb 的研究发现,经过适当过滤和去重的网络数据本身就可以导致强大的模型。
LLM 示例
专有模型,通过应用程序和 API 使用:
- GPT: OpenAI 的模型,通过 OpenAI API 提供。
- Claude: 由 Anthropic 开发的一系列大型语言模型。
- Gemini: Google 的模型,通过 Gemini API 提供。
开放权重模型,其权重可以下载:
- Llama: Meta 的模型,从 Llama 2(2023)到 Llama 4(2025)的发布。
- Mistral: 根据 Apache 2.0 许可证发布的多个模型,如 Mistral 7B 和 Mixtral 8x7B。
- gpt-oss: 两个 OpenAI 模型,gpt-oss-120b 和 gpt-oss-20b,于 2025 年 8 月在 Apache 2.0 下发布。