大型語言模型是一種人工智慧系統,經過大量文本的訓練,以理解和生成類似人類的文本。這些文本大部分來自於 公共網絡數據,組成了如 C4、RefinedWeb 和 Dolma 等語料庫。

除了訓練,網絡數據還用於 檢索增強生成,在生成回應之前,模型會從外部來源(例如搜索索引)檢索相關信息。

訓練數據集的大小並不是唯一重要的因素。數據質量同樣重要。RefinedWeb 的研究發現,適當過濾和去重的網絡數據本身就能導致強大的模型。

LLM 的例子

專有模型,通過應用程序和 API 使用:

  • GPT: OpenAI 的模型,通過 OpenAI API 提供。
  • Claude: 由 Anthropic 開發的一系列大型語言模型。
  • Gemini: Google 的模型,通過 Gemini API 提供。

開放權重模型,其權重可下載:

  • Llama: Meta 的模型,從 Llama 2(2023)到 Llama 4(2025)的版本。
  • Mistral: 根據 Apache 2.0 許可證發布的幾個模型,如 Mistral 7B 和 Mixtral 8x7B。
  • gpt-oss: 兩個 OpenAI 模型,gpt-oss-120b 和 gpt-oss-20b,於 2025 年 8 月根據 Apache 2.0 發布。

相關術語