大型語言模型是一種人工智能系統,經過大量文本的訓練,以理解和生成類似人類的文本。這些文本大部分來自於 公共網絡數據,並組成了如 C4、RefinedWeb 和 Dolma 等語料庫。
除了訓練,網絡數據還用於 檢索增強生成,在生成回應之前,模型從外部來源(例如搜索索引)檢索相關信息。
訓練數據集的大小並不是唯一重要的因素。數據質量同樣重要。RefinedWeb 的研究發現,經過適當過濾和去重的網絡數據本身就能導致強大的模型。
LLM 的例子
專有模型,通過應用程序和 API 使用:
- GPT: OpenAI 的模型,通過 OpenAI API 獲得。
- Claude: 由 Anthropic 開發的一系列大型語言模型。
- Gemini: Google 的模型,通過 Gemini API 獲得。
開放權重模型,其權重可以下載:
- Llama: Meta 的模型,從 Llama 2(2023)到 Llama 4(2025)發布。
- Mistral: 根據 Apache 2.0 許可證發布的幾個模型,如 Mistral 7B 和 Mixtral 8x7B。
- gpt-oss: 兩個 OpenAI 模型,gpt-oss-120b 和 gpt-oss-20b,於 2025 年 8 月根據 Apache 2.0 發布。