大規模言語モデルは、膨大なテキスト量で訓練されたAIシステムの一種で、人間のようなテキストを理解し生成することができます。そのテキストの多くは、公開ウェブデータから集められたコーパス(C4、RefinedWeb、Dolmaなど)に由来しています。
訓練だけでなく、ウェブデータは検索強化生成にも使用され、モデルは応答を生成する前に、検索インデックスなどの外部ソースから関連情報を取得します。
訓練データセットのサイズだけが重要ではありません。データの質も重要です。RefinedWebの研究では、適切にフィルタリングされ、重複が除去されたウェブデータだけでも強力なモデルを生み出すことができることがわかりました。
LLMの例
アプリやAPIを通じて使用される独自モデル:
- GPT: OpenAIのモデルで、OpenAI APIを通じて利用可能です。
- Claude: Anthropicによって開発された大規模言語モデルのファミリー。
- Gemini: Googleのモデルで、Gemini APIを通じて利用可能です。
重みをダウンロードできるオープンウェイトモデル:
- Llama: Metaのモデルで、Llama 2(2023)からLlama 4(2025)までのリリースがあります。
- Mistral: Apache 2.0ライセンスの下でリリースされた複数のモデル(Mistral 7BやMixtral 8x7Bなど)。
- gpt-oss: Apache 2.0の下で2025年8月にリリースされたOpenAIの2つのモデル、gpt-oss-120bおよびgpt-oss-20b。