Mô hình ngôn ngữ lớn là một loại hệ thống AI được đào tạo trên khối lượng văn bản khổng lồ để hiểu và tạo ra văn bản giống như con người. Phần lớn văn bản đó đến từ dữ liệu web công cộng được tập hợp thành các tập hợp dữ liệu như C4, RefinedWeb và Dolma.

Ngoài việc đào tạo, dữ liệu web cũng được sử dụng cho tạo ra thông tin tăng cường, nơi một mô hình truy xuất thông tin liên quan từ một nguồn bên ngoài, chẳng hạn như chỉ mục tìm kiếm, trước khi nó tạo ra một phản hồi.

Kích thước của tập dữ liệu đào tạo không phải là điều duy nhất quan trọng. Chất lượng dữ liệu cũng quan trọng. Nghiên cứu RefinedWeb đã phát hiện ra rằng dữ liệu web được lọc và loại bỏ trùng lặp đúng cách có thể dẫn đến những mô hình mạnh mẽ.

Ví dụ về LLMs

Các mô hình độc quyền, được sử dụng thông qua các ứng dụng và API:

  • GPT: Các mô hình của OpenAI, có sẵn thông qua API OpenAI.
  • Claude: Một gia đình các mô hình ngôn ngữ lớn được phát triển bởi Anthropic.
  • Gemini: Các mô hình của Google, có sẵn thông qua API Gemini.

Các mô hình có trọng số mở, trọng số của chúng có thể được tải xuống:

  • Llama: Các mô hình của Meta, với các phiên bản từ Llama 2 (2023) đến Llama 4 (2025).
  • Mistral: Nhiều mô hình được phát hành dưới giấy phép Apache 2.0, chẳng hạn như Mistral 7B và Mixtral 8x7B.
  • gpt-oss: Hai mô hình của OpenAI, gpt-oss-120b và gpt-oss-20b, được phát hành dưới Apache 2.0 vào tháng 8 năm 2025.

Các thuật ngữ liên quan