โมเดลภาษาขนาดใหญ่ (LLM) เป็นประเภทของระบบ AI ที่ได้รับการฝึกฝนจากข้อมูลข้อความจำนวนมหาศาลเพื่อเข้าใจและสร้างข้อความที่คล้ายกับมนุษย์ ข้อมูลส่วนใหญ่ที่ใช้มาจาก ข้อมูลเว็บสาธารณะ ที่ถูกรวบรวมเป็นคอร์ปัส เช่น C4, RefinedWeb และ Dolma
นอกจากการฝึกฝนแล้ว ข้อมูลเว็บยังถูกใช้สำหรับ การสร้างข้อมูลที่เพิ่มขึ้นจากการค้นหา ซึ่งโมเดลจะดึงข้อมูลที่เกี่ยวข้องจากแหล่งข้อมูลภายนอก เช่น ดัชนีการค้นหา ก่อนที่จะสร้างการตอบสนอง
ขนาดของชุดข้อมูลการฝึกฝนไม่ใช่สิ่งเดียวที่สำคัญ คุณภาพของข้อมูลก็มีความสำคัญเช่นกัน การศึกษาของ RefinedWeb พบว่าข้อมูลเว็บที่กรองและลบข้อมูลซ้ำอย่างเหมาะสมเพียงอย่างเดียวสามารถนำไปสู่โมเดลที่มีประสิทธิภาพได้
ตัวอย่างของ LLMs
โมเดลที่เป็นกรรมสิทธิ์ ซึ่งใช้ผ่านแอปและ API:
- GPT: โมเดลของ OpenAI ที่สามารถเข้าถึงได้ผ่าน OpenAI API.
- Claude: ครอบครัวของโมเดลภาษาขนาดใหญ่ที่พัฒนาโดย Anthropic.
- Gemini: โมเดลของ Google ที่สามารถเข้าถึงได้ผ่าน Gemini API.
โมเดลที่มีน้ำหนักเปิด ซึ่งสามารถดาวน์โหลดน้ำหนักได้:
- Llama: โมเดลของ Meta ที่มีการปล่อยตั้งแต่ Llama 2 (2023) ถึง Llama 4 (2025).
- Mistral: โมเดลหลายตัวที่ปล่อยภายใต้ใบอนุญาต Apache 2.0 เช่น Mistral 7B และ Mixtral 8x7B.
- gpt-oss: โมเดล OpenAI สองตัว gpt-oss-120b และ gpt-oss-20b ที่ปล่อยภายใต้ Apache 2.0 ในเดือนสิงหาคม 2025.