โมเดลภาษาขนาดใหญ่ (LLM) เป็นประเภทของระบบ AI ที่ได้รับการฝึกฝนจากข้อมูลข้อความจำนวนมหาศาลเพื่อเข้าใจและสร้างข้อความที่คล้ายกับมนุษย์ ข้อมูลส่วนใหญ่ที่ใช้มาจาก ข้อมูลเว็บสาธารณะ ที่ถูกรวบรวมเป็นคอร์ปัส เช่น C4, RefinedWeb และ Dolma

นอกจากการฝึกฝนแล้ว ข้อมูลเว็บยังถูกใช้สำหรับ การสร้างข้อมูลที่เพิ่มขึ้นจากการค้นหา ซึ่งโมเดลจะดึงข้อมูลที่เกี่ยวข้องจากแหล่งข้อมูลภายนอก เช่น ดัชนีการค้นหา ก่อนที่จะสร้างการตอบสนอง

ขนาดของชุดข้อมูลการฝึกฝนไม่ใช่สิ่งเดียวที่สำคัญ คุณภาพของข้อมูลก็มีความสำคัญเช่นกัน การศึกษาของ RefinedWeb พบว่าข้อมูลเว็บที่กรองและลบข้อมูลซ้ำอย่างเหมาะสมเพียงอย่างเดียวสามารถนำไปสู่โมเดลที่มีประสิทธิภาพได้

ตัวอย่างของ LLMs

โมเดลที่เป็นกรรมสิทธิ์ ซึ่งใช้ผ่านแอปและ API:

  • GPT: โมเดลของ OpenAI ที่สามารถเข้าถึงได้ผ่าน OpenAI API.
  • Claude: ครอบครัวของโมเดลภาษาขนาดใหญ่ที่พัฒนาโดย Anthropic.
  • Gemini: โมเดลของ Google ที่สามารถเข้าถึงได้ผ่าน Gemini API.

โมเดลที่มีน้ำหนักเปิด ซึ่งสามารถดาวน์โหลดน้ำหนักได้:

  • Llama: โมเดลของ Meta ที่มีการปล่อยตั้งแต่ Llama 2 (2023) ถึง Llama 4 (2025).
  • Mistral: โมเดลหลายตัวที่ปล่อยภายใต้ใบอนุญาต Apache 2.0 เช่น Mistral 7B และ Mixtral 8x7B.
  • gpt-oss: โมเดล OpenAI สองตัว gpt-oss-120b และ gpt-oss-20b ที่ปล่อยภายใต้ Apache 2.0 ในเดือนสิงหาคม 2025.

คำที่เกี่ยวข้อง