대형 언어 모델은 방대한 양의 텍스트로 훈련되어 인간과 유사한 텍스트를 이해하고 생성하는 AI 시스템의 일종입니다. 그 텍스트의 대부분은 공공 웹 데이터로부터 수집된 코퍼스인 C4, RefinedWeb, Dolma와 같은 데이터에서 나옵니다.

훈련 외에도 웹 데이터는 검색 보강 생성에 사용되며, 이 경우 모델은 응답을 생성하기 전에 검색 인덱스와 같은 외부 소스에서 관련 정보를 검색합니다.

훈련 데이터셋의 크기만 중요한 것이 아닙니다. 데이터 품질도 중요합니다. RefinedWeb 연구에 따르면 적절히 필터링되고 중복 제거된 웹 데이터만으로도 강력한 모델을 만들 수 있습니다.

LLM의 예

앱과 API를 통해 사용되는 독점 모델:

  • GPT: OpenAI의 모델로, OpenAI API를 통해 사용할 수 있습니다.
  • Claude: Anthropic에서 개발한 대형 언어 모델의 가족입니다.
  • Gemini: Google의 모델로, Gemini API를 통해 사용할 수 있습니다.

가중치를 다운로드할 수 있는 공개 모델:

  • Llama: Meta의 모델로, Llama 2(2023)부터 Llama 4(2025)까지 출시되었습니다.
  • Mistral: Apache 2.0 라이센스 하에 출시된 여러 모델, 예를 들어 Mistral 7B 및 Mixtral 8x7B가 있습니다.
  • gpt-oss: Apache 2.0 하에 2025년 8월에 출시된 두 개의 OpenAI 모델, gpt-oss-120b 및 gpt-oss-20b가 있습니다.

관련 용어