개념
LLM(Large Language Model, 대규모 언어 모델)은 인터넷 문서, 책, 코드 등 방대한 텍스트를 학습해, 주어진 문맥 다음에 올 가능성이 가장 높은 토큰을 예측하는 방식으로 문장을 만들어내는 모델이다. "대규모"라는 이름처럼 파라미터 수와 학습 데이터 양이 일반적인 자연어 처리 모델보다 훨씬 크다는 점이 특징이다.
학습은 크게 사전학습(pre-training)과 정렬·튜닝 두 단계로 나뉜다. 사전학습에서는 다음 토큰을 맞히는 과제를 반복하며 문법·사실 지식·문맥 이해를 통계적으로 익히고, 이후 사람이 선호하는 답변 형태로 추가 조정해야 지시를 따르는 대화형 모델이 된다. ChatGPT, Claude, Gemini 같은 서비스는 이렇게 학습된 LLM을 기반으로 동작한다.
쓰임새
LLM은 요약, 번역, 초안 작성, 코드 생성처럼 언어 패턴을 다루는 작업에서 강점을 보인다. 반면 학습 시점 이후의 최신 정보는 알지 못하고, 근거 없이 그럴듯한 내용을 만들어내는 환각이 생길 수 있다는 한계도 있다.
이런 한계를 보완하기 위해 외부 문서를 검색해 답변 근거로 삼는 검색 증강 생성(RAG)이나, 입력을 다듬어 원하는 답을 끌어내는 프롬프트 엔지니어링 같은 기법이 함께 쓰인다. LLM의 동작 원리와 한계를 더 자세히 알고 싶다면 LLM이란 무엇인가 가이드를 참고할 만하다.