📕 이 사이트를 굴린 428커밋의 기록이 상품이 됐습니다 — 전자책·스타터 키트 보기 →
agenwiki

LLM 핵심 개념

토큰, 환각 등 LLM을 이해하기 위한 기초 용어

용어

제로샷 러닝

모델이 특정 작업에 대한 예시 없이, 지시문만으로 바로 그 작업을 수행하는 방식이다. 모델이 학습 과정에서 습득한 일반화 능력에 의존해 새로운 작업에도 곧바로 대응한다.

용어

어텐션

문장 속 각 토큰을 이해할 때 다른 토큰들 중 무엇에 얼마나 '주목'할지를 가중치로 계산하는 메커니즘이다. 트랜스포머의 핵심 연산이다.

용어

트랜스포머

어텐션 메커니즘을 중심으로 문장 속 토큰들의 관계를 한 번에 계산하는 신경망 구조다. 오늘날 대부분의 대규모 언어 모델(LLM)의 기반이 되는 아키텍처다.

용어

사고의 연쇄

모델이 최종 답을 바로 내놓지 않고, 중간 풀이 과정을 단계별로 거치도록 유도하는 프롬프트 기법이다. 복잡한 추론이 필요한 문제에서 정확도를 높이는 데 쓰인다.

용어

컨텍스트 윈도우

언어 모델이 한 번의 요청에서 참조할 수 있는 입력과 출력 토큰의 최대 총량이다. 이 한도를 넘는 텍스트는 모델이 한 번에 처리하지 못한다.

용어

LLM

방대한 텍스트를 학습해 다음에 올 토큰을 확률적으로 예측하는 방식으로 문장을 생성하는 대규모 인공지능 모델이다. ChatGPT·Claude 같은 대화형 서비스의 기반 기술이다.

용어

환각

언어모델이 사실과 다르거나 근거 없는 내용을 그럴듯하게 생성하는 현상. 표현은 자연스럽지만 내용이 틀릴 수 있다.

용어

토큰

언어 모델이 텍스트를 처리하기 위해 나누는 최소 단위. 단어보다 작을 수 있으며, 입력과 출력, 컨텍스트 길이와 과금의 계산 단위가 된다.