📕 428커밋의 기록이 상품이 됐습니다 →
agenwiki

LLM 핵심 개념

토큰, 환각 등 LLM을 이해하기 위한 기초 용어

용어

퓨샷 러닝

프롬프트 안에 예시 몇 개를 함께 넣어 원하는 작업 방식을 보여 주는 기법이다. 모델을 다시 학습시키지 않고 예시만으로 출력 형식과 판단 기준을 맞춘다.

#prompt-engineering#llm-fundamentals
용어

추론(Inference)

학습이 끝난 모델에 입력을 넣어 실제로 결과를 만들어 내는 과정이다. 서비스 운영 비용과 응답 속도가 대부분 이 단계에서 결정된다.

#llm-fundamentals
용어

RLHF

사람이 매긴 응답 선호도를 학습 신호로 삼아 모델의 답변 방식을 다듬는 학습 기법이다. 오늘날 대화형 AI가 유용하고 안전한 답을 내놓도록 만드는 핵심 단계로 쓰인다.

#fine-tuning-optimization#llm-fundamentals
용어

온도(Temperature)

모델이 다음 토큰을 고를 때 확률 분포를 얼마나 평평하게 펼칠지 정하는 설정값이다. 낮추면 일관되고 예측 가능해지며, 높이면 표현의 다양성이 늘어난다.

#llm-fundamentals
용어

토큰 비용

LLM API 요금이 주고받은 토큰 수에 비례해 매겨지는 구조를 가리킨다. 입력과 출력의 단가가 다르고 대화가 길어질수록 누적된다는 점이 핵심이다.

#llm-fundamentals
용어

제로샷 러닝

모델이 특정 작업에 대한 예시 없이, 지시문만으로 바로 그 작업을 수행하는 방식이다. 모델이 학습 과정에서 습득한 일반화 능력에 의존해 새로운 작업에도 곧바로 대응한다.

#prompt-engineering#llm-fundamentals
용어

어텐션

문장 속 각 토큰을 이해할 때 다른 토큰들 중 무엇에 얼마나 '주목'할지를 가중치로 계산하는 메커니즘이다. 트랜스포머의 핵심 연산이다.

#llm-fundamentals
용어

트랜스포머

어텐션 메커니즘을 중심으로 문장 속 토큰들의 관계를 한 번에 계산하는 신경망 구조다. 오늘날 대부분의 대규모 언어 모델(LLM)의 기반이 되는 아키텍처다.

#llm-fundamentals
용어

사고의 연쇄

모델이 최종 답을 바로 내놓지 않고, 중간 풀이 과정을 단계별로 거치도록 유도하는 프롬프트 기법이다. 복잡한 추론이 필요한 문제에서 정확도를 높이는 데 쓰인다.

#prompt-engineering#llm-fundamentals
용어

컨텍스트 윈도우

언어 모델이 한 번의 요청에서 참조할 수 있는 입력과 출력 토큰의 최대 총량이다. 이 한도를 넘는 텍스트는 모델이 한 번에 처리하지 못한다.

#llm-fundamentals
용어

LLM

방대한 텍스트를 학습해 다음에 올 토큰을 확률적으로 예측하는 방식으로 문장을 생성하는 대규모 인공지능 모델이다. ChatGPT·Claude 같은 대화형 서비스의 기반 기술이다.

#llm-fundamentals
용어

환각

언어모델이 사실과 다르거나 근거 없는 내용을 그럴듯하게 생성하는 현상. 표현은 자연스럽지만 내용이 틀릴 수 있다.

#rag#llm-fundamentals
용어

토큰

언어 모델이 텍스트를 처리하기 위해 나누는 최소 단위. 단어보다 작을 수 있으며, 입력과 출력, 컨텍스트 길이와 과금의 계산 단위가 된다.

#llm-fundamentals