개념
토큰(token)은 언어 모델이 텍스트를 다루기 위해 잘게 나눈 최소 처리 단위다. 모델은 글자나 단어를 그대로 읽지 않고, 텍스트를 토큰 열로 변환한 뒤 각 토큰을 정수 ID와 벡터로 바꿔 계산한다. 이렇게 텍스트를 토큰으로 쪼개는 과정을 토큰화(tokenization)라고 한다.
토큰은 반드시 단어 하나와 일치하지 않는다. 자주 쓰는 짧은 단어는 한 토큰이 되지만, 긴 단어나 드문 표현은 여러 조각으로 나뉜다. 예를 들어 영어의 접사나 한국어의 조사·어미가 별도 토큰으로 분리되기도 한다. 대부분의 대형 언어 모델은 BPE(byte-pair encoding)나 그와 유사한 서브워드(subword) 방식을 사용해, 어휘 크기를 제한하면서도 처음 보는 단어까지 표현할 수 있게 한다.
한국어처럼 한 글자가 많은 정보를 담는 언어는 같은 의미라도 영어보다 토큰 수가 더 많이 나오는 경향이 있어, 언어에 따라 토큰과 글자의 비율이 달라진다.
쓰임새
LLM 맥락에서 토큰은 세 가지 실무 기준으로 쓰인다.
- 컨텍스트 길이: 모델이 한 번에 처리할 수 있는 입력과 출력의 총량은 글자 수가 아니라 토큰 수(컨텍스트 윈도우)로 정해진다. 이 한도를 넘는 텍스트는 잘리거나 요약·분할이 필요하다.
- 과금 단위: 대부분의 API는 입력 토큰과 출력 토큰 수를 기준으로 비용을 매긴다. 같은 요청이라도 프롬프트가 길거나 출력이 길면 토큰이 늘어 비용이 커진다.
- 생성 단위: 모델은 다음에 올 토큰의 확률을 예측해 한 토큰씩 순차적으로 텍스트를 만들어낸다. 스트리밍 출력에서 글자가 조금씩 나타나는 것도 토큰 단위 생성 때문이다.
따라서 프롬프트를 설계하거나 비용·성능을 가늠할 때는 토큰 수를 기준으로 생각하는 것이 정확하다.