개념
컨텍스트 윈도우는 LLM이 한 번의 요청에서 동시에 참조할 수 있는 입력과 출력의 최대 토큰 수를 말한다. 글자 수가 아니라 토큰 수로 정해지며, 시스템 프롬프트·대화 기록·첨부 문서·생성될 답변까지 모두 이 한도 안에 들어가야 한다.
컨텍스트 윈도우 크기는 모델과 서비스에 따라 다르며, 세대를 거듭할수록 늘어나는 추세다. 다만 창이 넓다고 해서 그 안의 모든 내용을 똑같이 잘 활용한다는 뜻은 아니다. 입력이 길어질수록 모델이 특정 부분을 놓치거나 덜 중요하게 반영하는 경향이 보고되기도 하므로, 창 크기만으로 처리 품질을 단정하기는 어렵다.
쓰임새
컨텍스트 윈도우를 넘는 텍스트는 잘리거나, 요약·분할 같은 별도 처리가 필요하다. 그래서 긴 문서를 다룰 때는 문서를 통째로 넣기보다, 검색 증강 생성(RAG)처럼 관련된 부분만 골라 넣는 방식을 함께 쓰는 경우가 많다.
프롬프트를 설계하거나 여러 문서를 한 번에 참조시키려 할 때는 남은 컨텍스트 윈도우 여유를 먼저 가늠하는 것이 안전하다. 대화가 길어질수록 이전 기록이 창을 채워 새로 넣을 수 있는 정보가 줄어들기 때문이다.