도구
RAG 청킹 시뮬레이터
문서를 붙여넣고 청크 크기·오버랩·분할 전략을 조절하면 문서가 실제로 어떻게 잘리는지 바로 보입니다. 겹치는 구간은 하이라이트로 표시됩니다. 텍스트는 서버로 전송되지 않습니다.
분할 전략
문단 경계를 존중하며 크기 제한까지 병합
청크 2개평균 244자임베딩 대상 총 270 토큰(추정)
청크 1 · 227자
RAG 파이프라인은 문서를 그대로 통째로 쓰지 않는다. 먼저 문서를 검색 가능한 조각으로 나누고, 각 조각을 임베딩 벡터로 바꿔 저장한다. 질문이 들어오면 질문과 가까운 조각을 찾아 모델에게 근거로 건넨다. 여기서 조각의 크기가 검색 품질을 좌우한다. 조각이 너무 크면 관련 없는 내용까지 함께 딸려 들어가 모델이 핵심을 놓치고, 너무 작으면 문맥이 잘려 조각 하나만 봐서는 무슨 말인지 알 수 없게 된다.
청크 2 · 261자 · 앞 청크와 30자 겹침
려 조각 하나만 봐서는 무슨 말인지 알 수 없게 된다. 오버랩은 이 문제를 완화하는 장치다. 이웃한 조각이 일정 구간을 공유하게 만들면, 경계에 걸린 문장이 어느 한쪽 조각에는 온전히 담긴다. 대신 저장 용량과 임베딩 비용이 그만큼 늘어난다. 전략도 하나가 아니다. 글자 수로 기계적으로 자르는 고정 길이 방식이 가장 단순하고, 문장이나 문단 경계를 존중하는 방식은 의미 단위가 덜 깨진다. 실무에서는 문단 우선으로 나누되 너무 긴 문단만 다시 쪼개는 절충이 흔하다.