AI 환각(할루시네이션)은 LLM이 사실과 다르거나 존재하지 않는 정보를 사실처럼 자연스럽게 만들어내는 현상입니다. 모델이 사실 여부가 아니라 다음에 올 가능성이 높은 토큰을 예측하도록 설계된 데서 비롯되므로 완전히 없앨 수는 없습니다. 다만 불확실성을 인정하는 프롬프트, 근거 문서를 제공하는 RAG, 사람의 검증을 함께 쓰면 발생 빈도와 위험을 크게 줄일 수 있습니다.
AI 환각이란 무엇인가?
환각(할루시네이션)은 LLM이 사실과 다르거나 존재하지 않는 정보를 마치 사실인 것처럼 자연스럽게 만들어내는 현상입니다. 없는 논문이나 통계를 지어내거나, 실제와 다른 날짜·수치를 확신에 찬 어조로 답하는 경우가 대표적입니다. 문장 자체는 매끄럽기 때문에, 배경 지식이 없으면 오답인지 알아채기 어렵다는 점이 환각을 더 까다롭게 만듭니다.
이 현상은 LLM이 "사실 여부"를 판별하도록 설계된 것이 아니라, 학습한 패턴을 바탕으로 다음에 올 가능성이 높은 토큰을 예측하도록 설계되었기 때문에 발생합니다. 완전히 없앨 수는 없지만, 몇 가지 방법으로 발생 빈도를 크게 줄일 수 있습니다.
왜 환각이 생기는가?
환각이 특히 자주 나타나는 상황은 정해져 있습니다.
- 학습 데이터에 없거나 희소한 주제: 모델이 충분히 학습하지 못한 영역일수록 빈틈을 그럴듯한 문장으로 메우려는 경향이 있습니다.
- 모델 학습 시점 이후의 최신 정보: 학습 이후에 생긴 사실은 모델이 알 방법이 없는데도, 질문을 받으면 답을 만들어내려는 경우가 있습니다.
- 정밀한 수치나 출처가 필요한 질문: 정확한 인용, 통계, URL처럼 한 글자만 틀려도 오답이 되는 정보는 환각이 발생하기 쉬운 영역입니다.
이런 상황을 미리 인지하고 있으면, 답변을 어느 정도 의심하며 검증해야 할지 가늠하는 데 도움이 됩니다.
프롬프트 단계에서는 어떻게 줄이나?
질문을 던지는 방식만 바꿔도 환각을 줄일 수 있습니다.
- 모른다고 답할 여지를 준다: "확실하지 않으면 모른다고 답해줘"처럼 불확실성을 인정하도록 지시하면, 억지로 답을 지어내는 빈도가 줄어듭니다.
- 근거 자료를 함께 제공한다: 참고할 문서나 자료를 프롬프트에 직접 포함시키면, 모델이 자체 기억 대신 주어진 자료를 근거로 답하게 유도할 수 있습니다.
- 출처를 요구한다: 답변에 근거나 출처를 함께 요청하면, 근거를 대기 어려운 지어낸 정보가 걸러지는 효과가 있습니다.
프롬프트를 더 체계적으로 설계하는 방법은 프롬프트 엔지니어링 하는 법 글에서 다룹니다.
검색과 근거 제공으로는 어떻게 줄이나?
가장 효과적인 방법 중 하나는 모델이 답을 만들기 전에 관련 문서를 먼저 찾아 근거로 제공하는 것입니다. 이 방식이 바로 RAG(검색 증강 생성)이며, 모델이 자체 기억에만 의존하지 않고 실제 검색된 자료를 바탕으로 답하게 만들어 환각을 줄이는 효과가 있습니다.
RAG를 구현할 때는 관련 문서를 얼마나 정확히 찾아내는지가 중요한데, 이 검색 단계는 보통 벡터 데이터베이스와 임베딩 기반 유사도 검색으로 이뤄집니다. 검색된 근거가 정확할수록 모델이 지어낼 여지도 줄어듭니다.
검증 단계에서는 어떻게 줄이나?
프롬프트와 검색만으로 환각을 완전히 막을 수는 없으므로, 결과를 검증하는 절차를 함께 두는 것이 안전합니다.
- 교차 확인: 중요한 답변은 다른 자료나 별도 모델로 한 번 더 검증합니다.
- 사람의 최종 검토: 의료·법률·금융처럼 정확성이 중요한 영역에서는 AI 출력을 사람이 최종 확인하는 절차를 두는 것이 좋습니다.
- 작은 범위로 먼저 검증: 새로운 사용 사례를 도입할 때는 소규모로 결과를 검토한 뒤 범위를 넓히면 문제를 조기에 발견할 수 있습니다.
자주 묻는 질문
- Q. AI 환각을 완전히 없앨 수 있나?
- A. 없앨 수 없습니다. 환각은 LLM이 다음에 올 토큰을 예측하는 근본 동작 원리에서 비롯되기 때문입니다. 다만 프롬프트·검색·검증을 함께 쓰면 발생 빈도와 위험을 크게 줄일 수 있습니다.
- Q. 환각이 특히 자주 생기는 상황은?
- A. 학습 데이터에 없거나 희소한 주제, 모델 학습 시점 이후의 최신 정보, 정확한 인용·통계·URL처럼 한 글자만 틀려도 오답이 되는 정밀한 정보가 필요한 질문에서 자주 나타납니다.
- Q. 프롬프트만으로 환각을 막을 수 있나?
- A. 완전히는 어렵습니다. "확실하지 않으면 모른다고 답해줘"처럼 불확실성을 인정하게 하고 근거 자료·출처를 함께 요구하되, 검색(RAG)과 사람의 검증 절차를 함께 두는 것이 안전합니다.
정리
AI 환각은 LLM의 근본적인 동작 원리에서 비롯되는 만큼 완전히 없애기는 어렵지만, 불확실성을 인정하는 프롬프트 설계, 근거 문서를 함께 제공하는 RAG, 그리고 사람의 검증 절차를 함께 쓰면 발생 빈도와 위험을 크게 줄일 수 있습니다. LLM 자체의 동작 원리가 궁금하다면 LLM이란 무엇인가 글을 먼저 읽어보시길 권합니다.
출처가 실제로 존재하는지 발행 전에 기계로 확인하는 방법은 AI가 지어낸 출처를 걸러내는 방법에서 다룹니다.