할루시네이션과의 전쟁 — RAG가 탄생한 진짜 이유
한줄 요약
할루시네이션은 AI의 버그가 아니라 구조적 특성이다 — RAG는 그 구조적 문제를 외부 검색으로 우회하는 해결책이다.
본문
AI가 자신 있게 거짓말하는 이유
2023년 캐나다 변호사 Steven Schwartz는 ChatGPT가 제시한 판례 6개를 법원 문서에 인용했다. 판사가 해당 판례를 확인해보니 — 존재하지 않는 판례였다. ChatGPT가 그럴싸한 판례 이름과 내용을 완전히 지어낸 것이다. 변호사는 법원 제재를 받았다.
왜 이런 일이 생기는가?
LLM은 “다음에 올 가장 그럴싸한 토큰”을 예측하는 기계다. 학습 과정에서 수십억 개의 텍스트를 보면서 “이런 맥락에서는 이런 내용이 온다”는 패턴을 익혔다.
“판례를 인용해줘”라는 요청을 받으면, 모델은 “판례처럼 생긴 텍스트”를 생성한다. 학습 데이터에서 판례 형식의 텍스트를 많이 봤기 때문에 형식은 완벽하다. 내용은? — 학습 패턴으로 그럴싸하게 만들어낸 것이다. 그게 실제로 존재하는 판례인지 확인하는 메커니즘이 없다.
할루시네이션의 종류
사실 왜곡: 실제 사건·인물·수치를 틀리게 말함 “메트포르민의 반감기는 약 2시간입니다” → 실제로는 4~8.7시간
허구 생성: 아예 없는 것을 만들어냄 “2023년 NEJM에 발표된 Park et al. 연구에 따르면…” → 존재하지 않는 논문
구식 정보: 학습 이후 바뀐 내용을 모름 “당뇨 1차 치료제는 메트포르민입니다” → 가이드라인 개정 이후엔 다를 수 있음
맥락 혼동: 일반적으론 맞지만 이 환자에겐 틀림 “신부전 없으면 메트포르민 쓸 수 있어요” → 환자에게 신부전이 있는데 맥락을 놓침
왜 의료에서 특히 문제인가
일반 도메인에서 할루시네이션은 불편하다. 의료 도메인에서는 위험하다.
실제 있었던 사례들:
- AI가 존재하지 않는 약물 용량을 자신 있게 제시
- AI가 학습 데이터 기준 구버전 치료 지침을 최신인 것처럼 안내
- AI가 특정 알레르기를 무시하고 약물 추천
틀린 정보를 부드럽게 말하는 것보다, 모르는 걸 “모른다”고 하는 AI가 훨씬 안전하다.
RAG가 할루시네이션을 줄이는 메커니즘
RAG는 근본 원인을 해결하지 않는다. 우회한다.
RAG 없이:
질문: "와파린과 아스피린 동시 복용 시 출혈 위험이 얼마나 증가하나요?"
AI: [학습 패턴으로 그럴싸한 숫자를 생성]
"대략 2-3배 증가합니다..."
→ 이 숫자가 맞는지 확인할 근거 없음RAG 있이:
질문: "와파린과 아스피린 동시 복용 시 출혈 위험이 얼마나 증가하나요?"
1. 약물 상호작용 DB 검색
→ "와파린 + 아스피린: 위장관 출혈 위험 3.4배 (95% CI 2.1-5.3)"
→ 출처: Cochrane Review 2023
2. AI가 이 문서를 바탕으로 답변
"코크란 리뷰에 따르면 위장관 출혈 위험이 약 3.4배 증가합니다."
출처: [Cochrane Review 2023]AI가 숫자를 만들어내지 않는다. 문서에서 찾아온 숫자를 바탕으로 답한다.
그래도 남는 할루시네이션
RAG가 할루시네이션을 완전히 없애진 못한다.
검색 실패: 관련 문서가 DB에 없으면 AI는 다시 추측한다 잘못된 문서 선택: 관련 없는 문서를 검색해서 그 내용으로 답함 문서 오해석: 문서 내용을 AI가 잘못 읽음 숫자 착각: 문서에 있는 숫자를 다르게 인용함
그래서 의료 RAG는 반드시 이것들을 추가해야 한다:
- 검색된 문서가 없으면 “관련 문서를 찾지 못했습니다” 표시
- 답변에 항상 출처 문서 링크
- 중요한 수치는 원문 인용으로 표시
- 확신도 낮은 답변엔 “추가 확인 필요” 플래그
RAG vs 단순히 더 좋은 모델
“모델이 더 똑똑해지면 할루시네이션도 줄지 않나요?”
줄긴 한다. GPT-4가 GPT-3.5보다 할루시네이션이 적다. Claude 3 Opus가 Claude 2보다 정확하다.
하지만 없어지지 않는다. 아무리 좋은 모델도 자신의 학습 컷오프 이후 정보는 없고, 학습 데이터에 없는 도메인 특화 지식은 부족하다.
모델 성능 개선과 RAG는 상호 보완적이다. 더 좋은 모델 + RAG = 더 신뢰할 수 있는 시스템.
의료 AI에서의 실용적 접근
할루시네이션 위험도에 따른 대응:
높은 위험 (처방, 용량, 금기):
→ 반드시 검증된 DB에서 검색 (RAG 필수)
→ 출처 항상 표시
→ AI 응답 단독 사용 금지
중간 위험 (가이드라인, 프로토콜):
→ RAG + 최신 문서 주기적 업데이트
→ "최신 가이드라인 확인 필요" 문구 자동 추가
낮은 위험 (일반 설명, 교육):
→ RAG 선택적 사용
→ 면책 문구로 충분할루시네이션과의 전쟁에서 완승은 없다. 그래도 RAG는 현재 가장 실용적인 무기다.