S—REBORN MD AI HUB
Ctrl+K · ⌘K
KO EN
컨텍스트

컨텍스트 품질 평가 — 좋은 컨텍스트인지 어떻게 아는가

…

한줄 요약

좋은 컨텍스트는 관련성, 충분성, 정확성, 신선도 네 가지 기준으로 측정하며, 같은 질문에 다른 컨텍스트를 주고 답변 품질을 비교하는 A/B 테스트가 가장 실용적인 평가법이다.

본문

왜 컨텍스트 품질 평가가 필요한가

컨텍스트 엔지니어링에서 가장 간과되는 단계가 평가다. 대부분 컨텍스트를 설계하고 “답변이 괜찮아 보이면” 넘어간다. 하지만 “괜찮아 보이는” 답변과 “실제로 정확한” 답변은 다르다.

특히 의료 분야에서는 그럴듯하지만 틀린 답변(hallucination)이 가장 위험하다. 컨텍스트가 부족하거나 오래됐을 때 AI는 자신있게 잘못된 정보를 생성한다. 이를 사전에 잡으려면 컨텍스트 자체의 품질을 체계적으로 평가해야 한다.

컨텍스트 품질의 4가지 기준

1. 관련성 (Relevance)

제공된 컨텍스트가 질문과 실제로 관련이 있는가.

[낮은 관련성 예시]
질문: "메트포르민의 신장 기능 기준 용량 조절은?"
컨텍스트: 메트포르민의 약리 기전, 역사, 시장 점유율 데이터
→ 질문과 관련은 있지만 답변에 필요한 정보가 아님
[높은 관련성 예시]
질문: "메트포르민의 신장 기능 기준 용량 조절은?"
컨텍스트: eGFR 구간별 메트포르민 용량 조절 기준 (ADA 2025)
→ 질문에 직접 답할 수 있는 정보

관련성 평가법: 컨텍스트의 각 문단을 읽고 “이 정보가 없으면 답변이 달라지는가?”를 묻는다. 달라지지 않는다면 불필요한 컨텍스트다.

2. 충분성 (Sufficiency)

답변에 필요한 정보가 컨텍스트에 빠짐없이 있는가.

AI가 컨텍스트에 없는 정보를 답변에 포함했다면 두 가지 가능성이 있다.

  • AI의 학습 데이터에서 가져온 것 (검증 불가)
  • AI가 생성한 것 (hallucination 위험)

둘 다 위험하다. 충분한 컨텍스트란, AI가 컨텍스트 안에서만 답변을 구성할 수 있을 정도로 필요한 정보가 갖춰진 상태를 의미한다.

충분성 평가법: AI 답변에서 출처를 명시하도록 요청한 뒤, 출처가 컨텍스트 밖인 문장이 있는지 확인한다.

3. 정확성 (Accuracy)

컨텍스트에 포함된 정보가 사실과 일치하는가.

가이드라인을 수동으로 타이핑하다 수치를 잘못 옮기거나, 논문의 결론을 반대로 기재하는 경우가 실제로 발생한다. AI는 컨텍스트에 담긴 오류를 그대로 증폭한다.

정확성 평가법: 컨텍스트에 포함된 수치, 용량, 기준값을 원본 문서와 대조한다. 특히 약물 용량, 진단 기준, 통계 수치는 반드시 이중 확인한다.

4. 신선도 (Freshness)

컨텍스트의 정보가 최신인가.

[신선도 문제 예시]
컨텍스트에 포함된 고혈압 기준: 140/90 mmHg (2017 이전 기준)
현재 기준: 130/80 mmHg (2017 ACC/AHA 이후)
→ AI는 오래된 기준으로 답변을 생성

의료 가이드라인은 매년 업데이트된다. 컨텍스트에 날짜 태그가 없으면 어떤 버전의 정보인지 알 수 없다.

신선도 평가법: 모든 컨텍스트 문서에 출처 날짜를 명시하고, 일정 기간이 지나면 자동으로 리뷰 플래그를 올린다.

답변 품질을 통한 간접 평가

컨텍스트 자체를 직접 평가하기 어려울 때, 답변 품질의 변화를 관찰해서 간접적으로 평가할 수 있다.

방법은 간단하다.

  1. 정답을 알고 있는 질문 세트를 준비한다 (Gold Standard Questions)
  2. 현재 컨텍스트로 답변을 생성한다
  3. 답변을 정답과 비교한다
  4. 틀린 답변이 있다면 컨텍스트의 어느 부분이 부족했는지 역추적한다

의료 분야에서 Gold Standard Questions의 예시는 다음과 같다.

[Gold Standard 질문 예시]
Q: CKD 4기 환자에게 NSAIDs를 처방해도 되는가?
A: 아니오. CKD 4기에서 NSAIDs는 금기.
   (근거: KDIGO 가이드라인 2024)

Q: 메트포르민 복용 중 조영제 CT를 시행할 때 주의사항은?
A: eGFR < 30이면 금기, 30~60이면 검사 후 48시간 중단 후
   신기능 확인 후 재개. (근거: ACR 매뉴얼 2024)

이 질문들에 대해 AI가 정확한 답변을 생성하면 컨텍스트가 잘 설계된 것이다.

A/B 테스트: 같은 질문, 다른 컨텍스트

컨텍스트 개선의 효과를 측정하는 가장 확실한 방법은 A/B 테스트다.

[A/B 테스트 설계]
질문: 동일하게 고정
컨텍스트 A: 기존 컨텍스트
컨텍스트 B: 개선된 컨텍스트
평가 기준: 정확성, 완전성, 실용성 (1~5점)
평가자: 해당 분야 전문의

A/B 테스트를 실행할 때 주의할 점이 있다.

같은 질문을 여러 번 돌린다. LLM의 출력은 비결정적이다. 한 번의 결과로 판단하면 안 된다. 최소 5회 이상 반복해서 평균을 비교한다.

평가자를 블라인드 처리한다. 어떤 컨텍스트로 생성된 답변인지 평가자가 모르게 한다. 편향을 방지한다.

한 번에 하나만 바꾼다. 컨텍스트의 여러 요소를 동시에 바꾸면 어떤 변경이 효과가 있었는지 알 수 없다.

실전 평가 워크플로우

1단계: 평가용 질문 세트 20개 준비 (쉬움 10개, 어려움 10개) 2단계: 현재 컨텍스트로 답변 생성 (각 질문 5회) 3단계: 전문의가 답변 품질 채점 (정확성, 완전성, 실용성) 4단계: 점수가 낮은 질문의 컨텍스트를 분석, 개선 5단계: 개선된 컨텍스트로 재채점 6단계: 개선 전후 점수 비교

이 과정을 분기 1회 정도 반복하면 컨텍스트 품질이 꾸준히 올라간다.

평가를 자동화할 수 있는가

일부는 가능하다. LLM에게 “이 답변이 참조 문서와 일치하는지 확인해 달라”고 요청하는 방식(LLM-as-Judge)이 연구되고 있다. 하지만 의료 분야에서는 최종 판단을 LLM에 맡기는 것이 아직 이르다.

현실적인 접근은 자동 1차 필터링 + 인간 최종 확인이다. AI가 “이 답변은 컨텍스트 밖의 정보를 포함하고 있을 가능성이 있습니다”라고 플래그를 올리고, 전문의가 확인하는 구조다.

핵심 정리

  1. 컨텍스트 품질은 관련성, 충분성, 정확성, 신선도 4가지로 평가한다
  2. 정답을 아는 질문 세트(Gold Standard)로 답변 품질을 간접 측정할 수 있다
  3. A/B 테스트 시 동일 질문을 최소 5회 반복하고, 평가자를 블라인드 처리한다
  4. 한 번에 하나의 요소만 변경해야 개선 효과를 정확히 측정할 수 있다
  5. 의료 분야에서 완전 자동화 평가는 아직 이르며, 자동 필터 + 인간 확인 조합이 현실적이다

관련 글

#컨텍스트평가#품질측정#A/B테스트#관련성#의료AI