Claude vs ChatGPT, 의료 진단에서 정확도 비교 연구
한줄 요약
2025년 JAMA Network Open 게재 연구에서 Claude 3.5 Sonnet이 의료 진단 정확도에서 GPT-4o를 미세하게 앞섰으나, 두 모델 모두 전문의 대비 여전히 환각 빈도가 높아 단독 사용은 부적절하다는 결론이 나왔다.
뉴스 개요
2025년 8월 JAMA Network Open에 게재된 Stanford University 의과대학 연구팀의 “Comparative Evaluation of Large Language Models in Clinical Reasoning Tasks” 연구는 Claude 3.5 Sonnet(Anthropic), GPT-4o(OpenAI), Gemini 1.5 Pro(Google), Llama 3.1 70B(Meta)를 대상으로 임상 추론 능력을 체계적으로 비교했다.
평가에는 USMLE Step 2 문제 500개, 실제 진단 케이스 200개, 약물 상호작용 질문 150개가 사용됐으며, 연구에 참여한 전문의 30명의 답변을 기준으로 삼았다.
주요 내용
연구/발표 상세
모델별 성능 비교 (Stanford, JAMA Network Open 2025)
| 모델 | USMLE Step 2 정확도 | 진단 케이스 정확도 | 약물 상호작용 | 환각 빈도 |
|---|---|---|---|---|
| Claude 3.5 Sonnet | 87.4% | 79.2% | 82.0% | 8.3% |
| GPT-4o | 85.1% | 77.6% | 83.4% | 11.2% |
| Gemini 1.5 Pro | 81.3% | 73.8% | 79.1% | 14.7% |
| Llama 3.1 70B | 74.6% | 68.2% | 71.3% | 19.8% |
| 전문의 평균 | 91.8% | 88.4% | 91.6% | — |
주목할 결과:
- Claude 3.5 Sonnet: 진단 추론과 근거 설명 품질에서 우위. “모르겠다”고 응답하는 적절한 불확실성 표현 비율이 가장 높음(23.4%)
- GPT-4o: 약물 상호작용 질문에서 소폭 우위. 답변 형식의 구조화가 잘 되어 있어 EMR 통합에 유리
- 두 모델 공통: 희귀 질환, 복잡한 다약제 상호작용, 소아 특이 케이스에서 성능 급락
- 환각 패턴 차이: GPT-4o는 자신감 있게 틀린 수치를 제시하는 경향, Claude는 “확인이 필요하다”는 표현을 더 자주 사용
배경
의료진 사이에서 “Claude vs ChatGPT 중 무엇이 더 좋냐”는 질문이 반복되면서 체계적 비교 연구의 필요성이 높아졌다. 특히 2024년부터 한국 의료기관에서 ChatGPT 사용이 일반화되면서, 어떤 모델을 어떤 목적으로 사용해야 하는지에 대한 근거가 요구됐다.
다만 이 연구는 언어 모델의 언어 버전 업그레이드 속도가 빠르기 때문에 6개월 후에는 다른 결과가 나올 수 있다는 점을 연구팀 스스로 한계로 지적했다. 실제로 이 연구 이후 두 회사 모두 모델 업데이트를 진행했다.
의료 현장에 미치는 영향
긍정적 측면
- 용도별 선택 근거 제공: 단순 임상 추론은 Claude, 구조화된 문서화 작업은 GPT-4o가 상대적 강점
- 성능 기준 명시: 전문의 대비 정확도 차이를 수치로 확인함으로써 “AI를 보조 도구로만 사용”이라는 결론의 근거가 명확해짐
- 불확실성 표현 차이: Claude의 “모르겠다” 비율이 높다는 것은 의료 맥락에서 더 안전할 수 있음
주의할 점/한계
- 연구 당시 모델 버전에 한정된 결과로, 현재 최신 버전과 성능 다를 수 있음
- USMLE 문제와 실제 임상은 차이가 있음 — 표준화된 시험 문제 성능 ≠ 실제 임상 유용성
- 한국어 의료 용어 처리 능력은 이 연구에서 평가되지 않았으며, 영어 기반 훈련 데이터의 특성상 한국어 성능은 추가 검증 필요
- 두 서비스 모두 유료 구독 필요, 병원 단위 계약 시 데이터 처리 조항 검토 필수
의료진이 알아야 할 점
한국 임상 환경에서 두 모델을 사용할 때의 실무 가이드:
공통 주의사항
- 어떤 모델이든 약물 용량, 진단 기준 수치는 반드시 교차 확인
- 환자 개인정보(이름, 주민번호, 진단명)는 입력 금지 — 데이터 서버 위치 및 보안 정책 불명확
Claude 상대적 강점
- 감별진단 목록 생성 및 근거 설명
- “왜 이 진단을 고려해야 하는가” 같은 임상 추론 설명
- 모호한 케이스에서 적절한 불확실성 표현
GPT-4o 상대적 강점
- 의뢰서, 소견서, 교육 자료 초안 작성
- 복잡한 지시문을 구조화된 표 형식으로 정리
- 플러그인/API를 통한 EMR 연동 (현재는 주로 미국 병원에서 활용)
향후 전망
- 의료 특화 AI 등장: OpenAI의 Healthcare GPT, Google의 Med-PaLM 2 등 의료 전용으로 파인튜닝된 모델들이 본격 출시되면 범용 모델과의 비교는 의미가 달라질 것
- 한국어 의료 AI: 네이버 HyperCLOVA X 의료 버전, 카카오 의료 AI 등 한국어 특화 모델의 임상 성능 비교 연구가 2026년 내 발표될 예정
- 멀티모달 경쟁: 영상 판독, 심전도 해석 등 이미지 기반 진단에서의 AI 경쟁이 다음 비교 연구의 핵심 영역