Overfitting(과적합)이 뭐예요?
한줄 요약
Overfitting은 AI가 학습 데이터의 패턴을 너무 세밀하게 외워서, 새로운 데이터에는 잘 작동하지 않는 현상입니다. 의료 AI를 다른 병원에 적용했을 때 성능이 뚝 떨어지는 주된 원인 중 하나입니다.
왜 알아야 할까?
🎯 Pain Point 논문에서 95% 정확도를 자랑하던 AI가 실제 병원에 도입하니 60%밖에 안 나옵니다. 이런 경험을 한 분들이 많습니다. 그 이유 중 하나가 overfitting입니다.
✅ Overfitting을 알면
- 논문의 AI 성능 수치를 비판적으로 읽을 수 있습니다
- AI 의료 도구 도입 전 어떤 검증이 필요한지 알 수 있습니다
- 우리 병원 데이터로 재학습이 왜 필요한지 이해할 수 있습니다
- AI 개발팀과 의미 있는 대화를 할 수 있습니다
이게 뭐예요?
Overfitting(과적합)이란 AI가 학습 데이터에 지나치게 최적화되어, 처음 보는 새 데이터에는 제대로 작동하지 않는 문제입니다.
쉽게 말해, AI가 학습 데이터를 “이해”한 게 아니라 “암기”해버린 상태입니다.
비유 1 — 특정 병원 환자만 본 의사 A병원에서만 10년을 일한 의사가 있습니다. A병원 환자들은 특정 직업군이 많고, 특정 지역 특유의 질환 패턴이 있습니다. 이 의사가 B병원으로 이직하면 처음에는 판단이 흔들릴 수 있습니다. AI도 마찬가지입니다. 특정 병원 데이터로만 학습한 AI는 그 병원 패턴에 과도하게 맞춰집니다.
비유 2 — 작년 시험 문제 암기 시험공부를 작년 기출 문제만 반복해서 외웠습니다. 작년 시험이라면 100점이지만, 새 문제가 나오는 올해 시험은 형편없습니다. 핵심 개념을 이해한 게 아니라 문제와 답을 그냥 외웠기 때문입니다. AI도 학습 데이터를 진짜로 “이해”하지 않고 암기하면 새 데이터에 실패합니다.
💡 한줄 정리 “학습 시험은 100점이지만, 실제 시험은 60점인 AI”
예시를 들어볼게
예시 1 — 폐렴 감지 AI의 성능 하락 미국 대형병원 X-ray 30만 장으로 학습한 폐렴 감지 AI가 한국 중소병원에 도입됐습니다. 정확도가 92%에서 71%로 떨어졌습니다. 미국 병원의 장비, 촬영 각도, 환자 특성에 너무 맞춰져 있었기 때문입니다.
예시 2 — 너무 작은 학습 데이터 희귀 질환 AI를 100개 케이스만으로 학습시켰습니다. 학습 정확도는 98%지만, 새 케이스에는 65%밖에 안 됩니다. 100개 데이터의 특이한 패턴까지 다 외워버린 것입니다.
예시 3 — 테스트 데이터 누출 학습 데이터와 테스트 데이터가 같은 환자에서 나온 경우, 논문 성능은 훌륭해 보이지만 실제 새 환자에는 적용되지 않습니다.
의료에서는 이렇게 써요
- 외부 검증(External Validation)의 중요성 ❌ overfitting 위험: 개발 병원 데이터로만 테스트 → 성능 과장 ✅ 올바른 검증: 전혀 다른 병원의 데이터로 테스트 → 실제 현장 성능 확인
의료 AI 논문을 볼 때 외부 검증 여부를 꼭 확인해야 합니다.
-
다기관 데이터 학습 여러 병원, 여러 장비, 다양한 환자군의 데이터로 학습한 AI가 overfitting에 더 강합니다. 단일 기관 데이터로 만든 AI는 주의가 필요합니다.
-
현지 미세조정(Local Fine-tuning) 다른 병원에서 만든 AI를 우리 병원 데이터로 추가 학습시키면 overfitting 문제를 줄일 수 있습니다. Transfer Learning의 응용입니다.
주의할 점 ⚠️
-
논문 정확도를 그대로 믿으면 안 됩니다 AI 논문의 성능은 최적화된 조건에서 나온 수치입니다. 실제 우리 병원에서는 다를 수 있습니다.
-
Underfitting도 조심해야 합니다 반대로 학습이 너무 부족하면 어떤 데이터에도 잘 작동하지 않습니다. 이를 underfitting이라 합니다. 균형이 중요합니다.
-
검증 세트와 테스트 세트를 분리해야 합니다 AI 개발 시 데이터를 학습/검증/테스트로 나눠야 합니다. 이 과정이 생략된 AI는 overfitting 위험이 높습니다.
더 알고 싶다면
🔗 관련 글
- Transfer Learning이 뭐예요? — overfitting 방지에 도움이 되는 기법
- Data Augmentation이 뭐예요? — 데이터를 늘려 overfitting을 줄이는 방법
- 민감도와 특이도가 뭐예요? — AI 성능을 제대로 평가하는 지표들