멀티모달 AI — 이미지와 텍스트를 동시에 이해하는 AI의 작동 원리
한줄 요약
멀티모달 AI는 이미지를 “텍스트처럼” 벡터로 변환해서 언어 모델에 넘긴다. 보는 게 아니라 번역하는 것이다.
본문
텍스트만 읽던 AI가 사진을 받게 되다
초기 LLM은 철저하게 텍스트 전용이었다. 토큰을 입력받고, 다음 토큰을 예측한다. 이미지는 토큰이 아니므로 처리 불가였다. GPT-3, 초기 Claude 모두 마찬가지였다. 아무리 정교한 의학 지식을 학습했어도, 흉부 X-ray 이미지 파일을 넣으면 아무것도 할 수 없었다.
GPT-4V(2023), Claude 3(2024), Gemini 1.5 Pro(2024) 이후로 상황이 바뀌었다. 이제 AI에게 피부 병변 사진을 첨부하고 “이게 뭐처럼 보이나요?”라고 물을 수 있다. 흉부 X-ray를 붙여넣고 소견을 요청하는 것도 가능하다. 단순히 “이미지 인식” 기능이 붙은 게 아니라, 이미지와 텍스트를 하나의 통합된 맥락으로 처리한다.
멀티모달(Multimodal) 이란, 하나 이상의 입력 형식(텍스트·이미지·오디오·영상)을 함께 처리하는 AI를 말한다. 현재 임상에서 가장 실용적인 조합은 텍스트 + 이미지다.
텍스트 전용 LLM과의 핵심 차이는 다음과 같다:
| 구분 | 텍스트 전용 LLM | 멀티모달 LLM |
|---|---|---|
| 입력 형식 | 텍스트만 | 텍스트 + 이미지 (+ 오디오, 영상) |
| 이미지 설명 | 텍스트로 설명 받아야 함 | 이미지 직접 입력 가능 |
| 의료 이미지 | 불가 | 제한적으로 가능 |
| 구조 | Transformer만 | Vision Encoder + Transformer |
이미지를 어떻게 “이해”하는가 — Vision Encoder + Language Model
핵심 구조는 두 모듈의 결합이다.
[ 이미지 ] ──→ [ Vision Encoder ] ──→ [ 이미지 토큰(벡터) ]
↓
[ 텍스트 질문 ] ──→ [ 토크나이저 ] ──→ [ 텍스트 토큰 ] ──┐
↓
[ Language Model ]
↓
[ 텍스트 답변 ]Vision Encoder 는 이미지를 고차원 벡터로 변환하는 모델이다. 대표적으로 OpenAI의 CLIP, Google의 ViT(Vision Transformer)가 쓰인다. 이 단계에서 이미지는 “픽셀 배열”에서 “의미 벡터 배열”로 변환된다.
임베딩을 이미 알고 있다면 이해가 빠르다. Vision Encoder가 하는 일은 이미지 버전의 임베딩이다. 단어를 768차원 벡터로 표현하듯, 이미지 패치(patch)를 수백 개의 벡터로 쪼개서 표현한다.
Projection Layer 는 Vision Encoder의 출력 벡터를 Language Model이 이해하는 토큰 공간으로 변환하는 다리 역할을 한다.
이미지 패치(32×32 픽셀) → ViT 인코딩 → [0.31, 0.88, 0.12, ...]
↓ Projection
LLM 토큰 공간의 벡터
→ LLM은 이것을 "텍스트 토큰"처럼 처리결국 Language Model 입장에서는 이미지 정보가 텍스트 토큰과 동일한 형식으로 들어온다. LLM의 어텐션 메커니즘이 텍스트 토큰과 이미지 토큰을 함께 처리하면서, 질문과 이미지의 맥락을 통합적으로 고려한 답변을 생성한다.
의사의 사고방식으로 비유하자면, Vision Encoder는 영상 판독의 “지각(perception)” 단계이고, Language Model은 그 지각 결과를 바탕으로 “추론(reasoning)“하는 단계다. 영상의학과 의사가 영상을 보고 뇌 속에서 패턴을 인식한 뒤, 그것을 언어로 보고서에 기술하는 것과 개념적으로 같다. 단, AI는 의사의 수십 년 임상 경험 대신 인터넷 데이터 패턴에 의존한다는 점이 결정적 차이다.
학습 방식 — 텍스트-이미지 쌍의 대규모 학습
멀티모달 모델이 이미지 내용을 설명할 수 있는 이유는, 수십억 쌍의 (이미지, 설명 텍스트) 데이터로 학습했기 때문이다.
학습 데이터 예시:
[인터넷에서 수집된 이미지] + "A chest X-ray showing cardiomegaly
with bilateral pleural effusion"
[피부 병변 사진] + "Melanocytic nevus with irregular border"Vision Encoder와 Language Model이 이런 쌍을 수없이 보면서, 이미지의 어떤 시각적 특징이 어떤 텍스트 표현과 대응하는지 학습한다. 이것이 멀티모달 모델이 이미지를 “번역”할 수 있는 원리다.
중요한 점은, 이 학습 데이터의 대부분이 일반 인터넷 이미지라는 것이다. 의학 교과서 이미지, Wikipedia 의학 항목 삽화, 의학 저널의 오픈액세스 이미지 등이 포함되어 있지만, 실제 임상에서 수집된 고품질 의료 영상은 극히 일부다. 환자 데이터는 개인정보 보호 규정으로 공개가 제한되기 때문이다. 이것이 범용 멀티모달 AI의 의료 이미지 분석 한계의 근본 원인이다.
의료에서의 실제 사용 사례
피부과: 병변 사진으로 감별 요청
가장 접근하기 쉬운 영역이다. 스마트폰으로 찍은 사진을 AI에 첨부할 수 있다.
[사용 프롬프트 예시 1 — 피부 병변 기술 보조]
첨부한 사진은 45세 남성의 등에 있는 병변입니다.
다음을 기술해 주세요:
- 병변의 모양, 경계, 색깔, 크기 추정
- ABCDE 기준(비대칭, 경계, 색, 직경, 진행)으로 분류
- 감별 진단 목록 (가능성 순)
- 추가 검사 또는 전문의 의뢰 필요성
단, 최종 진단은 제가 내리겠습니다. 감별 보조 목적으로만 사용합니다.현재 수준에서 멀티모달 AI는 병변의 외형적 특징을 구조적으로 기술하는 데 유용하다. 경험이 적은 의사나 일차 진료에서 “전문의 의뢰 여부 판단”을 보조하는 용도로 연구되고 있다.
한계: 해상도가 낮은 사진, 각도나 조명이 나쁜 경우 환각이 심해진다. 실제 임상 의사결정에 사용하려면 FDA/식약처 인증 의료기기 소프트웨어(SaMD)가 아닌 범용 AI는 진단 도구로 쓸 수 없다.
영상의학: X-ray 소견 요약 보조
[사용 프롬프트 예시 2 — 흉부 X-ray 소견 기술]
첨부한 흉부 PA 영상에서 아래 항목을 체계적으로 기술해 주세요:
1. 심장 크기 및 윤곽 (CTR 추정)
2. 폐야 (양측 비교, 음영 이상 여부)
3. 늑골횡격막각 (blunting 여부)
4. 종격동 (widening, shift 여부)
5. 골격 이상
이 분석은 보고서 초안 작성 보조 목적이며,
최종 판독은 영상의학과 전문의가 수행합니다.연구 결과, GPT-4V와 같은 범용 멀티모달 AI는 명확한 소견(대엽성 폐렴의 경화, 심비대, 기흉)은 어느 정도 기술할 수 있다. 그러나 미묘한 소견(초기 결절, 경계 불명확한 음영)에서 정확도가 급격히 떨어진다.
핵심 한계: 범용 멀티모달 AI는 영상의학 전문 AI(Lunit INSIGHT, Aidoc 등)보다 의료 영상 분석 정확도가 현저히 낮다. 전문 의료 AI는 수십만 장의 임상 영상과 전문의 판독으로 훈련되었지만, 범용 AI는 그렇지 않다.
병리: 조직 슬라이드 분석 (연구 단계)
디지털 병리(Digital Pathology)는 멀티모달 AI의 가장 활발한 연구 분야 중 하나다. 조직 슬라이드 전체를 스캔한 WSI(Whole Slide Image)를 AI가 분석하는 방식이다.
연구 사례:
- 유방암 조직에서 호르몬 수용체 상태 예측
- 대장암 조직에서 MSI(현미부수체 불안정성) 분류
- 신장 생검에서 사구체신염 아형 분류현재 이 분야는 범용 멀티모달 AI로는 불가능하다. 고해상도 WSI는 수 기가바이트 크기이며, 전문적인 병리 전용 모델(예: PathChat, CONCH)이 별도로 개발되고 있다. 2024~2025년 기준으로 몇몇 모델이 FDA 승인을 추진 중이지만, 아직 임상 표준은 아니다.
직접 써볼 수 있는 프롬프트 — 교육 목적
[사용 프롬프트 예시 3 — 의학 이미지 교육 활용]
[의학 교육 목적 질문]
첨부한 심전도(ECG) 이미지를 교육용으로 분석해 주세요:
- 기본 리듬 (박동수, 규칙성)
- P파, PR 간격, QRS 폭, QT 간격 특징
- 주목할 만한 이상 소견
- 이 ECG에서 학습할 수 있는 교육적 포인트
이것은 임상 진단이 아닌 의학 교육 목적입니다.범용 멀티모달 AI를 의학 교육에 활용하는 것은 현재 단계에서 가장 안전하고 유용한 방식이다. 케이스 스터디 자료 준비, 강의 자료 검토, 학생 질문 응답 등에서 활용 가능성이 높다.
한계와 주의사항 — 의사가 반드시 알아야 할 것
- 의료 영상 환각은 텍스트 환각보다 위험하다
AI 환각은 텍스트에서만 발생하지 않는다. 멀티모달 AI는 이미지에서도 없는 소견을 있다고 기술하거나, 있는 소견을 놓칠 수 있다. 텍스트 환각과 달리 이미지 환각은 의사가 영상을 다시 보지 않는 한 검증하기 어렵다.
실제로 연구에서 GPT-4V에게 정상 X-ray를 보여줬을 때, 존재하지 않는 폐 결절이나 경화 소견을 기술하는 경우가 보고되었다. AI가 “그럴듯한 X-ray 판독문”을 생성하도록 훈련되어 있어서, 이미지와 무관하게 패턴에 맞는 소견을 만들어낼 수 있다. 텍스트 환각에서 존재하지 않는 논문을 인용하는 것과 같은 메커니즘이다.
- 범용 AI는 FDA/식약처 승인 의료기기가 아니다
ChatGPT, Claude, Gemini 등 범용 AI는 의료기기 소프트웨어(SaMD)로 허가받지 않았다. 이것들을 진단 보조 도구로 임상에서 사용하는 것은 현행 의료기기법상 명확한 근거가 없으며, 의료사고 발생 시 법적 책임 문제가 생길 수 있다.
- 세밀한 의료 영상 판독을 AI에 의존하면 안 된다
| 소견 유형 | 범용 멀티모달 AI 신뢰도 | 비고 |
|---|---|---|
| 명확한 대형 소견 (기흉, 심비대) | 중간 | 참고 가능, 확인 필수 |
| 미묘한 초기 소견 (소결절, 경계 불명확 음영) | 낮음 | 의존 금지 |
| 계측치 (종양 크기, CTR 비율) | 낮음 | 신뢰 불가 |
| 조직학적 분류 | 매우 낮음 | 전문 모델 필요 |
- 학습 데이터 편향
멀티모달 모델은 인터넷에서 수집된 이미지로 학습되었다. 임상 데이터는 접근이 제한되어 있어, 실제 임상 영상 분포와 학습 데이터 분포가 다를 수 있다. 한국인 환자 데이터 비중도 서구 데이터에 비해 현저히 낮다.
피부과 영역에서 이 문제가 특히 심각하다. 피부 색깔이 어두운 환자의 병변 이미지는 밝은 피부 환자 이미지에 비해 인터넷 데이터에서 현저히 적다. 연구에 따르면, 피부과 멀티모달 AI의 성능은 피부 색조에 따라 유의한 차이를 보였다. 이것은 AI의 기술 문제가 아니라, 학습 데이터의 구조적 편향 문제다.
- 프롬프트 의존성
멀티모달 AI는 동일한 이미지에도 질문 방식에 따라 다른 답을 내놓는다. “이 X-ray에서 폐렴 소견이 있나요?”라고 물으면 폐렴 소견을 찾는 방향으로 답하고, “정상 X-ray인가요?”라고 물으면 정상 소견을 강조하는 경향이 있다. 임상에서 사용할 때 이 편향을 인지하고, 유도 질문을 피해야 한다.
멀티모달 AI의 현재 위치
현재 (2024~2026) 향후 (예측)
───────────────────── ─────────────────────
범용 AI의 의료 이미지 분석 전문 의료 멀티모달 AI 등장
→ 교육 보조에 한정 → FDA/식약처 승인 후 임상 보조
→ 진단 의존 불가 → 일부 선별 검사 보조 가능성
전문 의료 AI (Lunit 등) 의료 멀티모달 에이전트
→ 특정 영역에서 이미 FDA 승인 → 영상+텍스트+검사치 통합 분석
→ 영상의학과 워크플로우 보조 → 연구 단계의사가 알아야 할 핵심: 멀티모달 AI는 강력한 보조 도구가 될 수 있지만, 현재 범용 AI는 의료 이미지 진단에 쓰기엔 이르다. 올바른 활용은 교육, 초안 작성 보조, 비의료적 이미지 분석이다. 의료 영상 분석이 필요하다면 전문 의료 AI 제품을 기다려야 한다.
핵심 정리
- 멀티모달 AI = Vision Encoder가 이미지를 벡터로 변환 → Language Model이 텍스트 토큰처럼 처리
- 의료 적용 가능성: 피부과(외형 기술 보조), 영상의학(명확한 소견 보조), 병리(연구 단계)
- 범용 AI는 FDA/식약처 미승인 — 진단 목적 임상 사용 불가, 교육 보조로 한정
- 세밀한 의료 영상 소견에서 환각 위험 높음 — 전문 의료 AI 제품과 구분 필수
임상 적용
| 활용 영역 | 가능한 활용 | 현재 한계 |
|---|---|---|
| 의학 교육 | 케이스 이미지 설명, 특징 기술 교육 | 교육용으로 한정 |
| 피부과 | 병변 ABCDE 기술 보조, 의뢰 여부 1차 검토 | 진단 목적 사용 불가 |
| 영상의학 | 보고서 초안 템플릿 생성 보조 | 판독 의존 불가, 확인 필수 |
| 병리 | 조직학 패턴 교육 자료 설명 | 실제 슬라이드 분석은 전문 모델 필요 |
| 행정/기록 | 이미지 포함 문서의 내용 요약 | 의료 이미지 제외 |
영상의학·병리 AI의 임상 도입 현황이 궁금하다면 영상의학·병리에서의 AI에서 더 자세히 볼 수 있다.