멀티모달 AI의 역사 — 텍스트에서 이미지·음성까지
한줄 요약
AI가 텍스트만 처리하던 시대에서 이미지·음성·영상을 함께 이해하는 시대로의 전환은, 2012년 AlexNet에서 시작해 2024년 GPT-4o에서 완성의 형태를 드러냈다.
이미지 인식의 여명 — LeNet과 AlexNet
이미지를 처리하는 AI의 역사는 텍스트 AI보다 훨씬 길다.
1989년, Yann LeCun(현 Meta AI 수석 과학자)은 LeNet-5를 발표했다. 손글씨 숫자를 인식하는 합성곱 신경망(CNN). 미국 우체국이 우편번호 인식에 실제 사용했다. 그러나 더 복잡한 이미지에는 역부족이었다.
2012년 9월, AlexNet이 ImageNet 대회에서 오류율 15.3%를 기록하며 2위(26.2%)를 압도했다. Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton의 작품이었다.
이것이 딥러닝 혁명의 방아쇠였다. 이미지 인식 오류율은 이후 매년 급격히 낮아졌고, 2016년에는 인간 수준(5%)을 돌파했다.
텍스트와 이미지를 연결하다 — CLIP (2021)
2021년 1월, OpenAI는 CLIP(Contrastive Language-Image Pre-training)을 발표했다.
아이디어는 단순하고 강력했다. 이미지와 그 설명 텍스트를 같은 벡터 공간(embedding space)에 배치한다. 그러면 “고양이” 텍스트와 고양이 사진이 벡터 공간에서 가까운 위치에 놓인다.
4억 쌍의 이미지-텍스트 데이터로 훈련된 CLIP은, 별도 학습 없이 새로운 이미지 분류 과제를 처리할 수 있었다 — 단지 클래스 이름만 텍스트로 주면.
CLIP이 중요한 이유: 이것이 DALL-E, Stable Diffusion, GPT-4V의 기반 기술이 됐기 때문이다.
이미지 생성의 폭발 — DALL-E와 Stable Diffusion
DALL-E (2021년 1월): OpenAI가 발표한 텍스트-이미지 생성 모델. “아보카도 모양의 안락의자”처럼 상상 속의 이미지를 생성했다. 2022년 DALL-E 2는 해상도와 품질을 대폭 향상시켰다.
Stable Diffusion (2022년 8월): Stability AI가 오픈소스로 공개한 확산 모델(diffusion model). 누구나 무료로 이미지를 생성할 수 있게 됐다. 창작자, 마케터, 연구자 모두에게 열린 도구가 됐다.
Midjourney (2022년 3월 베타): Discord 기반의 이미지 생성 서비스. 예술적 완성도로 빠르게 주목받았다.
2022년, 이미지 생성 AI는 일상 도구가 됐다.
멀티모달 LLM — 이미지를 읽는 언어 모델
생성이 아니라 이해 쪽으로도 발전이 이어졌다.
GPT-4V (2023년 9월): OpenAI가 GPT-4에 시각 입력 기능을 추가했다. 사진을 보고 설명하고, 그래프를 분석하고, 의료 영상을 해석할 수 있었다. 논문의 차트를 보여주면 내용을 요약했다.
Gemini (Google, 2023년 12월): 텍스트·이미지·음성·영상·코드를 처음부터 통합 처리하도록 설계된 모델. 구글은 이것을 “처음부터 멀티모달로 만든 최초의 대형 모델”이라고 소개했다.
Claude 3 (Anthropic, 2024년 3월): Haiku·Sonnet·Opus 시리즈 모두 이미지 입력 처리 가능. 의료 영상, 논문 차트, 손글씨 메모 등을 읽고 분석.
음성까지 — GPT-4o (2024년 5월)
2024년 5월 13일, OpenAI는 GPT-4o(“o”는 omni, 전부)를 공개했다.
텍스트·이미지·음성을 실시간으로 처리한다. 이전 음성 AI는 음성 → 텍스트 변환 → LLM 처리 → 텍스트 → 음성 변환의 파이프라인이었다. GPT-4o는 이 과정을 하나의 모델에서 처리했다.
결과: 대화 지연이 232ms로, 사람끼리의 대화와 비슷한 속도. 말투의 감정을 인식하고 그에 맞게 반응. 영상 통화 중 표정을 읽을 수 있었다.
의료 맥락에서 이것의 의미: 환자가 말하는 동안 AI가 표정·목소리 톤·말의 내용을 동시에 분석할 수 있다.
의료에서의 멀티모달 AI
의료 데이터는 본질적으로 멀티모달이다.
- 영상 데이터: CT, MRI, X-ray, 내시경 영상
- 구조화 데이터: 혈액검사 수치, 활력 징후
- 텍스트 데이터: 의무기록, 소견서, 경과 기록
- 유전체 데이터: 염기서열, SNP
이것들을 통합해서 처리하는 AI가 진정한 의료 AI의 목표다.
2023~2024년, 여러 연구팀이 “의료 멀티모달 AI”를 발표했다. 영상 + 임상 기록을 함께 입력받아 진단하는 모델들. 아직 연구 단계가 많지만, 방향은 분명하다.
앞으로 — 촉각, 후각, 그 이상
현재 AI는 시각·청각·언어를 처리한다.
다음 단계로 연구되고 있는 것들:
- 촉각 피드백: 로봇 수술에서 수술 도구의 압력·저항을 AI가 학습
- 의료 기기 연동: 청진기 소리, 심전도 파형, 혈압 추이를 언어 모델과 통합
- 후각 센서: 일부 질병(당뇨, 간부전)이 특유의 냄새를 낸다는 점에서, 전자 코와 AI의 결합
인간 의사가 사용하는 모든 감각을 AI가 활용할 수 있게 되는 방향으로 기술이 수렴하고 있다.
핵심 정리
- LeNet-5(1989)·AlexNet(2012): 이미지 인식 딥러닝의 기초
- CLIP(2021): 이미지와 텍스트를 같은 벡터 공간에 — 멀티모달의 기반
- DALL-E·Stable Diffusion(2021~2022): 이미지 생성 AI의 대중화
- GPT-4V(2023): 이미지를 읽는 LLM의 시대 개막
- Gemini(2023): 처음부터 멀티모달로 설계된 대형 모델
- GPT-4o(2024): 텍스트·이미지·음성 실시간 통합, 232ms 응답
- 의료 멀티모달 AI: 영상+의무기록+유전체 통합이 다음 목표