S—REBORN MD AI HUB
Ctrl+K · ⌘K
KO EN
History

2012 ImageNet의 충격 — AlexNet이 딥러닝 시대를 열다

…

한줄 요약

2012년 9월, 알렉스 크리체프스키의 AlexNet은 오류율을 26%에서 15%로 낮추며 컴퓨터 비전 역사를 바꿨고 — 그날 이후 AI 산업의 지형이 완전히 달라졌다.

ImageNet 대회란 무엇인가

2010년, 스탠퍼드 대학교의 페이페이 리(Fei-Fei Li)와 팀은 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)를 시작했다.

규모가 달랐다:

  • 1,000개 카테고리
  • 120만 장의 훈련 이미지
  • 5만 장의 검증 이미지
  • Top-5 오류율로 성능 측정 (정답이 상위 5개 예측 안에 포함되지 않으면 오류)

페이페이 리는 이 데이터셋 구축에 집착했다. 전 세계 50개국에서 Amazon Mechanical Turk를 통해 수만 명이 라벨링 작업에 참여했다. 3년이 걸렸다.

2010–2011년의 기술 수준

대회가 시작된 2010년, 최고 성능의 컴퓨터 비전 시스템은 전통적 방법을 사용했다:

  • SIFT(Scale-Invariant Feature Transform) 특징 추출
  • HOG(Histogram of Oriented Gradients)
  • SVM(Support Vector Machine) 분류기

2010년 우승: Top-5 오류율 28.2% 2011년 우승: Top-5 오류율 25.8%

1~2%씩 개선되는 점진적 진보가 계속되고 있었다.

2012년: AlexNet의 등장

2012년 가을, 토론토 대학교의 알렉스 크리체프스키(Alex Krizhevsky), 일리야 수츠케버(Ilya Sutskever), 제프리 힌턴(Geoffrey Hinton)이 결과를 제출했다.

Top-5 오류율: 15.3%

2위는 26.2%였다. 약 11%포인트 차이. 컴퓨터 비전 역사에서 전례 없는 격차였다.

발표 현장의 반응을 당시 참석자들은 이렇게 묘사한다: “충격적이었다.” 한 연구자는 “이것은 단순한 우승이 아니라 분야 전체를 뒤엎는 것”이라고 표현했다.

AlexNet을 가능하게 한 것들

AlexNet의 성공 요인은 세 가지가 맞물렸다:

  1. GPU 병렬 학습 크리체프스키는 NVIDIA GTX 580 GPU 두 장을 병렬로 연결해 훈련했다. CPU 대비 40배 빠른 연산이 가능했다. 훈련에 5~6일이 걸렸다. GPU 없이는 수개월이 걸렸을 것이다.

  2. ReLU 활성화 함수 기존 신경망은 sigmoid나 tanh 함수를 사용해 기울기 소실 문제가 심각했다. AlexNet은 ReLU(Rectified Linear Unit)를 적용해 훈련 속도를 6배 높였다.

  3. 드롭아웃(Dropout) 과적합(overfitting) 방지를 위해 훈련 중 무작위로 50%의 뉴런을 끄는 기법을 사용했다. 이는 힌턴 팀이 개발한 정규화 방법이었다.

”Deep Learning”이라는 이름의 선택

힌턴은 2006년 자신의 다층 신경망 연구에 “Deep Learning”이라는 이름을 의도적으로 붙였다. 이유가 있었다.

2000년대 초까지 “neural network”라는 단어는 학계에서 거부 반응을 일으켰다. 2차 AI 겨울의 유산이었다. 힌턴은 새로운 브랜딩이 필요하다고 판단했다. “Deep”은 층이 깊다는 의미였고, “Learning”은 데이터로부터 스스로 학습한다는 것을 강조했다.

이 선택은 탁월했다. “Deep Learning”은 기술적 설명이자 마케팅 용어가 됐다.

2012년 이후: 폭발적 성장

AlexNet 이후 3년:

  • 2013년: ZFNet (오류율 14.8%)
  • 2014년: GoogLeNet (오류율 6.7%), VGGNet (오류율 7.3%)
  • 2015년: ResNet (오류율 3.57%) — 인간의 오류율 5.1% 초과

인간보다 이미지를 더 잘 인식하는 기계가 탄생하기까지 단 3년이 걸렸다.

2012년 이후 딥러닝 관련 논문은 매년 2배씩 증가했다. Google, Facebook, Microsoft, Baidu가 앞다퉈 딥러닝 팀을 만들었다. 힌턴 자신도 2013년 Google에 합류했다.

의료계로의 파급

의료 이미지 분야는 즉각 반응했다. 2017년 스탠퍼드 팀은 피부과 전문의 수준의 피부암 진단 AI를 발표했고, 같은 해 구글 딥마인드는 안저 사진으로 당뇨성 망막병증을 진단하는 AI를 선보였다. 이 모든 것이 AlexNet이 연 길 위에 서 있다.

핵심 정리

  • 2012년 ILSVRC에서 AlexNet은 오류율 15.3%로 2위(26.2%)를 압도하며 딥러닝 시대를 열었다.
  • GPU 병렬 학습, ReLU 활성화 함수, 드롭아웃이 핵심 기술 요인이었다.
  • “Deep Learning”이라는 이름은 힌턴이 “neural network”에 대한 거부 반응을 피하기 위해 의도적으로 선택한 브랜딩이었다.
  • 2015년 ResNet은 이미지 인식에서 인간의 오류율을 처음으로 넘어섰다.

관련 글

#cu2604021805#AI역사#의료AI#deep-learning-revolution-2012