Transformer — 논문 저자들이 이 이름을 고른 진짜 이유
한줄 요약
“Transformer”라는 이름은 전기 변압기(electrical transformer)에서 영감을 받았을 가능성이 높지만, 저자들이 공식 확인한 적은 없다 — 이름보다 논문 제목이 더 유명해진 희귀한 사례다.
”Attention Is All You Need” — 2017년
2017년 구글 브레인의 아쉬시 바스와니(Ashish Vaswani) 등 8명이 발표한 논문 “Attention Is All You Need”는 현대 AI의 기반이 된 아키텍처를 소개했다. 논문 속에서 이 아키텍처의 이름은 간단하게 “the Transformer”로 등장한다.
흥미롭게도 이 논문은 모델 이름보다 논문 제목이 더 유명해진 특이한 사례다. “어텐션이 전부다”라는 도발적 제목은 당시 RNN과 CNN 중심의 NLP 커뮤니티에 선전포고였고, 결국 그 주장이 맞았다.
왜 이 이름인가
저자들이 “Transformer”라는 이름을 고른 이유에 대한 공식 발언은 거의 없다. 그러나 단어의 의미와 구조에서 추론할 수 있다.
전기 변압기(electrical transformer)와의 유추. 전기 변압기는 에너지를 보존하면서 전압의 형태를 변환한다 — 높은 전압을 낮은 전압으로, 또는 그 반대로. Transformer 모델은 입력 시퀀스를 의미를 보존하면서 다른 표현으로 변환한다. 구조적 유사성이 있다.
“변환(transform)“의 수학적 의미. 선형대수에서 변환(transformation)은 벡터를 다른 벡터로 매핑하는 함수다. Transformer의 핵심 연산 — 어텐션, 피드포워드 레이어 — 은 모두 벡터 변환이다. 수학적으로도 이름이 정확하다.
대안 이름들. 논문 초안에서 “Attention Net”, “Attention Model” 등의 이름이 검토됐다는 비공식 언급이 있다. 그러나 “Transformer”는 단순하고 기억하기 쉬우며 특정 기능에 얽매이지 않는 이점이 있었다.
변압기와의 관계 — 의도적 연결인가 우연인가
2021년 한 인터뷰에서 바스와니는 “Transformer”라는 이름이 전기 변압기에서 온 것인지 질문받았고, 단순히 “변환한다”는 의미로 골랐다고 답했다. 그러나 전기 변압기와의 유추가 완전히 무관하다고 부인하지도 않았다.
연구자들 사이에서는 이 유추가 알려진 후에도 꾸준히 인용된다. 변압기는 신호의 형태를 바꾸면서 본질적 내용을 보존한다 — Transformer가 텍스트를 처리하는 방식과 정확히 같다. 의도했든 아니든, 좋은 은유다.
한국어 번역의 딜레마
“Transformer”를 한국어로 옮기는 방법은 여러 가지가 있고, 아직 표준이 없다.
변환기(變換器): 가장 직역에 가깝다. 전기공학에서 이미 “변압기” 혹은 “변환기”로 쓰이는 단어. 기술적으로 정확하지만 AI 모델의 의미가 잘 전달되지 않는다.
트랜스포머: 발음 그대로 외래어로 쓰는 방식. 개발자 커뮤니티에서 가장 많이 쓰인다. 로봇 애니메이션을 연상시킨다는 단점이 있다.
주의집중 모델: “어텐션 모델”의 의역. 기능을 설명하지만 고유명사로서의 역할을 못 한다.
학술 논문에서는 보통 “트랜스포머(Transformer)“로 쓰고 영어를 병기한다. 실용적인 타협이다.
Transformer가 하는 일의 본질
이름을 이해하면 구조가 보인다. Transformer는 입력 시퀀스의 각 원소가 다른 모든 원소와 어떻게 관련되는지를 동시에 계산하고, 이를 통해 각 원소의 표현을 변환한다. “주의(attention)” 가 이 변환의 핵심 메커니즘이다.
번역 모델이라면 “나는 사과를 먹었다”의 각 단어가 “I ate an apple”의 어느 단어에 대응하는지를 Transformer가 어텐션으로 계산한다. 변환기가 전압의 형태를 바꾸듯, Transformer는 의미의 표현 방식을 바꾼다.
핵심 정리
- 2017년 “Attention Is All You Need” 논문에서 탄생
- 이름의 공식 설명은 없지만 전기 변압기와의 유추가 알려져 있다
- “변환”의 수학적 의미 — 벡터를 다른 벡터로 매핑 — 와도 일치
- 한국어 번역은 “변환기”, “트랜스포머” 중 표준 없이 혼용
- 논문 제목(“Attention Is All You Need”)이 모델명보다 유명한 희귀 사례