"토큰"이란 말은 어디서 왔나 — 지하철 토큰에서 AI까지
…
ChatGPT를 쓰다 보면 “토큰 한도 초과”라는 메시지를 봅니다. 토큰이 부족하다는 건데, 이 토큰이라는 단어는 어디서 왔을까요? 지하철을 타본 적 있다면 이미 알고 있는 단어입니다.
토큰의 어원 여행
| 시대 | 맥락 | 의미 |
|---|---|---|
| 고대 그리스 | tekton — 목수, 만드는 사람 | 무언가를 나타내는 물건 |
| 1950~70년대 | 지하철·버스 토큰 | 동전 대신 쓰는 교통 결제 수단 |
| 언어학 | Token vs Type | 문장에서 각 단어 출현 = 토큰, 고유 단어 = 타입 |
| 컴퓨터공학 | 토크나이저 | 코드를 최소 의미 단위로 분해 |
| AI 시대 | LLM 토큰 | AI가 텍스트를 처리하는 최소 단위 |
AI에서 토큰이란?
AI는 글자를 통째로 읽지 않습니다. 의미 있는 조각(토큰)으로 나눠서 읽습니다.
"안녕하세요" → ["안녕", "하세요"] → 2 토큰
"Hello there" → ["Hello", " there"] → 2 토큰GPT-4 기준으로 영어는 대략 1토큰 = 4글자입니다. 한국어는 더 잘게 쪼개져서 비용이 더 들 수 있습니다.
한국어 토큰이 영어보다 많이 드는 이유
| 언어 | 특징 | 토큰 효율 |
|---|---|---|
| 영어 | 알파벳 기반, 어근 단위로 잘 쪼갬 | 효율 좋음 |
| 한국어 | 조사·어미 결합이 많음 | 영어보다 1.5~2배 토큰 소모 |
| 일본어 | 한자+히라가나+가타카나 혼합 | 한국어와 비슷 |
| 중국어 | 한자 1글자 = 1토큰에 가까움 | 비교적 효율적 |
✅ 한국어로 쓸 때 더 간결하게 쓰면 토큰을 아낄 수 있습니다.
❌ 불필요한 인사말, 반복 설명은 토큰 낭비입니다.
⚠️ 컨텍스트 윈도우 = 토큰 저장 공간입니다. 긴 대화가 쌓이면 초반 내용을 잊어버립니다.
토큰 절약하는 프롬프트 팁
대신 이렇게 써보세요.
| 비효율적 | 효율적 |
|---|---|
| ”안녕하세요! 저는 오늘 좀 도움을 받고 싶어서요…" | "환자 요약 부탁합니다:" |
| "이 환자에 대해서 말씀드리자면…" | "[증상]: 발열 38.5, 기침 3일” |