ChatGPT를 쓰다 보면 “토큰 한도 초과”라는 메시지를 봅니다. 토큰이 부족하다는 건데, 이 토큰이라는 단어는 어디서 왔을까요? 지하철을 타본 적 있다면 이미 알고 있는 단어입니다.

토큰의 어원 여행

시대	맥락	의미
고대 그리스	tekton — 목수, 만드는 사람	무언가를 나타내는 물건
1950~70년대	지하철·버스 토큰	동전 대신 쓰는 교통 결제 수단
언어학	Token vs Type	문장에서 각 단어 출현 = 토큰, 고유 단어 = 타입
컴퓨터공학	토크나이저	코드를 최소 의미 단위로 분해
AI 시대	LLM 토큰	AI가 텍스트를 처리하는 최소 단위

AI에서 토큰이란?

AI는 글자를 통째로 읽지 않습니다. 의미 있는 조각(토큰)으로 나눠서 읽습니다.

"안녕하세요" → ["안녕", "하세요"] → 2 토큰
"Hello there" → ["Hello", " there"] → 2 토큰

GPT-4 기준으로 영어는 대략 1토큰 = 4글자입니다. 한국어는 더 잘게 쪼개져서 비용이 더 들 수 있습니다.

한국어 토큰이 영어보다 많이 드는 이유

언어	특징	토큰 효율
영어	알파벳 기반, 어근 단위로 잘 쪼갬	효율 좋음
한국어	조사·어미 결합이 많음	영어보다 1.5~2배 토큰 소모
일본어	한자+히라가나+가타카나 혼합	한국어와 비슷
중국어	한자 1글자 = 1토큰에 가까움	비교적 효율적

✅ 한국어로 쓸 때 더 간결하게 쓰면 토큰을 아낄 수 있습니다.

❌ 불필요한 인사말, 반복 설명은 토큰 낭비입니다.

⚠️ 컨텍스트 윈도우 = 토큰 저장 공간입니다. 긴 대화가 쌓이면 초반 내용을 잊어버립니다.

토큰 절약하는 프롬프트 팁

대신 이렇게 써보세요.

비효율적	효율적
”안녕하세요! 저는 오늘 좀 도움을 받고 싶어서요…"	"환자 요약 부탁합니다:"
"이 환자에 대해서 말씀드리자면…"	"[증상]: 발열 38.5, 기침 3일”

---

더 알고 싶다면

• AI 필수 용어 10개 — 이것만 알면 대화가 된다
• “프롬프트”라는 단어는 어디서 왔나
• 프롬프트 용어 사전 — 제로샷부터 CoT까지