AI 비용 예측 — 청구서를 받기 전에 미리 아는 방법
한줄 요약
서버 비용은 CPU 사용량으로 예측할 수 있다. AI 비용은 토큰 사용량으로 예측한다. 계산법만 알면 청구서가 예측 가능해진다.
본문
스타트업의 예상치 못한 청구서
2024년 의료 AI 스타트업 창업자가 커뮤니티에 올린 글이 있다.
“MVP를 출시했고, 사용자가 늘어서 기뻤는데, 첫 달 API 청구서가 예상의 18배였다. 투자받은 돈이 두 달 만에 위험해졌다.”
원인은 두 가지였다. 대화마다 전체 이전 대화 이력을 컨텍스트로 포함시켰고, 사용자가 늘어나면서 토큰이 기하급수적으로 증가했다. 비용 모델을 처음부터 만들어두지 않아서 언제 이렇게 됐는지도 몰랐다.
AI 비용의 구조
클라우드 서버는 시간당 요금이다. 예측이 상대적으로 쉽다.
LLM API는 토큰당 요금이다. 토큰은 사용 패턴에 따라 크게 달라진다.
GPT-4o 기준 (2024년 4분기):
입력 토큰: $2.50 / 1M 토큰
출력 토큰: $10.00 / 1M 토큰출력 토큰이 입력의 4배 비싸다. 길게 답하게 할수록 비용이 급격히 올라간다.
의료 AI의 토큰 소비 패턴
| 요청 유형 | 평균 입력 토큰 | 평균 출력 토큰 | 1회 비용 |
|---|---|---|---|
| 간단한 FAQ | 500 | 200 | ~$0.003 |
| 약물 금기 검토 | 2,000 | 500 | ~$0.010 |
| 회진 요약 (컨텍스트 포함) | 8,000 | 1,500 | ~$0.035 |
| 다중 에이전트 워크플로우 | 30,000+ | 5,000+ | ~$0.125+ |
단순 FAQ와 다중 에이전트의 비용 차이가 40배다.
비용 예측 공식
배포 전에 월 예상 비용을 계산하는 방법이다.
월 비용 = 일 요청 수 × 평균 토큰/요청 × 토큰 단가 × 30예시: 병원 AI 어시스턴트
- 일 요청: 500건 (의사 50명 × 10건)
- 평균 입력 토큰: 3,000
- 평균 출력 토큰: 800
- GPT-4o 단가: 입력 $2.5, 출력 $10 per 1M
입력 비용: 500 × 3,000 × ($2.5/1,000,000) × 30 = $112.5/월
출력 비용: 500 × 800 × ($10/1,000,000) × 30 = $120/월
합계: ~$232/월계산하기 전에 “이 정도면 괜찮겠지”로 넘어가면 안 된다. 요청 수가 10배 늘면 비용도 10배가 된다.
비용이 예상을 초과하는 3가지 원인
원인 1 — 컨텍스트 누적
대화형 AI는 이전 대화를 컨텍스트로 포함시킨다. 10번 대화하면 10번째 요청의 입력 토큰은 1번째의 10배가 될 수 있다.
장기 대화를 지원한다면 컨텍스트 압축이나 윈도우 제한이 없으면 비용이 기하급수적으로 증가한다.
원인 2 — 오케스트레이션 오버헤드
단일 사용자 요청이 내부적으로 여러 LLM 호출을 유발한다.
사용자: "이 환자에게 적합한 약을 추천해줘"
내부 처리:
1. 질문 분류 LLM 호출 (500토큰)
2. 환자 데이터 요약 LLM 호출 (2,000토큰)
3. 약물 검토 LLM 호출 (3,000토큰)
4. 최종 응답 생성 LLM 호출 (4,000토큰)
사용자는 1번 질문했지만, 실제 LLM 호출은 4번오케스트레이션 비용은 사용자가 느끼는 것보다 4~10배 더 많이 발생할 수 있다.
원인 3 — 재시도와 에러
API 타임아웃, 파싱 실패로 인한 재시도가 예상치 못한 비용을 만든다. 재시도 한 번이 같은 비용을 두 배로 만든다.
비용 예산 설계
배포 전에 비용 예산을 설계하고 알람을 설정해야 한다.
단계별 예산 알람
일일 예산: $50
- $35 도달 (70%): 슬랙 알림
- $45 도달 (90%): 담당자 이메일
- $50 도달 (100%): API 호출 자동 제한 또는 저비용 모델로 전환AWS, GCP 모두 청구 알람 기능을 제공한다. OpenAI도 월별 사용 한도 설정이 가능하다.
사용자별 / 기능별 예산 분리
전체 예산만 모니터링하면 어떤 기능이 비용을 많이 쓰는지 모른다. 기능별로 비용을 추적해야 최적화 대상을 알 수 있다.
월 총 비용: $800
- 회진 요약 기능: $450 (56%)
- 약물 금기 검토: $180 (22%)
- 환자 FAQ 응답: $80 (10%)
- 기타: $90 (11%)회진 요약이 전체 비용의 56%를 쓰고 있다면, 거기에 컨텍스트 압축을 적용하는 것이 가장 효과적인 최적화다.
비용 예측 도구
간단한 비용 계산기를 내부에 만들거나, 기존 도구를 활용한다.
- OpenAI 토크나이저: tiktoken 라이브러리로 실제 토큰 수 사전 측정
- LangSmith / Helicone: LLM 호출별 토큰 사용량과 비용 자동 추적
- 직접 측정: 스테이징에서 대표 케이스 100개를 실행하고 평균 토큰을 측정, 그걸 기반으로 월 예상 비용 계산
완벽한 예측보다 “대략 이 범위”를 알아두는 것이 중요하다. 100% 정확하지 않아도 18배 놀라는 것을 막을 수 있다.
더 알고 싶다면
🔗 관련 글
- 오케스트레이션 비용 최적화 — 이미 발생하는 비용을 줄이는 전략
- 컨텍스트 윈도우 관리 — 컨텍스트 누적으로 인한 토큰 폭증 방지
- 오케스트레이션 모니터링 — 실시간 비용 추이 모니터링
- LLM 공급자 추상화 — 비용에 따라 모델을 자동으로 전환하는 방법