오케스트레이션 비용 최적화 — 월 1,500만 원 청구서를 받기 전에
한줄 요약
오케스트레이션 비용은 에이전트 수 × 호출 횟수 × 토큰 수로 결정된다. 이 세 가지를 줄이는 전략을 미리 설계해야 한다.
본문
예상보다 빠르게 청구서가 불어난다
2024년 한 스타트업이 공유한 이야기다. 내부 테스트에서 잘 작동하던 의료 서류 요약 시스템을 100개 병원에 배포했다. 일주일 후 API 청구서를 받고 깜짝 놀랐다. 예상의 20배였다.
문제는 간단했다. 각 에이전트가 이전 에이전트들의 전체 출력을 컨텍스트로 받고 있었다. 5단계 워크플로우에서 마지막 에이전트는 앞 4개 에이전트 결과를 모두 포함한 긴 컨텍스트를 처리했다. 100개 병원에서 하루 수천 건 실행하니 비용이 폭발했다.
비용의 세 가지 원인
에이전트 수
에이전트가 많을수록 LLM 호출이 많아진다. 5개 에이전트는 동일 작업에서 1개 에이전트보다 최소 5배 이상 비싸다.
컨텍스트 길이
에이전트들이 이전 결과를 누적해서 받으면 컨텍스트가 점점 길어진다. 컨텍스트 길이는 비용에 직접 비례한다.
단계 1: 3,000 토큰 단계 3: 9,000 토큰 단계 5: 21,000 토큰 (비용은 7배)
반복 호출
ReAct 루프, 재시도, 검증 단계가 모두 추가 호출이다.
전략 1 — 모델 계층화
모든 에이전트에 가장 비싼 모델을 쓸 필요가 없다.
| 태스크 유형 | 권장 모델 |
|---|---|
| 데이터 추출, 형식 변환 | 소형 모델 (GPT-4o mini, Haiku) |
| 구조화된 출력 생성 | 소형 모델 |
| 복잡한 의료 추론 | 대형 모델 (GPT-4o, Sonnet) |
| 최종 보고서 작성 | 대형 모델 |
| 단순 분류 | 소형 모델 또는 규칙 기반 |
단순 태스크에 소형 모델을 쓰면 비용을 50~80% 줄일 수 있다. 품질 차이는 해당 태스크에서 거의 없다.
전략 2 — 컨텍스트 압축
각 에이전트에게 필요한 정보만 전달한다.
나쁜 방식:
약사 에이전트 컨텍스트:
- 환자 기저질환 전체 기록 (3년치)
- 영상 판독 결과 (약물 검토와 무관)
- 이전 에이전트들의 전체 추론 과정
- 이번에 제안된 약물좋은 방식:
약사 에이전트 컨텍스트:
- 환자 주요 기저질환 요약 (3줄)
- 현재 복용 약물 목록
- 이번에 제안된 약물필요하지 않은 정보를 제거하면 토큰이 줄어들고 정확도도 올라가는 경우가 많다.
전략 3 — 캐싱
같은 입력에 대한 결과를 저장해두고 재사용한다.
자주 변하지 않는 정보에 특히 효과적이다:
- 임상 가이드라인 (월별로 업데이트)
- 약물 상호작용 정보 (드물게 업데이트)
- 병원 내부 프로토콜
같은 질문을 100번 하면 1번만 LLM을 쓰고 99번은 캐시를 반환한다. 비용은 1/100이 된다.
캐시 무효화 전략: 가이드라인이 업데이트되면 관련 캐시를 자동으로 만료시킨다.
전략 4 — 규칙 기반 전처리
모든 판단을 LLM에게 넘기기 전에 규칙으로 처리할 수 있는 것은 먼저 걸러낸다.
LLM 호출 전 규칙 체크:
- K+ > 6.0 → 즉시 경고 (LLM 불필요)
- BP 수축기 > 180 → 즉시 알림 (LLM 불필요)
- 처방된 약물이 알려진 금기 목록에 없음 → 자동 통과 (LLM 불필요)
LLM이 필요한 케이스:
- 위 기준에 해당하지 않지만 의심스러운 패턴
- 복합 약물 상호작용 (규칙으로 다루기 어려움)
- 비정형 임상 상황전체 케이스의 60~70%는 규칙으로 처리할 수 있는 경우가 많다. 그만큼 LLM 호출이 줄어든다.
전략 5 — 조기 종료
충분한 확신이 생기면 추가 검증을 건너뛴다.
진단 에이전트 결과:
- 신뢰도 95%, 진단: 전형적 폐렴
→ 신뢰도 90% 이상: 추가 검증 에이전트 스킵 → 결과 직접 반환
→ 신뢰도 70~90%: 검증 에이전트 1개 추가
→ 신뢰도 70% 미만: 전체 검증 프로세스 실행모든 케이스를 동일하게 처리하지 않고, 복잡도에 따라 처리 수준을 달리한다.
실제 절감 효과 시나리오
병동 회진 준비 시스템 (환자 10명/일, 30일):
| 항목 | 최적화 전 | 최적화 후 |
|---|---|---|
| 에이전트 모델 | 전부 GPT-4o | 단순 태스크 GPT-4o mini |
| 컨텍스트 | 누적 전달 | 필요 정보만 |
| 캐싱 | 없음 | 가이드라인 캐싱 |
| 규칙 처리 | 없음 | 명확한 케이스 규칙 처리 |
| 월 예상 비용 | 약 $450 | 약 $90 |
80% 절감. 품질 차이는 측정 결과 통계적으로 유의하지 않음.
더 알고 싶다면
🔗 관련 글
- 오케스트레이션 모니터링 — 비용 추이를 실시간으로 추적하는 방법
- 컨텍스트 윈도우 관리 — 컨텍스트 길이 줄여 비용 절감
- 에이전틱 RAG — RAG 방식별 비용과 정확도 트레이드오프
- 오케스트레이션 vs 에이전트 — 단순화로 비용 절감하는 판단 기준