컨텍스트 압축 기법 — 적은 토큰으로 더 많은 정보 전달
한줄 요약
컨텍스트 윈도우는 유한하므로 같은 정보를 더 적은 토큰으로 표현하는 압축 기법이 필요하다 — 다만 압축할수록 정보 손실 위험이 커지므로 트레이드오프를 이해해야 한다.
본문
왜 압축이 필요한가
컨텍스트 윈도우는 아무리 커도 한계가 있다. 실제 의료 시스템에서는 금방 찬다.
시스템 프롬프트: ~2,000 토큰
환자 EMR 데이터: ~5,000 토큰
가이드라인 3개: ~15,000 토큰
이전 대화 이력: ~10,000 토큰
합계: ~32,000 토큰 (단일 환자, 단일 질문에)더 중요한 문제는 윈도우가 길어질수록 AI의 주의력이 분산되어 중요한 정보를 놓칠 수 있다는 것이다. 적은 토큰에 핵심 정보만 담으면 공간 절약과 AI 집중도 향상을 동시에 달성한다.
요약 기반 압축
가장 직관적인 방법이다. 긴 텍스트를 핵심만 남겨 요약한다.
원본 (~150토큰): “환자는 2024년 3월에 공복혈당 142mg/dL 발견, HbA1c 7.1%로 DM2 진단. 생활습관 개선 시도 후 3개월 뒤 HbA1c 7.3% 상승, Metformin 500mg bid 시작. 6개월간 6.8% 안정. 2025년 1월 7.5%로 재상승, 1000mg 증량 후 GI 부작용으로 850mg 감량. 현재 HbA1c 7.2%, eGFR 68.”
요약 (~40토큰): “DM2 진단 2024-03. HbA1c 추이: 7.1→7.3→6.8→7.5→7.2(현재). Metformin 850mg bid(GI 부작용으로 감량). eGFR 68.”
토큰이 4분의 1로 줄었지만 핵심 정보는 모두 보존되었다. 다만 안전 관련 정보(알레르기, 금기, 부작용)는 반드시 포함하라는 요약 규칙을 명시해야 한다.
키워드 추출 기반 압축
요약보다 더 공격적인 압축이다. 핵심 키워드와 수치만 추출한다.
원본: "환자는 3일 전부터 지속되는 두통을 호소하며, 특히 아침에 심하고
오후에는 호전되는 양상이며, 구역감이 동반됩니다."
추출: "두통 3일, 아침 악화/오후 호전, 구역(+)"토큰을 극단적으로 절약하지만 맥락과 뉘앙스가 사라진다.
의료 약어 활용
의료 분야에는 표준 약어가 풍부하다. 정보 손실이 거의 없는 자연스러운 압축이다.
| 원문 | 약어 | 토큰 절약 |
|---|---|---|
| 고혈압 | HTN | ~60% |
| 제2형 당뇨 | DM2 | ~70% |
| 만성 콩팥병 3기 | CKD3 | ~75% |
| 하루 두 번 | bid | ~70% |
| 알레르기 없음 | NKDA | ~80% |
압축 전 (~150토큰): “55세 남성, 고혈압과 제2형 당뇨. 로사르탄 50밀리그램 하루 한 번, 메트포르민 500밀리그램 하루 두 번. 혈압 150/95, 크레아티닌 1.8, 추정 사구체여과율 41. 알려진 약물 알레르기 없음.”
압축 후 (~50토큰): “55M. HTN, DM2. Losartan 50mg qd, Metformin 500mg bid. BP 150/95, Cr 1.8, eGFR 41. NKDA.”
3분의 1로 줄었지만 정보 손실이 거의 없다. 의료 약어는 AI 모델이 잘 이해하는 표준 표현이다.
대화 이력 압축
슬라이딩 윈도우: 최근 N개 턴만 유지, 이전 턴 삭제. 단순하지만 중요한 초기 정보를 잃을 수 있다.
점진적 요약: 이전 대화를 AI에게 요약시키고 요약본만 유지한다.
[대화 요약 (턴 1~10)]
환자A CKD3+HTN. Losartan 50→100mg 증량. K+ 모니터링 2주 후 재확인.
[최근 대화 (턴 11~현재)]
(원문 그대로 유지)압축 vs 정보 손실 트레이드오프
모든 압축에는 정보 손실이 따른다. 의료에서 이 트레이드오프는 특히 중요하다.
절대 압축하면 안 되는 정보:
- 알레르기 (대체 약물 선택에 영향)
- 약물 금기 사항
- 핵심 검사 수치 (K+ 5.2 → 약물 결정에 필수)
- 환자 안전 관련 주의사항
압축해도 괜찮은 정보:
- 병력의 상세한 서술적 설명
- 이전 대화의 중간 논의 과정
- 배경 지식 설명
판단 기준: “이 정보가 빠지면 AI가 위험한 답변을 할 수 있는가?” 그렇다면 압축하지 않는다.
핵심 정리
- 컨텍스트 압축은 윈도우 절약과 AI 주의력 집중 두 가지 효과가 있다
- 요약(맥락 유지), 키워드 추출(극단적 절약), 의료 약어(정보 무손실)를 상황에 맞게 조합한다
- 대화 이력은 슬라이딩 윈도우 또는 점진적 요약으로 관리한다
- 환자 안전 관련 정보(알레르기, 금기, 핵심 수치)는 절대 압축하지 않는다