Context Window가 뭐예요?
한줄 요약
Context Window는 AI가 대화 중 한 번에 ‘볼 수 있는’ 텍스트의 최대 양이에요. 이 한계를 넘으면 AI는 앞 내용을 잊어버려요.
왜 알아야 할까?
- 💡 AI가 긴 대화에서 앞 내용을 왜 까먹는지 이해할 수 있어요
- 💡 긴 환자 기록을 AI에 입력할 때 어떻게 나눠야 하는지 알 수 있어요
- 💡 AI 서비스 선택 시 Context Window 크기가 중요한 이유를 알아요
- 💡 더 효율적인 프롬프트를 설계하는 데 도움이 돼요
이게 뭐예요?
Context Window는 AI 모델이 한 번에 처리할 수 있는 텍스트의 최대 양이에요. 단위는 보통 ‘토큰(token)‘인데, 한국어 기준으로 한 글자가 약 1-2 토큰이에요. GPT-4는 128K 토큰(약 10만 단어), Claude는 최대 200K 토큰까지 처리해요.
🏥 비유 1: 작업 기억(Working Memory)
사람의 뇌에는 ‘작업 기억’이 있어요. 한 번에 약 7개 항목밖에 기억 못 해요. 전화번호를 받아 적을 때 앞 숫자를 외우면서 뒤 숫자를 듣다 보면 앞 숫자가 사라지죠. AI의 Context Window도 똑같아요. 새로운 내용이 들어오면 가장 오래된 내용이 밀려나요.
🏥 비유 2: 화이트보드 크기
수술 전 팀 브리핑을 화이트보드에 적는다고 상상해요. 화이트보드가 꽉 차면 새 내용을 쓰기 위해 오래된 내용을 지워야 해요. Context Window가 바로 이 화이트보드의 크기예요. 클수록 더 많은 정보를 동시에 유지할 수 있어요.
한줄 정리: Context Window = AI의 화이트보드. 크기가 정해져 있어서 넘치면 오래된 내용부터 사라져요.
예시를 들어볼게
예시 1 — 짧은 대화 (문제 없음)
사용자: “당뇨병 환자 식이 지침 알려줘” AI: (상세한 답변) 사용자: “방금 말한 것 중 운동 부분만 더 자세히 설명해줘” AI: 앞 대화를 기억하고 정확히 답변해요.
Context Window 안에 있으니까 AI가 맥락을 유지해요.
예시 2 — 긴 대화 (주의 필요)
1시간 동안 AI와 여러 환자 케이스를 논의했어요. 마지막에 “처음에 말했던 첫 번째 환자 기억해?” 라고 물으면 AI가 모른다고 해요.
대화가 길어져서 처음 내용이 Context Window에서 밀려났기 때문이에요.
예시 3 — 의료 기록 입력
5년치 외래 기록을 모두 붙여넣고 “이 환자의 주요 문제를 요약해줘” 라고 했더니 AI가 앞부분 기록 내용은 반영 못하고 뒷부분만 요약해요.
문서가 Context Window를 초과했기 때문이에요. 처음에 입력한 내용이 잘렸어요.
의료에서는 이렇게 써요
활용 1: 긴 환자 기록 처리
❌ 잘못된 방법: 10년치 EMR 기록 전체를 한 번에 붙여넣기
✅ 올바른 방법: 기간별로 나눠서 요약 → 요약본을 다시 종합
Context Window를 의식하고 큰 문서는 단계적으로 처리해야 해요.
활용 2: 긴 의학 논문 분석
❌ 잘못된 방법: 50페이지 논문 전체 붙여넣기 → 뒷부분만 분석됨
✅ 올바른 방법: 섹션별로 나눠서 질문하거나, 초록+결론만 먼저 입력
중요한 내용이 Context Window 안에 확실히 들어있는지 확인해야 해요.
활용 3: AI 서비스 선택
❌ Context Window 무시: 짧은 모델로 긴 진료기록 분석 시도 → 오류 또는 불완전한 분석
✅ Context Window 확인: 처리할 문서 길이에 맞는 모델 선택
200K 토큰 모델은 약 300페이지 분량을 한 번에 처리할 수 있어요.
주의할 점 ⚠️
⚠️ Context Window 안에 있어도 잊을 수 있어요
연구에 따르면 AI는 Context Window 중간에 있는 내용보다 처음과 끝 내용을 더 잘 기억해요. 중요한 정보는 앞이나 뒤에 배치하세요.
⚠️ Context Window가 클수록 비용도 올라요
API로 사용 시 처리하는 토큰 수만큼 비용이 발생해요. 불필요하게 긴 컨텍스트는 비용 낭비예요. 핵심 내용만 선별해서 입력하는 습관이 중요해요.
⚠️ Context Window는 세션이 끝나면 초기화돼요
오늘 나눈 대화는 내일 새 세션에선 없어요. AI는 세션 간 기억을 유지하지 않아요. 중요한 정보는 따로 저장해두세요.