LLM의 컨텍스트 윈도우, 의사처럼 이해하기

한줄 요약 LLM의 컨텍스트 윈도우는 의사가 한 번에 펼쳐 볼 수 있는 진료 기록의 양과 같다. 본문 컨텍스트 윈도우란 무엇인가 LLM(Large Language Model)은 대화할 때 한 번에 처리할 수 있는 텍스트의 양이 정해져 있다. 이 한계를 컨텍스트 윈도우(Context Window) 라고 부르며, 단위는 토큰(token) 이다. 토큰은 단어와 비슷하지만 정확히 같지는 않다. 대략적으로: 영어: 1단어 ≈ 1~1.5토큰 한국어: 1단어 ≈ 2~4토큰 A4 1장 분량 ≈ 약 500~800토큰 GPT-4o의 컨텍스트 윈도우는 128,000토큰, Claude 3