메모리와 대화 이력 — AI가 이전 대화를 기억하는 방법
한줄 요약
AI의 메모리는 컨텍스트 윈도우(단기)와 외부 저장(장기) 두 종류가 있다 — 의료 케이스의 연속적 논의에는 이 두 가지를 전략적으로 조합해야 한다.
본문
AI는 기본적으로 기억하지 못한다
LLM의 본질적 특성을 이해해야 한다. AI 모델 자체는 아무것도 기억하지 않는다. 매 요청마다 주어진 텍스트를 읽고 답변을 생성할 뿐이다.
“ChatGPT가 이전 대화를 기억한다”고 느끼는 것은, 이전 대화 내용이 매번 컨텍스트에 포함되어 전송되기 때문이다. 모델이 기억하는 것이 아니라, 대화 기록이 입력에 반복적으로 포함되는 것이다.
단기 메모리: 컨텍스트 윈도우
컨텍스트 윈도우는 AI가 한 번에 처리할 수 있는 텍스트의 최대 길이다. 이것이 사실상 AI의 “단기 기억”이다.
| 모델 | 컨텍스트 윈도우 |
|---|---|
| GPT-4o | 128K 토큰 |
| Claude 3.5 Sonnet | 200K 토큰 |
| Gemini 1.5 Pro | 2M 토큰 |
대화가 길어지면 윈도우가 가득 차고, 가장 오래된 대화부터 잘려나간다. 의료에서는 복잡한 환자 케이스를 길게 논의하면 초반에 제공한 검사 결과나 진단이 밀려나 AI가 잊어버릴 수 있다.
장기 메모리: 외부 저장
컨텍스트 윈도우의 한계를 극복하기 위해 여러 서비스가 장기 메모리를 제공한다.
ChatGPT Memory: 대화 중 중요한 정보를 별도 저장하고, 이후 대화에 시스템 프롬프트의 일부로 삽입한다. Claude Projects: 프로젝트 단위로 문서와 지침을 설정하면 해당 프로젝트의 모든 대화에 자동 포함된다.
모든 메모리 기능의 본질은 동일하다. 이전에 저장해 둔 정보를 현재 컨텍스트에 자동으로 삽입하는 것이다. 메모리가 마법이 아니라 컨텍스트 관리의 자동화라는 점을 이해하면 한계도 명확해진다.
- 저장된 메모리도 컨텍스트 윈도우 공간을 차지한다
- 잘못된 메모리가 저장되면 지속적으로 오답을 유발한다
의료 케이스 연속 논의 시 메모리 활용
만성 환자를 여러 차례에 걸쳐 AI와 논의하는 상황을 생각해 보자.
1회차 (3/1): CKD3+HTN 초기 평가 → Losartan 50mg 시작
2회차 (3/15): 추적 검사 → Cr 안정, K+ 4.8 → Losartan 100mg 증량
3회차 (3/30): 재평가 → Cr 상승, K+ 5.2 → 용량 조절 논의3회차에서 AI가 1~2회차의 결정 과정을 알아야 맥락에 맞는 조언을 할 수 있다.
전략 1: 대화 요약 삽입 — 각 회차 종료 시 AI에게 요약을 요청하고, 다음 회차 시작 시 삽입한다.
전략 2: 핵심 데이터 시트 유지 — 환자의 핵심 정보를 별도의 구조화된 문서로 유지하고 매 대화 시 첨부한다.
전략 3: Claude Projects 활용 — 환자별 프로젝트를 만들어 이전 대화의 요약과 핵심 데이터를 프로젝트 문서로 보관한다.
개인정보 보호와 메모리의 트레이드오프
의료에서 AI 메모리를 사용할 때 가장 중요한 문제는 개인정보 보호다.
위험 요소:
- AI 서비스에 환자 실명, 주민번호, 구체적 진단이 저장된다
- 서버 측 데이터 유출 시 환자 정보가 노출된다
- AI 학습 데이터로 사용될 가능성이 있다
대응 전략:
- 비식별화 후 사용: 환자 이름을 “환자 A”로, 구체적 날짜를 상대적 기간으로 변환
- 로컬 메모리: 외부 서비스 대신 자체 서버에서 메모리를 관리
- 세션 종료 시 삭제: 논의가 끝나면 메모리를 명시적으로 삭제
- 법규 준수: 개인정보보호법, 의료법 규정 확인
[권장하지 않음] "김OO(560312-1XXXXXX) 환자 CKD3 Cr 1.8" → 외부 AI 저장
[권장] "환자A, 55세 남성, CKD3, Cr 1.8" → 비식별화 후 사용메모리 전략 선택 가이드
| 상황 | 권장 전략 |
|---|---|
| 단일 세션 내 긴 대화 | 중간 요약으로 컨텍스트 절약 |
| 여러 세션에 걸친 환자 추적 | 구조화된 요약 문서 유지 |
| 팀원 간 케이스 공유 | Claude Projects 또는 문서 기반 |
| 민감한 환자 정보 포함 | 비식별화 + 로컬 저장 |
핵심 정리
- AI의 메모리는 마법이 아니라 “이전 정보를 컨텍스트에 자동 삽입”하는 메커니즘이다
- 단기 메모리(컨텍스트 윈도우)는 한 대화 내에서, 장기 메모리(외부 저장)는 대화를 넘어서 작동한다
- 의료 케이스 연속 논의에는 대화 요약, 핵심 데이터 시트, 프로젝트 기능을 활용한다
- 환자 정보를 AI 메모리에 저장할 때는 반드시 비식별화하고 개인정보보호법을 준수한다