한줄 요약

에이전트형 AI는 질문을 분석하고, 필요한 정보를 스스로 도구를 통해 수집하며, 수집한 정보를 조합해 답변을 생성하는 자율적 컨텍스트 구성 능력을 가지지만, 의료 분야에서는 human-in-the-loop 안전장치가 필수다.

본문

기존 컨텍스트 엔지니어링의 전제

지금까지 다룬 컨텍스트 엔지니어링은 기본적으로 사람이 컨텍스트를 설계하고 제공하는 모델이었다. 사람이 가이드라인을 정리하고, 환자 정보를 구조화하고, 시스템 프롬프트를 작성해서 AI에게 전달한다.

이 방식은 안정적이지만 한계가 있다.

• 사람이 예상하지 못한 정보가 필요할 때 대응이 어렵다
• 복잡한 질문은 여러 소스의 정보를 조합해야 하는데, 사전에 모두 준비하기 어렵다
• 실시간 데이터가 필요한 경우 정적 컨텍스트로는 불가능하다

에이전트형 AI란

에이전트형 AI(Agentic AI)는 단순히 입력을 받아 출력을 생성하는 것이 아니라, 목표를 달성하기 위해 스스로 계획을 세우고, 도구를 호출하고, 결과를 평가하며, 필요하면 추가 행동을 취하는 AI 시스템이다.

기존 AI와 에이전트형 AI의 차이를 비교하면 이렇다.

[기존 방식]
사용자 → 컨텍스트 + 질문 → LLM → 답변

[에이전트형 방식]
사용자 → 질문 → 에이전트
  → 질문 분석: "이 질문에 답하려면 어떤 정보가 필요한가?"
  → 도구 호출 1: 환자 EMR에서 최근 검사 결과 조회
  → 도구 호출 2: 약물 상호작용 DB에서 현재 약물 확인
  → 도구 호출 3: 최신 가이드라인 검색
  → 수집된 정보 조합 → 답변 생성

핵심 차이는 컨텍스트를 사용자가 미리 주는 것이 아니라 AI가 스스로 수집한다는 점이다.

AI가 도구를 호출해 컨텍스트를 채우는 흐름

에이전트형 AI의 도구 호출(tool use) 흐름을 단계별로 살펴보자.

Step 1: 질문 분석 (Planning) AI가 질문을 분석하고 답변에 필요한 정보를 식별한다.

질문: "이 환자에게 와파린 대신 DOAC을 쓸 수 있나요?"

AI 분석:
- 필요 정보 1: 환자의 현재 진단 (판막 질환 여부 확인)
- 필요 정보 2: 신장 기능 (DOAC 용량 조절 기준)
- 필요 정보 3: 현재 복용 약물 (상호작용 확인)
- 필요 정보 4: DOAC 전환 가이드라인

Step 2: 도구 호출 (Action) 식별한 정보를 각 도구로 가져온다. EMR → 비판막성 심방세동, 검사 → eGFR 45, 약물 목록 → 와파린/아토르바스타틴/암로디핀, 가이드라인 → “비판막성 AF에서 DOAC 권고”.

Step 3: 정보 조합 (Synthesis) 수집 결과를 종합한다. 비판막성 AF이므로 DOAC 사용 가능, eGFR 45이므로 리바록사반 감량, 상호작용 없음 확인 후 답변 생성.

Step 4: 자기 검증 (Reflection) 생성된 답변을 자체 검토하고, 부족하면 추가 도구를 호출한다.

의료 에이전트의 실제 파이프라인

의료 에이전트가 처리하는 실제 파이프라인을 설계해 보자.

[의료 에이전트 파이프라인]

1. 입력 수신
   └─ 의사의 질문 + 환자 ID

2. 환자 정보 추출 (EMR 연동)
   ├─ 기본 정보: 나이, 성별, 체중
   ├─ 진단 목록: 활성 진단
   ├─ 약물 목록: 현재 복용 약물
   └─ 최근 검사: 관련 검사 결과

3. 가이드라인 검색 (벡터 DB)
   └─ 질문 + 환자 진단을 기반으로 관련 가이드라인 검색

4. 약물 상호작용 확인 (약물 DB)
   └─ 현재 약물 목록 + 검토 대상 약물 간 상호작용

5. 정보 조합 및 답변 생성
   └─ 수집된 모든 정보를 컨텍스트로 조합 → LLM 답변 생성

6. 안전성 검토 (Safety Check)
   └─ 답변 내 약물 용량, 금기 사항을 규칙 기반으로 재검증

7. 의사에게 결과 제시
   └─ 답변 + 참조한 근거 + 확신도 표시

이 파이프라인에서 2~4단계가 에이전트가 스스로 컨텍스트를 수집하는 과정이다.

에이전트 컨텍스트의 장점

적응성: 사전에 모든 시나리오를 예상할 필요 없이, 어떤 질문이든 필요한 정보를 스스로 찾는다. 최신성: 매번 DB에서 실시간으로 가져오므로 항상 최신 정보를 사용한다. 효율성: 필요한 정보만 가져와 컨텍스트 윈도우를 낭비하지 않는다. 추적성: 도구 호출 로그가 남아 답변 근거를 역추적할 수 있다.

현재 한계

잘못된 계획 수립: AI가 질문을 잘못 분석하면 엉뚱한 정보를 수집한다. “이 약을 중단해도 되나요?”를 “처방해도 되나요?”로 해석하면 완전히 다른 컨텍스트가 온다.

도구 호출 실패: DB 오류나 검색 결과 없음 시 실패를 무시하고 불완전한 정보로 답변을 생성하면 위험하다.

과도한 자율성: 의사 확인 없이 너무 많은 단계를 자율 수행하면 중간 오류를 잡을 기회가 없다.

비용과 지연: 도구를 여러 번 호출하면 응답 시간과 API 비용이 증가한다.

안전장치: Human-in-the-Loop

의료 에이전트에서 가장 중요한 안전장치는 human-in-the-loop(HITL)다. AI의 자율성에 인간의 검토 단계를 삽입하는 것이다.

HITL을 적용하는 방식은 세 가지가 있다.

1. 사전 승인: AI가 행동 계획을 먼저 보여주고, 의사가 승인한 후 실행한다. 안전하지만 느리다.

2. 중간 검토: AI가 정보를 수집한 뒤, 답변 생성 전에 수집 결과를 의사에게 보여준다. 의사가 확인한 후 답변을 생성한다.

3. 사후 검증: AI가 답변을 생성하되 “검증 전” 플래그를 붙인다. 빠르지만 잘못된 답변 노출 위험이 있다.

의료 분야에서는 중간 검토 방식이 속도와 안전의 균형을 가장 잘 잡는다.

에이전트형 AI는 EMR/PACS/LIS 연동, 다학제 에이전트 협업, 웨어러블 실시간 모니터링 등으로 진화할 것이지만, 안전장치와 규제 프레임워크의 동반 발전이 전제되어야 한다.

핵심 정리

1. 에이전트형 AI는 사용자가 컨텍스트를 주는 것이 아니라 AI가 스스로 도구를 호출해 정보를 수집한다
2. 의료 에이전트 파이프라인은 환자정보 추출 → 가이드라인 검색 → 상호작용 확인 → 답변 생성 순서다
3. 장점은 적응성, 최신성, 효율성, 추적성이며, 한계는 계획 오류, 도구 실패, 과도한 자율성이다
4. 의료 에이전트에서는 human-in-the-loop 안전장치가 필수이며, 중간 검토 방식이 가장 현실적이다
5. 에이전트의 발전은 안전장치와 규제의 동반 발전이 전제되어야 한다

관련 글

• 동적 컨텍스트 선택 — 질문에 따라 자동으로 맞는 정보 가져오기
• 컨텍스트와 개인정보 보호 — 환자 데이터를 AI에 넣어도 되는가
• 컨텍스트 엔지니어링이란 — 프롬프트를 넘어서는 AI 활용의 다음 단계