Human-in-the-Loop — Air Canada 챗봇 소송이 의료 AI에 주는 교훈
RoundPrep 제10화. Air Canada 판결 이야기는 뉴스고, 회의실에서는 더 단순한 질문이었다. “교수님 화면에 올리기 직전, 어디까지를 사람 손으로 고정할까?”
한줄 요약
AI가 내린 결정에 잘못이 있어도 법적 책임은 사람에게 돌아온다. Human-in-the-Loop는 선택이 아니라 의료 AI 시스템 설계의 전제다.
테제
HITL은 옵션이 아니라, 오더·책임이 걸린 경계에서의 전제다.
스테이크
Air Canada 판결은 회사 얘기지만, 병동에서는 교수님 한 분의 신뢰가 더 비싸다.
전환점 — RoundPrep 메모
누군가 “승인은 나중에 붙이죠”라고 했다가 교수님이 PoC 중단 카드를 꺼낼 뻔한 가상 회의.
본문
법원이 AI 회사에 내린 판결
2024년 2월, 캐나다 소비자분쟁재판소는 Air Canada에 손해배상을 명령했다.
사건의 경위는 이렇다. 승객 제이크 모핏은 조부의 장례식 참석을 위해 급히 항공권을 구매했다. 구매 전에 Air Canada 챗봇에게 “가족 사망 시 환불 가능 여부”를 물었고, 챗봇은 “탑승 후 90일 이내에 신청하면 할인 혜택을 소급 적용받을 수 있다”고 안내했다.
실제 정책과 달랐다. Air Canada는 “챗봇의 오류이고 회사는 책임 없다”고 주장했지만 법원은 받아들이지 않았다. “챗봇도 Air Canada의 에이전트다. 그 결과에 대한 책임은 회사에 있다.”
의료 AI에서 이 판결이 의미하는 것
의료 AI의 오류는 항공권 환불보다 훨씬 심각한 결과를 낳는다. 잘못된 투약 권고, 놓친 이상 징후, 틀린 진단 지원.
법적 책임뿐 아니라 환자 안전의 문제다.
그러면 어떻게 해야 하는가. 두 가지 극단이 있다:
- 완전 자율화: AI가 모든 결정을 내리고 실행한다. 빠르지만 위험하다.
- 완전 수동: AI는 정보를 보여주기만 하고 모든 것을 사람이 한다. 안전하지만 자동화의 이점이 없다.
실용적인 답은 중간이다. AI가 할 수 있는 것은 AI가 하고, 사람이 판단해야 하는 지점에서는 AI가 멈추고 기다린다.
이것이 Human-in-the-Loop다.
어느 지점에서 사람이 개입해야 하는가
의료 AI에서 사람 개입이 필수인 지점:
① 처치 실행 전
AI가 처치를 제안했을 때 의사가 승인하지 않으면 실행되지 않는다. 약물 오더, 검사 오더, 의뢰 모두 마찬가지다.
② 불확실성이 높을 때
AI의 신뢰도 점수가 기준 이하이거나, 여러 에이전트가 서로 다른 결론을 냈을 때. AI가 “이 케이스는 제 판단 범위 밖입니다”라고 솔직하게 에스컬레이션하는 것이 가능해야 한다.
③ 고위험 결정
수술 결정, 항암 치료 시작, DNR 관련 내용. 아무리 AI가 확신을 가져도 이 결정들은 사람이 내려야 한다.
④ 예외적 상황
AI가 학습 데이터에 없는 케이스를 만났을 때. “이 패턴은 처음 봅니다”를 인식하고 사람에게 넘길 수 있어야 한다.
실용적인 설계 원칙 3가지
원칙 1 — 승인 게이트는 최소화한다
모든 것에 승인을 요구하면 의사가 10초마다 버튼을 눌러야 한다. 이건 업무 방해다. AI가 자율적으로 해도 안전한 것은 AI에게 맡기고, 진짜 판단이 필요한 것만 의사에게 올린다.
자율 처리 (승인 불필요):
- 데이터 수집
- 이상 탐지 (알림만)
- 요약 생성
- 기록 정리
의사 승인 필요:
- 약물 오더
- 추가 검사 오더
- 타과 협진 의뢰
- 치료 방향 변경원칙 2 — 대기 시간에 시간 제한을 둔다
의사가 응답하지 않을 때 시스템이 어떻게 할지 미리 정해야 한다.
예: 30분 내 응답 없으면 담당 간호사에게 다시 알림. 2시간 내 응답 없으면 “검토 필요” 상태로 남겨둠. 응급 알림은 3분 내 응답 없으면 다음 담당자에게 자동 에스컬레이션.
AI가 응답을 영원히 기다리는 것은 설계 결함이다.
원칙 3 — 의사가 수정할 수 있어야 한다
“승인” 또는 “거부”만 있으면 안 된다. 의사가 AI의 제안을 보고 “이 부분만 수정해서 승인”을 할 수 있어야 한다.
예: AI가 “세마글루타이드 1mg 주 1회”를 제안했는데 의사가 “0.5mg으로 시작”으로 수정해서 승인. 수정 내용과 이유가 기록된다.
Human-in-the-Loop가 없는 시스템의 실제 사고
2023년, 한 스타트업이 내부적으로 공유한 사례가 있다. 의료 서류 처리 자동화 시스템에서 AI가 잘못된 보험 코드를 반복적으로 생성했다. 시스템에 검토 단계가 없었기 때문에 수백 건이 그대로 청구됐고, 6주 후에 보험사 감사로 발견됐다.
사람이 샘플 검토만 했어도 첫 주에 잡을 수 있었다.
의사 경험 설계
Human-in-the-Loop는 기술 설계만의 문제가 아니다. 의사가 실제로 검토하고 싶어지는 인터페이스를 만드는 것이 중요하다.
나쁜 설계: AI가 생성한 10줄짜리 설명을 읽고 승인/거부 버튼을 누른다.
좋은 설계:
- AI가 “핵심 3가지”와 “주의사항 1가지”를 맨 위에 요약한다
- 의사가 추가로 보고 싶은 근거 데이터를 탭 하나로 볼 수 있다
- 승인/수정/거부가 스와이프 한 번이다
- 검토에 걸리는 시간이 30초 이내다
의사가 AI 권고를 신뢰하고 빠르게 검토할 수 있어야 한다. 검토가 너무 복잡하면 의사는 검토 없이 승인하거나 AI를 아예 쓰지 않는다. 둘 다 원하는 결과가 아니다.
승인 대기 상태를 LangGraph로 구현하는 방법 → LangGraph 입문
의사 검토가 있는 전체 회진 준비 시스템 설계 → 의료 오케스트레이션 케이스 스터디
다음 회의 한 줄
서진: “제안과 실행 사이에 항상 교수님 화면을 둡니다.”
다음 화
사람이 개입하는 지점에서 근거 문서를 더 긁어와야 한다 — 에이전틱 RAG
편집 초안(cu2604021138). 프레임워크·API·임상 규정은 발행일 이후 바뀔 수 있으니 공식 문서와 병원 정책을 기준으로 확인한다.
더 알고 싶다면
🔗 관련 글
- 오케스트레이션 보안 — 사람 검증이 없을 때 생기는 보안 위협
- 상태 관리 — 사람 개입을 기다리는 동안 상태를 저장하는 방법
- 오케스트레이션 테스팅 — 사람 개입 흐름을 포함한 테스트 설계
- 의료 오케스트레이션 케이스 스터디 — 의사 최종 승인이 포함된 실제 설계