SymptomAI: 일상적인 증상 평가를 위한 대화형 AI 에이전트를 향하여

SymptomAI는 일상적인 대화만으로 증상을 파악하고 감별진단 목록을 제시하는 AI 에이전트의 실효성을 대규모 실제 사용자 연구로 평가했다. 13,917명이 참여한 연구에서 SymptomAI의 감별진단은 임상의가 작성한 감별진단보다 전문가 평가에서 더 자주 선호되고, 실제 의료진의 최종 진단을 상위 5개 안에 포함하는 경우도 많았다. 다만 모든 결과는 연구용 분석이며, 확정적인 의료 진단이나 공식 의료 평가를 의미하지 않는다.

실제 환자 대화를 반영한 연구 설계

• 기존 언어모델 평가는 의료 지식이 정리된 사례나 합성 환자 문진에 의존해 실제 환자의 불완전하고 비정형적인 증상 설명을 충분히 반영하지 못했다.
• 연구진은 이러한 한계를 보완하기 위해 13,917명의 동의한 참가자를 모집했다.
• 참가자는 5개 유형 중 하나의 Gemini Flash 2.0 기반 SymptomAI 에이전트와 대화했다.
• AI는 증상을 듣고 추가 질문을 진행한 뒤, 가능한 질환 목록인 감별진단(DDx)과 다음 단계에 대한 권고를 제시했다.
• 참가자는 이후 의료기관을 방문했고, 2주 뒤 의료진에게 받은 실제 진단을 설문으로 보고했다.

임상의와의 비교 평가

• 세 명의 보드 인증 임상의가 대화 기록을 검토하고 독립적으로 감별진단을 작성했다.
• 임상의들은 SymptomAI의 감별진단과 다른 임상의들의 감별진단을 모르는 상태에서 비교·순위를 매겼다.
• SymptomAI의 감별진단은 전체 사례의 50% 이상에서 다른 임상의의 결과보다 선호됐다.
• 전문가들은 SymptomAI의 감별진단을 전반적인 품질 측면에서 가장 우수한 목록으로 평가하는 경우가 더 많았다.
• 실제 의료진이 참가자에게 내린 진단이 감별진단 상위 5개 안에 포함되는 비율도 SymptomAI가 다른 임상의들보다 높았다.

추가 질문이 진단 성능을 높임

연구에서는 문진 방식에 따라 다섯 가지 실험군을 비교했다.

• Dynamic Live, Dynamic Final
  • AI가 대화 흐름에 따라 제한 없이 추가 질문을 생성했다.
• Fixed Canonical, Flexible Canonical
  • 의과대학에서 가르치는 표준 병력 청취 질문 집합을 사용했다.
• Base
  • 사용자가 주도적으로 질문하고 설명하는 일반적인 챗봇 사용 방식에 가까운 조건이었다.
• AI가 적극적으로 후속 질문을 한 모든 방식은 Base 조건보다 감별진단 정확도가 유의미하게 높았다.
• 이는 환자가 처음부터 제공하지 않은 정보까지 체계적으로 끌어내는 문진 능력이 진단 성능에 중요하다는 점을 보여준다.

임상의가 확신하지 못한 사례에서의 강점

• SymptomAI의 임상적 기준선 대비 우위는 임상의가 자신의 감별진단에 낮은 확신을 보인 사례에서 가장 크게 나타났다.
• 증상이 모호하거나 정보가 부족해 사람도 판단하기 어려운 상황에서, AI의 체계적인 추가 질문과 후보 질환 비교가 도움이 될 가능성을 시사한다.
• 다만 이 결과는 전문가 평가와 참가자의 사후 자기보고 진단을 기반으로 한 비교이며, 실제 임상 진료를 대체한다는 의미는 아니다.

웨어러블 생체신호와의 연관성

• 연구진은 SymptomAI의 진단 결과를 참가자 Fitbit 기기의 생체신호와 비교했다.
• 참가자들의 대화 전 최대 30일 동안 수집된 일일 생체 데이터를 분석했다.
• 특히 급성 호흡기 감염으로 분류된 사례에서 증상 보고 시점에 가까워질수록 생체신호가 변화하는 경향이 관찰됐다.
• 이러한 변화는 감염이나 면역 반응과 관련된 생리적 추세일 가능성을 보여주며, SymptomAI의 대규모 증상 분류 결과를 웨어러블 데이터 분석에 활용할 수 있는 가능성을 제시한다.
• 현재는 대규모 생리 데이터에 신뢰할 만한 임상 라벨을 붙이는 데 비용이 많이 들기 때문에, 정확한 증상 평가 시스템이 자동화된 참조 라벨 역할을 할 수 있다는 것이 연구진의 관점이다.

실용적인 시사점

SymptomAI 연구는 의료 챗봇이 단순히 사용자의 질문에 답하는 것보다 적극적으로 병력을 청취할 때 더 유용해질 수 있음을 보여준다. 그러나 연구 결과는 진단 보조 기술의 가능성을 평가한 것이므로, 실제 증상이 있을 때는 AI 결과만으로 판단하지 말고 의료진의 진료와 검사를 받아야 한다.