인과 추론을 위한 인간 증강 에이전틱 워크플로우
소프트웨어 에이전트가 관찰자료의 인과효과를 분석하더라도, 결과를 자동으로 신뢰해서는 안 된다. 이 글은 인간이 분석 계획과 가정을 제시하고, 에이전트가 분석·진단을 수행하며, 별도의 비평 에이전트가 결함과 신뢰도를 검토하는 인간 증강형 OCI(관찰적 인과추론) 워크플로를 소개한다. 핵심은 정답이 없는 관찰연구에서 분석 산출물을 투명하게 남기고 사람이 재현·감사할 수 있도록 하는 것이다. ## 관찰적 인과추론에서 에이전트 감독이 필요한 이유 - 에이전트는 데이터 조회, 회귀분석, 결과 보고를 자동화할 수 있지만, 숨은 교란이나 표본 선택 편향을 놓칠 수 있다. - 예를 들어 인기 Netflix 프로그램 시청자와 장기 회원 유지율을 비교할 때, 열성 팬을 일반 시청자처럼 취급하면 잘못된 인과효과가 나온다. - OCI는 도메인 지식과 가정에 대한 판단이 필요하므로, 반복적인 분석 작업은 자동화하되 질문 설정과 가정 검토는 사람이 담당해야 한다. - 저자들은 OCI 에이전트를 오픈소스로 공개하고, ACIC 2016 데이터셋 평가에서 단일 실행 방식보다 여러 데이터 생성 과정에서 우수한 성능을 보였다고 설명한다. ## 타깃 실험을 모방하는 분석 철학 - 실제로 수행하기 어렵거나 불가능한 이상적 A/B 테스트를 먼저 상상하고, 그 실험을 관찰자료로 얼마나 충실히 모방할 수 있는지 검토한다. - 이 사고방식은 처리(treatment), 결과(outcome), 분석 시점, 통제해야 할 사전 공변량을 명확히 하는 데 도움을 준다. - 특히 “비교 가능한 처리군과 통제군을 만들 수 있는가”와 “처리 배정이 관측된 공변량으로 충분히 설명되는가”가 중요하다. - 워크플로는 기본적으로 비관측 교란이 없다는 가정(unconfoundedness) 아래 설계되었지만, 평행추세를 사용하는 패널 분석 등 다른 OCI 방법에도 원칙을 확장할 수 있다. ## 네 가지 설계 진단 - **공변량 균형** - 가중치 적용 후 처리군과 통제군의 사전 공변량 표준화 평균 차이(Standardized Mean Difference)가 0.2 미만이어야 한다. - **겹침(Overlap)** - 처리받을 확률인 성향점수(propensity score)가 0.1~0.9 범위에 있어야 한다. - 특정 집단에서 처리 확률이 거의 0 또는 1이면 두 집단을 공정하게 비교하기 어렵다. - **플라시보 결과** - 처리 이전에 측정된 변수에 유의한 처리효과가 나타나지 않아야 한다. - 사전 결과에 효과가 나타나면 기존 집단 차이나 분석 설계 오류를 의심해야 한다. - **숨은 교란 민감도** - 관측되지 않은 변수가 처리와 결과를 동시에 설명한다고 가정했을 때 결론이 얼마나 흔들리는지 평가한다. - 효과의 크기뿐 아니라 결과가 어떤 수준의 숨은 교란에 견디는지도 함께 보고한다. ## Actor–Critic 구조와 역할 분담 - **Principal(인간 사용자)** - 분석 목적과 맥락을 담은 초기 계획을 작성한다. - 주요 위협 요인과 통제해야 할 교란변수를 제시한다. - 사용할 수 있는 도구, 데이터 모델, 데이터셋을 지정한다. - 실행된 노트북과 비평 보고서를 검토한다. - **Actor(분석 에이전트)** - 인간의 계획을 구체적인 데이터 분석 명세로 정제한다. - 허용된 도구만 사용해 분석한다. - 계획, 명세, 코드, 도표, 노트북 등 사람이 읽고 기계적으로도 점검할 수 있는 산출물을 만든다. - 네 가지 설계 진단을 수행하고, 진단 실패 시 어떤 보정 조치를 취했는지 기록한다. - **Critic(비평 에이전트)** - 계획에서 빠진 교란변수나 맹점을 찾는다. - 계획·분석 명세·실제 실행 결과가 일치하는지 확인한다. - 진단 결과를 바탕으로 결과의 신뢰도 수준을 제시한다. - 성향점수 절단(trimmed propensity score) 등으로 인해 추정 대상이 ATE(평균처리효과)와 어떻게 달라졌는지 설명한다. - 실행된 분석을 이상적인 무작위대조시험(RCT)과 비교한다. - 권장 RCT나 장려(encouragement) 실험 등 최소 하나의 대안적 측정 전략을 제안한다. ## 정답 대신 과정 감사를 활용하는 평가 - 실제 관찰자료에는 참된 인과효과라는 명확한 ground truth가 없으므로, 출력값만 정답과 비교하는 방식에는 한계가 있다. - 따라서 에이전트는 분석 계획, 명세, 시각화, 실행 노트북, 보고서 같은 중간 산출물을 남긴다. - 인간 사용자는 이 자료를 직접 읽거나 다운로드해 다시 실행하면서 각 분석 단계와 가정을 감사할 수 있다. - 보고서는 버전 관리하고 실행된 노트북은 파일 저장소에 업로드해 재현성을 높인다. - Netflix의 검증된 비에이전트 OCI 도구는 이 과정을 지원하며, 인과효과 추정에는 이중강건 학습(doubly robust learning)을 사용한다. ## 실용적인 결론 에이전트에게 인과분석 전체를 맡기기보다, 인간이 질문·가정·데이터 사용 범위를 정하고 에이전트가 반복 계산과 진단을 수행하도록 역할을 분리하는 것이 안전하다. 특히 공변량 균형, 겹침, 플라시보, 민감도 분석 결과와 재실행 가능한 노트북을 함께 검토해야 하며, 관찰연구의 결론을 이상적인 RCT와 비교해 신뢰도와 한계를 명시하는 것이 바람직하다.
원문 읽기(새 탭에서 열림)