figma·2026년 8월 11일·3분 읽기큐레이션 요약

Figma Make를 통한 시간 절약 측정 | Figma 블로그

Figma 데이터 과학팀은 Figma Make가 디자인 작업을 얼마나 단축하는지 측정하기 위해 100명 대상의 무작위 대조 실험(RCT)을 설계했다. 그 결과 전체 디자인 작업은 20% 빨라지고 16% 쉬워졌으며, 특히 PM은 작업 시간이 23% 단축되고 난이도가 37% 낮아지는 가장 큰 효과를 보였다. 기존 A/B 테스트나 로그 기반 인과 추론만으로는 작업 복잡도와 사용자 경험 같은 교란 요인을 충분히 통제하기 어려워 RCT가 선택됐다. ## AI 시간 절감 측정의 어려움 - AI가 반복적·기계적인 업무를 대신하면 팀이 더 중요한 작업에 집중할 수 있지만, 실제 절감 시간과 효율 개선 지점을 정량화하기는 어렵다. - 작업 완료 시간에는 AI 사용 여부 외에도 다음과 같은 교란 요인이 영향을 준다. - 근속 기간 - 경력과 숙련도 - 작업의 복잡성 - 개인의 주관적인 디자인 경험 - 이런 요인을 통제하지 않으면 생산성 향상이 AI 때문인지, 다른 조건 때문인지 구분하기 어렵다. ## 기존 방법의 한계 ### 온라인 A/B 테스트 - 한 그룹에는 Figma Make를 제공하고 다른 그룹에는 제공하지 않는 방식이다. - 무작위 배정으로 사용자 특성의 차이는 어느 정도 줄일 수 있다. - 그러나 사용자마다 수행하는 작업이 달라 작업 난이도와 유형을 동일하게 맞추기 어렵다. - 따라서 두 그룹의 완료 시간 차이가 AI 효과인지, 과제 차이 때문인지 판단하기 어렵다. ### 로그 데이터 기반 인과 추론 - AI 기능을 사용한 작업과 사용하지 않은 작업의 평균 소요 시간을 비교하는 방식이다. - **성향 점수 매칭(PSM)**은 각 작업이 AI 사용 조건에 속할 확률을 계산해 비교하지만, 모든 교란 요인이 로그에 기록되어 있어야 한다. - 익명화된 사용자 ID만으로는 사용자의 주관적인 디자인 숙련도나 경험을 알 수 없어 PSM 적용에 한계가 있다. - **도구 변수(IV)** 방법은 AI 사용 여부에 영향을 주면서 작업 속도에는 다른 방식으로 영향을 주지 않는 변수가 필요하다. - 하지만 Figma 로그에는 이러한 조건을 만족하는 유효한 도구 변수가 없었다. ## 무작위 대조 실험을 선택한 이유 - RCT는 인과적 효과를 측정하는 표준적인 방법으로, 데이터 수집 단계에서 교란 요인을 직접 통제할 수 있다. - 연구에서는 다음 세 가지 요소를 결합했다. - **무작위 배정:** 참가자를 실험군과 대조군에 나누어 개인별 차이를 양쪽에 대체로 균등하게 분산 - **동일한 과제:** 모든 참가자가 같은 작업을 수행하게 해 과제 속성의 영향을 제거 - **실험 진행 관리:** 숙련된 연구팀이 실험을 감독해 수행 과정의 변동과 통계적 오류를 줄임 - 제품 디자이너와 PM이 일상적인 디자인 업무에서 Figma Make를 사용할 때 얻는 시간 절감 효과를 측정하기 위해 Figma 안팎의 사용자 연구팀과 협력했다. ## 연구 대상과 실험 도구 - 여러 AI 도구를 동시에 허용하면 어떤 도구가 시간 절감에 기여했는지 구분하기 어려워, 연구 대상 AI를 Figma Make 하나로 제한했다. - Figma Make는 사용자 기반이 크고 다양한 디자인 작업에 활용될 수 있어 연구 도구로 선정됐다. - 참가자는 총 100명으로 구성됐다. - 제품 디자이너 50명 - 제품 관리자 50명 - 표본 수는 GitHub Copilot 무작위 대조 실험 등 기존 연구에서 관찰된 효과 크기를 참고해 산출했다. - 이후 통계적으로 유의미한 효과를 탐지할 수 있도록 검정력 분석(power analysis)을 수행해 최종 표본 규모를 결정했다. ## 관찰된 효과 - 전체적으로 Figma Make 사용 시: - 디자인 작업이 **20% 더 빨라짐** - 작업이 **16% 더 쉬워짐** - 직군별로는 PM의 효과가 가장 컸다. - 작업 시간 **23% 단축** - 작업 난이도 **37% 감소** 실무에서 AI의 생산성 효과를 검증하려면 단순한 사용 로그 비교보다, 동일한 과제와 무작위 배정을 포함한 통제된 실험이 더 신뢰할 만하다. 특히 AI 도입 효과를 직군별로 비교하려면 사용자 특성뿐 아니라 과제 복잡도와 실험 진행 방식까지 함께 표준화하는 것이 중요하다.

원문 읽기(새 탭에서 열림)

randomized-controlled-trialAIfigma-make데이터 사이언스+2

google·2026년 2월 3일원문

실제 가상 진료 환경 (새 탭에서 열림)

구글은 가상 진료 서비스 제공업체인 '인클루디드 헬스(Included Health)'와 협력하여 실제 의료 현장에서 대화형 AI의 성능을 평가하는 대규모 전국 단위 무작위 연구를 시작합니다. 이번 연구는 시뮬레이션이나 과거 데이터를 분석하던 기존 방식에서 벗어나, 실제 임상 워크플로우 내에서 AI의 안전성과 효용성을 검증하는 것을 목표로 합니다. 이를 통해 의료 AI 기술이 전문적인 의료 지식에 대한 접근성을 높이고 의료진의 업무 부담을 줄이는 데 실질적으로 기여할 수 있는지에 대한 엄격한 증거를 구축할 계획입니다. ### 실규모 전국 단위 연구의 목표와 체계 * **실제 진료 환경에서의 검증:** 시뮬레이션이 아닌 실제 가상 진료 워크플로우에 AI를 적용하여 전국 각지의 환자와 다양한 질환군을 대상으로 대규모 데이터를 수집합니다. * **무작위 대조군 시험(RCT):** 동의한 참여자를 대상으로 표준 임상 관행과 AI 기반 진료를 비교하는 무작위 대조군 시험 방식을 채택하여 연구의 신뢰도를 높입니다. * **책임감 있는 기술 도입:** 의학적 개입에 요구되는 수준과 유사한 높은 증거 생성 기준을 적용함으로써, AI 시스템이 환자와 의료진에게 안전하고 유익하다는 신뢰를 구축하고자 합니다. ### 단계적 연구 진화 과정 * **초기 진단 역량 연구:** 초기에는 AI의 진단 추론 능력과 의사 보조 효과를 확인하였으며, 모의 환자를 활용하여 1차 진료 의사와의 대화 역량을 비교하는 실험을 거쳤습니다. * **단일 센터 타당성 조사:** 베스 이스라엘 데이커니스 의료센터(BIDMC)와 협력하여 실제 임상 현장에서의 안전성(안전 감독자의 개입 빈도 등)을 측정하는 소규모 연구를 선행했습니다. * **전국 단위 확산:** 단일 기관 연구를 통해 확인된 안전성 지표를 바탕으로, 이제 전국 단위의 규모 확장을 통해 임상적 유용성과 환자 경험을 심층 분석하는 단계로 진입했습니다. ### AI 시스템의 기반이 되는 핵심 기술 * **AMIE (진단 및 관리 추론):** 시뮬레이션 학습을 통해 1차 진료 의사 수준의 진단 정확도와 대화 품질을 확보한 기술로, 환자 이력과 임상 가이드라인을 바탕으로 후속 치료 계획을 수립합니다. * **PHA (개인화된 건강 통찰):** 웨어러블 기기의 데이터를 분석하여 수면 및 활동 패턴에 따른 맞춤형 건강 코칭을 제공하며, 환자의 일상적인 건강 맥락을 파악하는 역할을 합니다. * **Wayfinding AI (정보 탐색 지원):** 사용자가 온라인에서 건강 정보를 검색할 때 능동적인 가이드를 제공하여, 실질적인 건강 여정에 필요한 정확한 정보를 찾을 수 있도록 돕습니다. 이번 연구는 실험실 수준의 '가능성'을 증명하는 단계를 넘어, 대규모 임상 데이터를 통해 AI가 의료 시스템의 표준으로 자리 잡을 수 있는 근거를 마련한다는 점에서 큰 의의가 있습니다. 향후 이러한 엄격한 증거 기반 접근 방식은 의료 AI가 단순한 기술적 혁신을 넘어 환자 치료 결과(Outcome)를 실질적으로 개선하는 신뢰할 수 있는 도구로 인정받는 표준이 될 것으로 기대됩니다.

randomized-controlled-trialconversational-aihealthcare-aidiagnostic-reasoning+3