Figma Make를 통한 시간 절약 측정 | Figma 블로그 (새 탭에서 열림)
Figma 데이터 과학팀은 Figma Make가 디자인 작업을 얼마나 단축하는지 측정하기 위해 100명 대상의 무작위 대조 실험(RCT)을 설계했다. 그 결과 전체 디자인 작업은 20% 빨라지고 16% 쉬워졌으며, 특히 PM은 작업 시간이 23% 단축되고 난이도가 37% 낮아지는 가장 큰 효과를 보였다. 기존 A/B 테스트나 로그 기반 인과 추론만으로는 작업 복잡도와 사용자 경험 같은 교란 요인을 충분히 통제하기 어려워 RCT가 선택됐다.
AI 시간 절감 측정의 어려움
- AI가 반복적·기계적인 업무를 대신하면 팀이 더 중요한 작업에 집중할 수 있지만, 실제 절감 시간과 효율 개선 지점을 정량화하기는 어렵다.
- 작업 완료 시간에는 AI 사용 여부 외에도 다음과 같은 교란 요인이 영향을 준다.
- 근속 기간
- 경력과 숙련도
- 작업의 복잡성
- 개인의 주관적인 디자인 경험
- 이런 요인을 통제하지 않으면 생산성 향상이 AI 때문인지, 다른 조건 때문인지 구분하기 어렵다.
기존 방법의 한계
온라인 A/B 테스트
- 한 그룹에는 Figma Make를 제공하고 다른 그룹에는 제공하지 않는 방식이다.
- 무작위 배정으로 사용자 특성의 차이는 어느 정도 줄일 수 있다.
- 그러나 사용자마다 수행하는 작업이 달라 작업 난이도와 유형을 동일하게 맞추기 어렵다.
- 따라서 두 그룹의 완료 시간 차이가 AI 효과인지, 과제 차이 때문인지 판단하기 어렵다.
로그 데이터 기반 인과 추론
- AI 기능을 사용한 작업과 사용하지 않은 작업의 평균 소요 시간을 비교하는 방식이다.
- **성향 점수 매칭(PSM)**은 각 작업이 AI 사용 조건에 속할 확률을 계산해 비교하지만, 모든 교란 요인이 로그에 기록되어 있어야 한다.
- 익명화된 사용자 ID만으로는 사용자의 주관적인 디자인 숙련도나 경험을 알 수 없어 PSM 적용에 한계가 있다.
- 도구 변수(IV) 방법은 AI 사용 여부에 영향을 주면서 작업 속도에는 다른 방식으로 영향을 주지 않는 변수가 필요하다.
- 하지만 Figma 로그에는 이러한 조건을 만족하는 유효한 도구 변수가 없었다.
무작위 대조 실험을 선택한 이유
- RCT는 인과적 효과를 측정하는 표준적인 방법으로, 데이터 수집 단계에서 교란 요인을 직접 통제할 수 있다.
- 연구에서는 다음 세 가지 요소를 결합했다.
- 무작위 배정: 참가자를 실험군과 대조군에 나누어 개인별 차이를 양쪽에 대체로 균등하게 분산
- 동일한 과제: 모든 참가자가 같은 작업을 수행하게 해 과제 속성의 영향을 제거
- 실험 진행 관리: 숙련된 연구팀이 실험을 감독해 수행 과정의 변동과 통계적 오류를 줄임
- 제품 디자이너와 PM이 일상적인 디자인 업무에서 Figma Make를 사용할 때 얻는 시간 절감 효과를 측정하기 위해 Figma 안팎의 사용자 연구팀과 협력했다.
연구 대상과 실험 도구
- 여러 AI 도구를 동시에 허용하면 어떤 도구가 시간 절감에 기여했는지 구분하기 어려워, 연구 대상 AI를 Figma Make 하나로 제한했다.
- Figma Make는 사용자 기반이 크고 다양한 디자인 작업에 활용될 수 있어 연구 도구로 선정됐다.
- 참가자는 총 100명으로 구성됐다.
- 제품 디자이너 50명
- 제품 관리자 50명
- 표본 수는 GitHub Copilot 무작위 대조 실험 등 기존 연구에서 관찰된 효과 크기를 참고해 산출했다.
- 이후 통계적으로 유의미한 효과를 탐지할 수 있도록 검정력 분석(power analysis)을 수행해 최종 표본 규모를 결정했다.
관찰된 효과
- 전체적으로 Figma Make 사용 시:
- 디자인 작업이 20% 더 빨라짐
- 작업이 16% 더 쉬워짐
- 직군별로는 PM의 효과가 가장 컸다.
- 작업 시간 23% 단축
- 작업 난이도 37% 감소
실무에서 AI의 생산성 효과를 검증하려면 단순한 사용 로그 비교보다, 동일한 과제와 무작위 배정을 포함한 통제된 실험이 더 신뢰할 만하다. 특히 AI 도입 효과를 직군별로 비교하려면 사용자 특성뿐 아니라 과제 복잡도와 실험 진행 방식까지 함께 표준화하는 것이 중요하다.