Figma의 데이터 사이언스 및 (새 탭에서 열림)

Figma의 데이터 과학팀과 사용자 조사팀은 알림 문제를 정량 데이터와 정성적 사용자 의견으로 함께 분석했다. 그 결과 알림 클릭률보다 앞선 단계인 “알림을 아예 받지 못하는 문제”가 가장 큰 개선 기회임을 발견했다. Figma는 이를 해결하기 위해 새로운 알림 유형을 추가하고, 누가 언제 알림을 받아야 하는지 재검토하는 실험을 시작했다.

정량 데이터와 정성 조사의 결합

• 데이터 과학은 대규모 사용자 행동을 통해 무슨 일이 일어나는지(What) 보여준다.
• 사용자 조사는 사용자가 왜 그렇게 행동하는지 이유(Why) 를 파악하는 데 도움을 준다.
• 수치만으로는 사용자의 동기와 맥락을 알기 어렵고, 인터뷰만으로는 전체 사용자에게 나타나는 패턴을 확인하기 어렵다.
• 두 방법을 함께 사용하면 각 분석의 한계를 보완해 더 완전한 제품 이해가 가능하다.
• 두 팀은 이를 날실과 씨실을 엮어 천을 만드는 과정에 비유했다.

Figma 알림 퍼널과 문제 정의

• Figma 알림은 이메일, Slack, 모바일, 파일 브라우저·시스템 트레이·데스크톱 알림 등 여러 경로로 전달된다.
• 알림 유형에는 댓글, 댓글 답글, 댓글 반응, 파일·팀·프로젝트 초대, 편집 초대, 멘션 등이 있다.
• 사용자가 알림과 상호작용하려면 다음 단계를 통과해야 한다.
  • 알림 대상이 될 수 있음
  • 알림을 받음
  • 알림을 확인함
  • 알림과 상호작용함
• 활동 팀은 어느 단계에서 사용자가 가장 많이 이탈하는지, 어떤 단계에 투자해야 하는지 알지 못했다.
• 분석 결과 가장 큰 문제는 많은 사용자가 알림을 열지 않는 것이 아니라 알림 자체를 받지 못하고 있다는 점이었다.

협업형 분석 프로세스 구축

• Caitlin Hudon과 Jennifer Sanders는 FigJam에서 팀 전체 브레인스토밍을 진행했다.
• 팀은 알림을 받은 사용자, 열어본 사용자, 클릭한 사용자의 비율과 현재 상태를 공유했다.
• 이후 다음과 같은 질문을 함께 정리했다.
  • 분기별로 어떤 지표를 개선할 것인가?
  • 새로운 알림 유형이 필요한가?
  • 현재 데이터만으로 알 수 없는 것은 무엇인가?
• 질문을 데이터 과학으로 답할지, 사용자 조사로 답할지 각자의 전문 영역에 따라 나누었다.
• 두 연구자는 각자 프로젝트를 진행하면서도 지속적으로 소통하고, 공통된 질문과 발견을 맞춰 갔다.
• 이런 지속적인 동기화와 결과 종합에 충분히 투자하는 것이 단순히 두 연구 결과를 나열하는 것보다 중요했다.

행동 데이터가 보여준 것과 사용자 조사가 밝혀야 한 것

• 데이터 분석은 알림 퍼널의 각 단계에서 사용자가 얼마나 줄어드는지 파악하는 데 적합했다.
• 특히 알림 수신 여부와 실제 상호작용 사이의 차이를 수치로 확인할 수 있었다.
• 사용자 조사는 사용자가 알림을 받지 못하거나 활용하지 않는 상황의 맥락과 기대를 이해하는 데 사용됐다.
• 사용자는 자신의 행동 이유를 항상 정확히 설명하지 못할 수 있으므로, 인터뷰 결과를 행동 데이터와 함께 검증해야 했다.
• 정량 결과와 정성적 설명을 결합해 팀은 단순한 클릭률 개선이 아닌 알림 전달 구조 자체를 개선해야 한다고 판단했다.

발견을 제품 개선으로 연결

• 활동 팀은 알림을 통해 팀원 간 연결과 협업을 강화하는 것을 목표로 했다.
• 가장 큰 개선 영역은 기존 알림의 클릭을 유도하는 것보다 다음 문제를 해결하는 데 있었다.
  • 적절한 사용자가 알림을 받지 못하는 문제
  • 필요한 상황을 포괄하지 못하는 알림 유형
  • 알림을 받을 시점과 대상이 적절하지 않은 문제
• 이후 팀은 여러 알림 실험을 시작했다.
• 사용자의 주요 불편을 해결하기 위한 새로운 알림 유형도 출시됐다.

실용적인 결론

제품 문제를 분석할 때 퍼널의 마지막 행동만 보지 말고, 사용자가 그 단계에 도달하기 전 어디에서 이탈하는지 확인해야 한다. 대규모 행동 데이터로 문제의 범위를 파악한 뒤, 사용자 조사로 원인과 맥락을 보완하고, 두 결과를 공동으로 종합하는 방식이 효과적이다.