누군가는 토스를 테스트하는 동안, 우리는 테스트하는 법을 만듭니다.

토스 QA Platform 팀은 매주 수백 건의 변경이 포함된 앱을 안정적으로 배포하기 위해, 테스트와 품질 관리의 표준화를 추진하고 있습니다. 단순히 테스트 도구를 제공하는 데 그치지 않고, AI와 자체 플랫폼을 활용해 테스트 실행부터 결함 분석, 출시 후 대응까지 효율화하려 합니다. 궁극적으로는 사람이 중요한 판단에 집중하고, 반복적인 검증은 자동화하는 것이 목표입니다.

매주 반복되는 릴리즈 검증

• 토스는 매주 새로운 버전을 배포하며, 한 번의 릴리즈마다 평균 300~400건의 코드가 변경됩니다.
• 릴리즈 후보가 올라오면 다음 순서로 검증합니다.
  • 토스닥터(Toss Doctor): 로그인부터 탈퇴까지 핵심 기능을 빠르게 확인하는 스모크 테스트
  • PRCheck: 변경된 코드와 영향 범위, 버그 위험도, 테스트 우선순위 분석
  • 토스체커(Toss Checker): 기존 기능이 손상되지 않았는지 확인하는 전사적 리그레션 테스트
• 배포 후에는 크래시 지표를 모니터링하고, 문제가 발생하면 핫픽스를 즉시 배포할지 다음 릴리즈에서 해결할지 판단합니다.
• 핫픽스는 사용자에게 추가 업데이트를 요구하므로, 단순히 빠른 대응보다 재발 가능성과 해결의 안전성을 함께 고려합니다.

토스 전체의 품질을 지원하는 QA

• QA Platform 팀의 역할은 특정 제품의 테스트에 국한되지 않습니다.
• QA를 처음 시작하는 팀에 테스트 방향을 제시하고, 사내 도구의 품질을 보증하며, 조직 단위의 QA 프로세스 설계를 지원합니다.
• 목표는 누구나 쉽게 테스트 케이스를 만들고, 빠르고 정확하게 테스트할 수 있는 환경을 구축하는 것입니다.
• 이를 통해 개별 팀이 아닌 토스 전체의 품질 수준을 끌어올리려 합니다.

토스 품질의 세 가지 표준

• 매번 신뢰할 수 있는 배포
  • 한 번 성공하는 것이 아니라 매주 일정한 품질과 신뢰성을 유지하는 것이 중요합니다.
• 결함을 정확히 발견하는 테스트
  • 테스트의 양보다 실제 사고로 이어질 가능성이 높은 결함을 놓치지 않는 것이 핵심입니다.
• 효율적인 품질 보증
  • 반복 작업을 사람의 수작업만으로 처리하지 않고 자동화해, 지속 가능한 방식으로 품질을 유지해야 합니다.
• 올해는 여기에 AI를 활용해 자동으로 수행되는 테스트의 범위를 넓히고 있습니다. 다만 모든 판단을 AI에 맡기기보다, 사람은 사람의 판단이 필요한 영역에 집중하도록 역할을 나눕니다.

자체 QA 플랫폼 ‘토션’

• 상용 도구는 토스의 빠른 배포 주기와 업무 방식에 맞게 유연하게 바꾸기 어려웠기 때문에 자체 플랫폼 **토션(Tossion)**을 개발했습니다.
• 토션은 처음에 TestRail을 대체하는 플랫폼으로 시작했습니다.
  • 테스트 케이스 작성
  • 테스트 실행
  • 결과 기록
  • 테스트 관련 봇 통합
• 여러 봇은 **토스버틀러(Toss Butler)**라는 하나의 봇으로 통합해 토스의 업무 흐름에 맞췄습니다.
• 이후 다음 기능들이 추가됐습니다.
  • PRCheck: PR 변경 사항을 분석하고 테스트가 필요한 영역을 제시
  • tcgen: PRD, 디자인 문서 등 여러 맥락을 바탕으로 테스트 케이스 초안 자동 생성
  • 자동화 테스트 플랫폼: 매뉴얼 테스트와 자동화 테스트 결과를 한 화면에서 비교
  • Crash Trend 대시보드: 크래시의 발생 추세와 토스에 적합한 지표를 분석
  • 핫픽스 대시보드: 장애 원인 분류와 재발 방지 대책 관리

도구 제공만으로는 부족했던 이유

• 팀은 테스트 케이스를 쉽게 만들면 사람들이 테스트를 더 적극적으로 수행할 것이라고 예상했습니다.
• 하지만 tcgen을 공개한 뒤 기대만큼 사용되지 않았습니다.
• 실제 사용자가 원한 것은 테스트 도구가 아니라 다음과 같은 지원이었습니다.
  • 누군가 테스트를 빠르고 정확하게 대신 수행할 것
  • 테스트 결과의 품질까지 책임질 것
• 도구를 제공하는 것은 사용자 입장에서 업무를 줄이는 것이 아니라 새로운 업무를 넘기는 일이 될 수 있었습니다.
• 이에 따라 QA Platform 팀은 도구를 제공하는 데서 나아가, 직접 테스트를 처리하고 품질까지 책임지는 방향으로 전략을 바꿨습니다.

AI와 빠른 방향 전환

• AI는 빠르게 발전하기 때문에 어제 효과적이었던 방식이 오늘에는 낡을 수 있습니다.
• QA 도구가 품질 향상을 돕기보다 변화 속도를 늦추지 않도록, 지속적인 검토와 폐기가 필요합니다.
• 실제로 API 테스트를 위한 API Labs는 방향이 맞지 않다고 판단해 개발 8시간 만에 폐기했습니다.
• 토션, 토스닥터, 토스체커, 자체 스킬들도 완성된 제품이 아니라 필요하면 언제든 교체할 수 있는 시스템으로 설계됐습니다.
• AI가 도구를 만드는 속도는 높여도 다음 문제를 대신 결정하지는 못합니다.
  • 무엇을 품질로 정의할 것인가
  • 어떤 기준을 끝까지 지킬 것인가
  • 어떤 테스트를 사람에게 맡길 것인가
• 따라서 품질 기준을 세우고 도구의 방향을 조정하는 일은 여전히 QA 팀의 핵심 역할입니다.

앞으로 이어질 이야기

• 이후 시리즈에서는 다음 주제를 구체적으로 다룰 예정입니다.
  • 토션이 어떻게 시작됐는지
  • 토스닥터가 배포 전 무엇을 검증하는지
  • 토스체커가 증가하는 회귀 테스트를 어떻게 자동화하는지
  • 지능형 AI 봇이 여러 도구를 어떻게 연결하는지
• 토스 QA Platform 팀은 매주 반복되는 변화 앞에서 “정말 배포해도 괜찮은가”를 확인하며, 테스트를 수행하는 방법 자체를 만들어가고 있습니다.

실용적으로는 테스트 도구를 도입할 때 기능 수보다 사용자의 실제 부담을 줄이는지 먼저 검증해야 합니다. 또한 AI 기반 QA 시스템은 완성품으로 보기보다, 품질 기준과 업무 방식의 변화에 맞춰 빠르게 교체·개선할 수 있도록 설계하는 것이 중요합니다.