techlist.io
KREN
line

AI는 QA를 대체하지 않았다, 대신 확장했다 (새 탭에서 열림)

gen-aislackjiraworkflow-automationtest-automationwebhooksmagicpodpytest

생성형 AI는 QA를 대체하기보다 분산된 품질 정보를 구조화하고 QA의 사고 범위와 영향력을 확장한다. LINE Album QA는 AI를 단순한 문서 작성 도구가 아니라 Jira, Slack, 테스트 도구, 사용자 리뷰와 연결된 품질 워크플로로 재설계했다. 그 결과 AI는 반복적인 수집·분석·초안 작성을 담당하고, QA 엔지니어는 리스크 판단과 최종 의사 결정에 집중하게 됐다.

QA의 본질은 테스트 실행이 아닌 품질 설계

  • QA 엔지니어는 기획, 개발, 테스트, 릴리스 전 과정에서 품질 관점을 제공한다.
  • 기획 단계에서는 잠재 리스크를 식별하고, 개발 단계에서는 변경 사항의 영향 범위를 분석한다.
  • 릴리스 이후에는 사용자 리뷰와 운영 데이터를 제품 개선으로 연결한다.
  • 따라서 QA는 단순한 테스트 수행자가 아니라 제품 생명 주기를 연결하는 **품질 설계자(quality architect)**에 가깝다.
  • 생산성을 결정하는 핵심 요소는 테스트 속도보다 다음 정보를 얼마나 빠르게 구조화하고 맥락화하는가에 있다.
    • 기획·기술 문서
    • Slack 논의와 의사 결정
    • Jira 이슈와 작업 티켓
    • 자동화 테스트 스크립트와 실행 로그
    • 다국어 사용자 리뷰와 피드백

AI를 대화 도구에서 품질 워크플로로 전환

  • 초기에는 AI를 문서 요약, 테스트 케이스 초안 작성, 버그 리포트 정리 등에 활용했다.
  • 그러나 사람이 정보를 수집해 AI에 입력해야 했기 때문에 개인 생산성 향상 이상의 효과에는 한계가 있었다.
  • LINE Album QA는 Jira 이슈 생성, PR 병합, 테스트 실행, 사용자 리뷰 수집 같은 품질 이벤트에 AI가 자동으로 반응하도록 운영 체계를 구축했다.
  • 현재 30개 이상의 워크플로가 운영되며, AI는 정보를 분석하고 구조화하는 품질 시스템의 일부로 작동한다.
  • QA 엔지니어는 정리 작업보다 결과를 기반으로 리스크를 판단하고 필요한 검증을 수행하는 데 집중한다.

스케줄링 기반 자동화

  • 정해진 시간에 반복 실행하며 정기적인 품질 데이터를 수집·요약한다.
  • 주요 활용 사례:
    • App Store·Google Play 리뷰의 이슈 분류 및 요약
    • API 자동화 테스트 결과 분석 및 Slack 공유
    • UI 자동화 테스트 결과 리포트 생성
    • 주간 QA 활동과 주요 이슈 보고서 작성
  • QA가 여러 시스템에서 데이터를 직접 모으는 시간을 줄이고, 구조화된 결과를 바탕으로 판단할 수 있게 한다.

웹훅 기반 이벤트 트리거

  • 품질 관련 이벤트가 발생하는 즉시 분석을 시작한다.
  • 주요 활용 사례:
    • PR 병합 후 코드 변경 내용과 잠재 영향 범위 요약
    • Slack 논의 스레드 종료 후 의사 결정 회의록 생성
    • 자동화 테스트 결과 업로드 후 실행 통계 분석 및 시각화
  • 중요한 품질 신호를 정기 보고까지 기다리지 않고 빠르게 인지할 수 있다.

자동화된 QA 업무 흐름

  • UI 자동화 테스트는 MagicPod으로 Android·iOS 테스트를 실행하고, 결과를 Jira와 Slack에 공유한다.
  • 테스트 실패 시 AI가 플레이키 테스트 여부와 실패 원인을 분석한다.
  • Pytest 기반 API 테스트도 동일하게 실행 결과를 Jira와 Slack에 자동 반영한다.
  • 데일리 스크럼 전에는 테스트 현황, 미해결 이슈, QA 확인 필요 항목, Jira 멘션을 자동으로 정리한다.
  • 앱 리뷰는 긍정·부정 여부를 분류하고 일본어·한국어로 번역·요약한 뒤 일별·월별로 공유한다.
  • QA 엔지니어는 집중 업무 시간에 자동 수집된 정보를 활용해 품질 계획과 테스트 전략을 수립한다.
  • AI가 데이터를 수집·분석하는 동안 QA는 최종 판단, 수동·자동 테스트, 워크플로 개선을 담당한다.

AI와 테스트 케이스 설계

  • 2026년 기준 전체 테스트 케이스의 약 90%는 AI가 초안을 생성한다.
  • 단순히 요구 사항만 입력하면 일반적인 정상 흐름과 예외 케이스는 만들 수 있지만, 제품의 실제 맥락과 과거 결함을 반영하기 어렵다.
  • 이를 보완하기 위해 다음 정보를 AI의 입력 맥락으로 연결했다.
    • 기능 명세와 개발 티켓
    • 변경 배경
    • 과거 Jira 이슈
    • 테스트 이력
    • 반복적으로 발생한 결함 패턴
  • 오케스트레이터 에이전트와 5개 서브 에이전트가 역할을 나누어 테스트 설계를 수행한다.
    • Plan-Analyzer: 기획 문서, 기능 설명, 이미지에서 기본 흐름 분석
    • Dev-Analyzer: 개발 티켓과 구현 정보 분석
    • TestCase-Generator: 정상·예외·경계값·플랫폼 차이·우선순위를 반영한 테스트 생성
    • TestCase-Validator: 요구 사항 커버리지, 추적 가능성, Given/When/Then 형식, 플랫폼 커버리지 검증
    • Quality-Inspector: 이전 피드백과 품질 평가를 반영해 다음 실행의 개선점 축적
  • 과거에 실제로 발생한 결함 패턴까지 참고해 명세에 없는 유사 결함 시나리오도 확장한다.
  • 검증 결과가 부족하면 생성 단계로 피드백을 보내는 반복 루프를 통해 실행 가능한 테스트 케이스로 다듬는다.

실용적인 결론

AI 도입의 핵심은 테스트 케이스를 많이 생성하는 데 있지 않고, 기획·개발·운영·사용자 피드백을 연결해 품질 판단에 필요한 맥락을 자동으로 제공하는 데 있다. 효과적인 QA 자동화를 위해서는 AI를 개별 도구로 사용하기보다 품질 이벤트를 감지하고 분석·공유하는 워크플로로 통합해야 하며, 최종 리스크 판단과 의사 결정은 QA가 담당하는 구조가 바람직하다.