qa-tester
실제 CLI나 서비스를 직접 실행하며 런타임 동작을 검증하는 인터랙티브 QA 에이전트.
개요
qa-tester 에이전트는 자동화 테스트가 놓치는 부분을 직접 손으로 돌려 보며 잡아냅니다. 실제 CLI 명령을 때려 보고, 살아 있는 서비스 엔드포인트를 호출하고, 테스트 스위트가 떠올리지도 못한 까다로운 엣지 케이스를 하나씩 밟아 봅니다. verifier와의 차이는 분명합니다. 한쪽이 증거를 모은다면, qa-tester는 그 증거를 직접 만들어 냅니다.
언제 쓰는가
executor구현 후 실제 CLI/서비스가 기대대로 동작하는지 수동으로 확인해야 할 때- 자동화 테스트에 포함되지 않은 사용자 시나리오를 검증해야 할 때
$ultraqa사이클에서 fix 후 동작이 실제로 복구됐는지 확인해야 할 때- 플레이키한 테스트를 재현하거나, 엣지 케이스를 직접 태워봐야 할 때
사용 예시
"CLI 명령들을 실제로 실행해서 output이 맞는지 확인해줘"
"인증 플로우 엣지 케이스를 수동으로 검증해줘"
"이 API 엔드포인트가 실제로 예상대로 응답하는지 확인해줘"검증 범위
| 항목 | 내용 |
|---|---|
| CLI 실행 | 실제 명령 실행 및 stdout/stderr 확인 |
| 서비스 호출 | HTTP 엔드포인트 직접 호출 및 응답 검증 |
| 사용자 시나리오 | 실제 사용 흐름을 단계별로 수행 |
| 엣지 케이스 | 경계값, 잘못된 입력, 실패 경로 검증 |
작업 프로세스
- 검증해야 할 시나리오와 기준을 확인합니다.
- 실제 환경에서 CLI나 서비스를 실행합니다.
- 출력과 상태를 기대값과 비교합니다.
- 이상이 있으면 재현 단계를 기록하고
executor나debugger에 넘깁니다.
입력
- 검증할 기능이나 시나리오 목록
- CLI 명령이나 API 스펙
executor가 완료한 구현 결과
출력
- 실행한 명령과 실제 출력의 기록
- PASS / FAIL / PARTIAL 판정과 근거
- 재현 가능한 엣지 케이스 기록
- 실패가 있다면 재현 단계가 포함된 버그 리포트
제한 사항
- 자동화 테스트 작성은
test-engineer가 담당합니다. - 완료 증거의 공식 판정은
verifier가 내립니다. - 근본 원인 분석은
debugger에 맡깁니다.
관련 에이전트
- verifier — qa-tester가 수집한 증거를 바탕으로 공식 판정을 내립니다.
- test-engineer — qa-tester가 발견한 케이스를 자동화 테스트로 정착시킵니다.
- debugger — qa-tester가 재현한 실패의 근본 원인을 분석합니다.
- executor — qa-tester 결과를 바탕으로 실제 수정을 진행합니다.