qa-tester
실제 CLI나 서비스를 직접 실행하며 런타임 동작을 검증하는 인터랙티브 QA 에이전트.
개요
qa-tester 에이전트는 자동화 테스트가 잡지 못하는 런타임 동작을 직접 실행하며 검증합니다. CLI 명령을 실제로 실행하거나, 서비스 엔드포인트를 호출하거나, 엣지 케이스를 손으로 태워 보는 쪽입니다. verifier가 증거를 수집하는 역할이라면, qa-tester는 그 증거를 만들어 내는 쪽에 가깝습니다.
언제 쓰는가
executor구현 후 실제 CLI/서비스가 기대대로 동작하는지 수동으로 확인해야 할 때- 자동화 테스트에 포함되지 않은 사용자 시나리오를 검증해야 할 때
$ultraqa사이클에서 fix 후 동작이 실제로 복구됐는지 확인해야 할 때- 플레이키한 테스트를 재현하거나, 엣지 케이스를 직접 태워봐야 할 때
사용 예시
"CLI 명령들을 실제로 실행해서 output이 맞는지 확인해줘"
"인증 플로우 엣지 케이스를 수동으로 검증해줘"
"이 API 엔드포인트가 실제로 예상대로 응답하는지 확인해줘"검증 범위
| 항목 | 내용 |
|---|---|
| CLI 실행 | 실제 명령 실행 및 stdout/stderr 확인 |
| 서비스 호출 | HTTP 엔드포인트 직접 호출 및 응답 검증 |
| 사용자 시나리오 | 실제 사용 흐름을 단계별로 수행 |
| 엣지 케이스 | 경계값, 잘못된 입력, 실패 경로 검증 |
작업 프로세스
- 검증해야 할 시나리오와 기준을 확인합니다.
- 실제 환경에서 CLI나 서비스를 실행합니다.
- 출력과 상태를 기대값과 비교합니다.
- 이상이 있으면 재현 단계를 기록하고
executor나debugger에 넘깁니다.
입력
- 검증할 기능이나 시나리오 목록
- CLI 명령이나 API 스펙
executor가 완료한 구현 결과
출력
- 실행한 명령과 실제 출력의 기록
- PASS / FAIL / PARTIAL 판정과 근거
- 재현 가능한 엣지 케이스 기록
- 실패가 있다면 재현 단계가 포함된 버그 리포트
제한 사항
- 자동화 테스트 작성은
test-engineer가 담당합니다. - 완료 증거의 공식 판정은
verifier가 내립니다. - 근본 원인 분석은
debugger에 맡깁니다.
관련 에이전트
- verifier — qa-tester가 수집한 증거를 바탕으로 공식 판정을 내립니다.
- test-engineer — qa-tester가 발견한 케이스를 자동화 테스트로 정착시킵니다.
- debugger — qa-tester가 재현한 실패의 근본 원인을 분석합니다.
- executor — qa-tester 결과를 바탕으로 실제 수정을 진행합니다.