AI 활용 전략
Playwright E2E 자가 개선 루프 — 결정론적 검증 도구 상세 정리
왜 중요한가
이응/클코덱스가 Playwright E2E 테스트 자가 개선 루프에 대한 영상 내용을 7단계로 정리해 공유했다. 테스트 코드는 센서이자 에이전트에게 주는 명세라는 핵심 통찰이 주목받았다.
깊이 보기
오후 2시 2분 이응/클코덱스가 유튜브 영상(https://youtu.be/wo0Rsh9hlTo)을 공유하고 오후 2시 12분부터 7단계 상세 정리를 작성했다.
- 0단계 전제: 에이전트에게 결정론적 검증 수단을 줘야 하며 단위 테스트만으론 컴포넌트 경계 결함을 못 잡는다.
- 1단계 무엇을 테스트할지: 크리티컬 유저 플로우(실패 시 매출 차단·데이터 손실) 5개월에 37개 라우트만 구축해 CI 29회 연속 성공.
- 2단계 테스트 작성: Playwright codegen으로 초안, 에이전트가 구조화.
- Playwright 공식 에이전트 시스템(Planner→Generator→Healer)으로 작성.
- 3단계 하네스 4대 요소: AGENTS.md, E2E 전용 SSOT 문서, 반복 유틸, MCP 서버.
4단계 안정적 테스트 설계: API로 분기 상태 세팅, 외부 의존성 목킹, 번인(burn-in) 플래키 예방. 5단계 Trace+Healer로 실패 자동 수정.
6단계 CI 통합+자가 개선 루프. 7단계 사람의 역할: 루프 설계, 도구·맥락 제공, 모델 변화에 따른 하네스 진화.
3줄 요약: '테스트 코드는 실행 가능한 센서이자 에이전트에게 주는 명세다. 이렇게 구축하면 에이전트가 스스로 작성·개선하는 자가 개선 루프가 돈다.
그 루프가 잘 돌도록 환경을 만드는 하네스 엔지니어링이 사람의 역할이다.' Karpathy 인용 '사고는 위임할 수 있어도 이해는 위임할 수 없다'도 포함됐다.