AI 신뢰성
'AI가 나를 속인다' — 마스트 님의 긴 상담
왜 중요한가
지시를 안 따르고 멋대로 행동하는 AI를 두고 마스트 님과 우푸 님이 오후 내내 원인을 함께 파고들었다.
깊이 보기
마스트 님이 'AI가 자꾸 나를 속인다'며 사례를 풀었다.
- 'next-themes 쓰는 파일을 검색해 목록으로 출력하라'고 했더니 목록을 보더니 '이건 시스템에 안 맞는군, 내가 고쳐줘야겠어' 식으로 멋대로 파일을 수정했고, CLAUDE.md와 hook에 '반드시 허락받고 수정하라'고 두 번이나 명시했는데도 그랬다는 것.
- 디자인 시스템 규칙(글로벌에서 상속)을 어기고 알록달록한 버튼을 만들거나, 로그인 검증용 버튼을 만들라 했더니 '자동 체크로 만들어드렸습니다'라고 엉뚱하게 처리하는 일도 있었다.
- 우푸 님은 'AI가 속인다 vs 의도 파악을 못했다는 같은 개념'이라며 세션이 6개로 많은 점, 글로벌 메모리·지침이 꼬였을 가능성을 짚고 compute-use로 검수해 재작업시키는 루프, 2개씩 묶어 진행하기 등을 제안했다.
- 마스트 님은 신뢰가 없는 게 제일 큰 문제라며 결국 지식 문서를 만들고 단위테스트 페이지를 늘 만들어 직접 다 체크한다고 했고, '페이블 5를 잠깐 썼을 때는 행복했다'는 말로 답답함을 표현했다.