설계 철학
크랩하네스 워커는 '크롤링 커스터마이징의 시드'
왜 중요한가
로컬크랩을 돌리면 워커를 계속 추가하게 된다는 주녀님의 관찰에, Alexai님이 '워커는 시드만 심어놓은 것이고 크롤링할 때마다 커스터마이징되도록 설계했다, 하드코딩하면 유연성을 잃는다'는 설계 의도를 밝혔다.
깊이 보기
새벽에 주녀님이 로컬크랩을 쓰면 크랩하네스 워커를 무조건 수정 — 정확히는 추가 — 하게 된다며, "CrabHarness의 현재 registry에는 이 Pack을 처리할 worker가 없어서, OMX가 프로젝트 로컬 수집/빌드 스크립트를 새로 작성하려던 단계로 넘어가려다 중단된 상태"라는 에이전트의 진단 메시지를 공유했다.
- Alexai님은 이것이 의도된 설계라고 답했다.
- "워커는 크롤링 커스터마이징의 시드입니다.
- 크롤링할 때마다 거기에 맞게 커스터마이징되도록 설계해놔서.
- 그게 제 설계의 핵심입니다.
- 크랩하네스 크롤러 워커는 시드만 심어놓은 거예요.
하드코딩하면 크롤러는 유연성을 잃어버리니까." 주녀님은 "그래서 자연스럽게 생산이 되는 거였군요", "점점 구조를 깊게 봐가는 느낌"이라며 오픈크랩만 벌써 5번 넘게 재설치했다고 웃었다. 아침에는 Alexai님이 "gpt나 코덱스로 코딩할 부분을 역방향 인제스트로 팩 하나 만들고 페이블로 코딩하면 절약이 될 것인가"라는 실험 아이디어를 냈고, 빈수레세미님은 "페이블로 워크플로우 구조만 한 10개 짜놓고 나중에 그걸로 오푸스 돌리기"라는 응용을 보탰다.