1
사용 팁
오픈크랩 SaaS의 응답 검증 — 로컬크랩 먼저?
왜 중요한가
토옵이님이 'MCP 응답과 무관하게 GPT가 알아서 대답하는 플라시보 느낌'이라는 핵심 고민을 던졌고, 로컬크랩 튜닝 경험자의 검증 노하우가 공유됐다.
깊이 보기
토옵이님이 'mcp에서 오는 응답 보면서 테스트하는데, 계속 mcp에서 가져오는 응답과 무관하게 gpt가 알아서 대답을 생성하는 것 같다.
- 온톨로지를 쓰고 있다는 플라시보 효과만 주는 느낌'이라며 101 가이드 같은 자료가 있는지 물었다.
- 읽기쓰기/반도체연구원님이 공감하며 본인의 로컬크랩 운용 경험을 공유했다.
- 로컬크랩은 튜닝이 가능해 '답변내용 벤치마크, 각 스텝별 rrf로 불러오는 context 검증, 어떤 백엔드가 가장 효과적이었는지 표시'까지 잘 보여주는데, 오픈크랩 SaaS 쪽은 잘 모르겠다는 것.
- 'GPT 웹에서 시스템프롬프트(개인화)에 온톨로지팩 내용 이외에는 멋대로 추론하지 말라는 제약을 잘 걸어야 할 것 같다'는 팁도 덧붙였다.
- '로컬크랩을 먼저 써보는 게 좋으려나'라는 토옵이님의 질문에 읽기쓰기님은 '마개조가 가능해서 로직 공부도 되고 저는 로컬크랩만 쓴다.
약간 뒤처지는 느낌도 있지만'이라고 답했다. 로컬크랩 사용 자격을 묻는 질문에 Alexai님은 '오픈크랩 가입 안 해도 아무나 쓸 수 있다'고 확인했고, 프로 이상 등급은 곧 오픈크랩Agent를 쓸 수 있게 된다며 '완벽한 품질이 나오게 만들고 있다'고 예고했다.
저녁에는 까칠한놈님이 '로컬에 지식화 후 자료 기반으로 LLM 돌리니 토큰이 절약되는 느낌'이라며 알렉스님이 맥스 없이 프로로만 쓴다는 것이 체감된다고 했다. '지식화만 잘 돼 있으면 젬마 같은 걸로도 잘 되냐'는 질문에 Alexai님은 'LM스튜디오에서 qwen으로 가끔 쓰는데 나름 쓸만하다.
더 좋은 모델에 연결하면 더 좋지만 쌩 로컬 모델보다 훨씬 잘 작동한다'고 답했다.