기술 토론
로컬크랩 임베딩 모델 — MiniLM 한계와 KURE·OAI 대안
왜 중요한가
로컬크랩의 기본 임베딩인 MiniLM이 한글에서 박살나는 문제가 제기됐고, KURE 또는 OpenAI 임베딩 API 전환이 권장됐다.
깊이 보기
오후 4시 6분 하마/여의도섬노예가 '로컬크랩의 기본 임베딩 모델이 MiniLM이라 한글 사용에서는 슈레기 중에 슈레기'라며 오픈크랩은 다른 모델을 쓰고 있길 바란다고 물었다.
- Alexai @alexai_mcp가 오후 4시 57분 '로컬크랩 기본 임베딩은 크로마, 기본 크로마 DB가 설치된 PC는 크로마를 쓰고 아닌 경우 다른 걸 제안하는 로직을 달아놨다.
- 오픈크랩 SaaS의 크랩에이전트는 크로마 시멘틱 임베딩이 기본 적용'이라고 설명했다.
- 오후 5시 10분 하마가 '크로마 기본 임베딩 모델이 MiniLM이라서요.
- bge-m3 파인튜닝인 KURE 정도면 적당히 가볍고 적당히 성능 나오지 않을까 합니다'라고 대안을 제시했다.
- AI영끌맨이 '저도 쿠루 쓰는중입니당'이라고 동의했다.
ziteun_vin/사유ing..이 '데이터 종류에 따라 달라지지 않나요?'라고 물으니 하마가 '한국어가 많이 들어가는 순간 MiniLM은 박살납니다'라고 단호히 정리했다. Alexai는 오후 5시 17분 '쿼리는 PGVector로 검색하게 되어 있고 OAI 임베딩 API 반영해놨는데, 빌드는 크로마, 쿼리는 PGVector + OAI Embedding API'라고 구조를 설명했다.
읽기쓰기/반도체연구원은 '임베딩 끄고도 써봤는데 키워드+그래프만으로도 생각보다 잘 찾아주더라'며 실험 결과를 공유했다.