로컬 AI 설계
자비스 AI 가정비서 설계 심층 컨설팅
왜 중요한가
독고다이자비스님의 RTX 5080 + Ollama qwen3:14b 라우터 구성에 대해 강정석님이 오버엔지니어링이라 지적하며 2-4B 혹은 23-50M 라우터 모델로 충분하다고 조언했다.
깊이 보기
독고다이자비스/지영업 비개발자님이 본인의 자비스 구성을 공유했다.
- RTX 5080 16GB·Ryzen 9800X3D 환경에서 Ollama + qwen3:14b(라우팅 두뇌), Gemini(메인 LLM), Claude Code(코딩·블로그), 음성 싱글턴 패턴, fast-path(시간·계산) → 로컬 14b → Gemini → Claude 라우팅으로 구성돼 있다.
- 공냥이님이 강정석/Schift/대표님에게 소고기라도 먹이고 물어볼 수준의 질문이라고 했다.
- 강정석님은 음성이 어떤 단계인지, 화자 분리가 필요한지 등 세부 맥락을 먼저 파악했다.
- 핵심 조언은 두 가지였다.
- 첫째, 라우팅/function calling만 하는 두뇌에 14b는 과하다.
코딩·컴퓨터 제어류는 따로 API 엔드포인트로 빼고, 나머지는 2-4B 선에서 해결된다. 둘째, 강정석님 본인은 23~50M짜리 소형 transformer 라우터 모델까지 검토 중이며, CPU에서도 동작한다.
김위버님은 '4비트 양자화가 신이다'라고 응수했다. 컴퓨터 제어 쪽은 14B 레벨로도 제대로 되기 힘드니 최대한 API로 걷어내라는 조언도 있었다.
율파파/darkcommis님은 '코덱스가 브라우저 유즈·컴퓨터 유즈 둘다 잘 됩니다'라고 대안을 제시했다. 최종 결론은 '목표가 블로그·숏폼·주식 자동화라면 Claude나 Codex로 바로 연결하는 게 맞다'였다.