방 리포트 · 2026-07-02

[실전AI] 에이전틱 AI 커뮤니티

투자 잡담을 정리하고 방을 재정비한 단테가 헤르메스 0.18.0 업데이트를 공지한 뒤 로컬 LLM 상담과 카카오의 2계층 AI 전략 비화까지 하루 종일 이끌었다.

90메시지 18참여자 4주요 주제 1짧은 기록

주제별 깊이 읽기

1

하드웨어/로컬 AI

단테의 로컬 LLM 심층 상담 — VRAM 공식부터 카카오의 2계층 AI 전략까지

왜 중요한가

맥북 M5 구매를 고민하는 Kai의 질문에서 시작해 단테 님이 VRAM 계산 공식, 로컬 LLM을 쓰는 진짜 이유, 카카오의 로컬+원격 2계층 설계 비화까지 풀어놓았다.

깊이 보기

낮 12시32분 Kai/금융 님이 '너무 기대됩니다!!

  • 맥북프로 M5 24램 구입하려고했는데.. 주위에서 로컬 LLM 제대로 활용 못한다고 해서 충격받은 상황입니다 ㅎㅎ, 30B.
  • 이상 모델은 가성비 따져서 최소 어떤 장비를 써야할까요'라 묻자 단테/AI교육 님은 '30B는 VRAM이 32기가는 되어야 사용할만 하세요'라 답했다.
  • 클라우드/MD 님이 '30b는 사실상 64기가여야 다른 거랑 같이 돌릴 수 있더라구요'라 보태자 단테 님은 '요게 계산식이 대략 이렇게 생각하시면 되요.
  • 빌리언 수를 나누기 2한것이 VRAM 숫자의 70% 이하로 나오면 돌릴수 있다'는 공식을 제시했다.
  • 꾸준히/ai교육 님은 '첫강의로 인프런 헤르메스 강의를 먼저 들어도 될까요??

클로드 코드는 20달러 기준 토큰이 부족해서 좀더 가성비 좋은 codex로 진행하는 걸까요?'라 물었고 단테 님은 '저는 헤르메스 x 코덱스로 충분히 입문가능하다고 말씀드리고 싶어요'라 답했다. 일하는 죠르디 님은 해외 거주 경험을 바탕으로 '데이터를 계속 주입하는식으로 로컬 통역 llm 같은게 개발이 가능할까요?

램은 64기가 m5입니다... 보이스 투 보이스일것 같습니다'라 물었고 단테 님은 '64기가면 70B로 올릴수는 있겠네요, 맥이 속도가 잘 나오지는 않을거에요, 보이스 모델은 더 가볍고 좋은게 많아서 스펙은 넘치시는것 같아요'라 조언했다. 단오/Access Archi 님이 '로컬 LLM은 구체적으로 어떤 필요 때문에 쓰려고 하시는 건가요?

구독료나 API 비용 절감이 목적이라면 오히려 하드웨어 비용이 더 들 수도 있을 것 같아서'라 근본적인 질문을 던지자 단테 님은 '단순히 절감 차원으로 접근하면 안되구요, 보안, 커스텀, 워크플로 자동화(절감), 온디바이스(네트웍 프리, IOT), 게임..'이라 목적을 나열하며 '에이전틱으로는 사용하는게 소비자형 GPU로는 좀 어렵구요'라 한계도 짚었다. 이어 단테 님은 '제가 카카오 엠베서더로 활동을 했었는데, 그때 부터 알게된것이, 카카오가 AI를 로컬+원격 2계층 레이어로 설계하고 있다는거였어요.

카카오 대화내용은 카카오 원격 AI로 전송을 할수 없게 끔되어 있다고 하더군요'라며 '온디바이스 로컬 모델을 kanana2 (deepseek 기반) 으로... 현재 신형 폰에서는 설치되어서, 대화 요약 등의 작업은 로컬로 돌립니다'라는 비화를 공개했다. 클라우드/MD 님은 '로컬llm 은 돈 아끼려고 하는게 아니라 보안 때문에 하는게 가장 큰 것 같습니다'라 정리했고, 단테 님은 '제가 LG출신이라 사정을 좀 알고 있는데, LG도 엑사원만 쓰게 하다가, 최근에 클로드코드 전사에 허용한듯하더군요.

Qwen3.6-27B 모델 테스트해보니 참 좋은것 같아요. 한국어도 잘되고'라 밝혔다.

Kai 님은 '엘지가 야심차게 엑사원이라는 사원의 출사표를 던졌는데.. 결국 클로드 코드를 쓰는군요 ㅠ'라며 'Qwen3.6 27B 나 젬마 20B대 모델을 쾌적하게 로컬로 돌리려면 pc사양이 어느정도 되어야할까요? 필요한 기능들 만들어가며 자동으로 옵시디언 볼트관리 계속 시키고 있는데 일단 이부분이 너무 편해서요'라 물었고 클라우드 님은 '램 64기가는 되어야 합니다'라 답했다.

맨 위로
2

AI 산업 동향

토종 LLM 좌절론과 중국 모델 증류설 논쟁

왜 중요한가

엑사원마저 클로드코드로 돌아섰다는 한탄에서 시작해, 중국 모델이 미국 모델을 증류해 만들어졌는지를 둘러싼 제이크와 네로의 팽팽한 논쟁으로 번졌다.

깊이 보기

Kai/금융 님이 '토종 엑사원이 결국은 해외파에 밀렸군요 ㅠ'라 한탄하자 디북기획자 님은 '엑사원 말고는 타사는 거의 토종 LLM이 없다시피 한 상황인데 젤 큰 엘지도 그렇게 되는군요.

  • 저희가 업스테이지랑 책진행한게 있어서 그쪽에 관심가족 보기는 했는데'라 업스테이지 쪽 관심을 언급했다.
  • 오후 2시26분 제이크/AI agent 님은 '중국은 사실 미국 모델 증류해서 만든거고 국내에서 독자 모델이라는게 가능할련지'라 의문을 던졌고, 저녁 6시37분 네로/개발자 님은 '근데 미국 모델이랄게 없는게 결국 미국 에서 만든 모델도 대부분 미국내 중국인들이 만든거라 결국 노하우 쌓아서 중국으로 와서 만들면 독자모델이 불가능학것 같지도 않긴합니다'라 반박했다.
  • 제이크 님은 '기술도 기술이지만 양질의 데이터가 중국 내수로는 어려울거고 결국 증류해서 만드는게 현실이죠'라 재반박했다.
  • 밤 10시7분 제이크 님은 zdnet 기사 링크를 공유하며 '논리가 아니라 팩트를 말한 겁니다.
  • 우리가 그토록 좋아하는 qwen 이, 국내 대기업들도 튜닝해서 쓰는 본체인 그 qwen 이 그렇다는겁니다.

딥시크도 그랬을거라는 기사는 진즉에 나왔었구요.. 21세기 카피캣 대장은 중국이 확실한'이라 단언했다. 클라우드/MD 님은 '뭐 사실 증류해서 개발한건 사실에 가까운 의혹이죠'라 동조했지만, 네로 님은 '논지가 다른것 같은데 중국이 증류를 했던 안했는지를 말씀드린게 아니라 중국 자체적으로도 모델을 충분히 만들고 선도적으로 올라갈수 있다는걸 말한겁니다'라며 스탠퍼드 AI 인덱스 리포트 링크를 공유하고 'ai 관련 논문 조금이라도 읽어보셨다면 ai 관련 논문 대다수가 중국에서 나오시는건 알고 계실거라 생각합니다'라 재차 반박했다.

연결 링크

맨 위로
3

커뮤니티 운영

투자 잡담 자제 요청과 방 운영 재정비

왜 중요한가

폭죽·망태할아범 님의 지적으로 인사하는 춘식이의 주식 얘기가 정리됐고, 단테 님은 방 관리를 다시 다잡겠다고 약속했다.

깊이 보기

오전 10시55분 폭죽/AI agent 님이 '전에 펄어비스 징징대시던 분 같은데… 주식은 딴방 가서 의견 나누세요'라 지적했고, 망태할아범/마케팅 님도 '저번에 주식 얘기 하셨잖아요... 계속 징징대시는것 같아서 저도 걍 나갈랍니다'라며 퇴장 의사를 밝혔다.

  • 인사하는 춘식이 님은 '그러네요, 죄송합니다, 제가 내용지우고 자제하겠습니다'라 사과했고, 폭죽 님은 '방장님 AI부업 내보내주세요, 주식은 다른 방가서 의견 나누세요.
  • 그리고 남의 말이 중요한 수준이면 투자 안하는게 맞습니다'라 강하게 짚었다.
  • 인사하는 춘식이 님은 '그때 망태할아범 / 마케팅님도 좋은이야기 해주셨는데 저땜에 나가셨네요 죄송하네요, 왜 이걸 망각했을까요... 일단 물의를 일으켜서 죄송합니다'라 거듭 사과했고, 단테/AI교육 님은 '에고… 제가 더 방관리 잘하겠습니다.
  • 요즘 유용한 소식과 컬럼을 잘 못드렸느데, 더 풍성하게 운영해볼게요'라 답했다.
  • 11시15분 제이슨/AI 경영 님은 '‘투자’가 중요한 주제이니만큼 초기에 이런 주제가 다뤄지기도 했고... 다만 ‘투자’ 자체 논의는 이 방에서는 자제되는게 맞는 것 같습니다'라 의견을 보탰고, 단테 님은 '네 맞아요.

실전 AI 커뮤니티 인 만큼 AI관련 주제로 한정해서 말씀나누시면 좋을것 같습니다... 다만 너무 경직되지는 마시고 편하게 말씀들 나누시고... 가끔 축구 얘기를 할수도 있습니다^^ 짦게만요'라 정리하며 '오프라인 모임도 한번 계획 하고 있습니다'라 예고했다.

맨 위로
4

AI 에이전트 활용

헤르메스(Hermes) 0.18.0 업데이트 — moa·goal·learn·journey 신기능 총출동

왜 중요한가

단테 님이 헤르메스 0.18.0 업데이트를 공지하며 여러 모델 집단지성 처리(/moa)부터 메모리 히스토리 관리(/journey)까지 신기능을 조목조목 소개했다.

깊이 보기

낮 12시11분 단테/AI교육 님은 '헤르메스 0.18.0 업데이트 소식 전달드립니다.

  • 헤르메스 이용자분들은 꼭 참고하세요.
  • 좋은 기능들이 많이 업데이트 되었습니다'라며 '1) 헤르메스가 많이 안정화되었습니다.
  • 2) /moa 기능: 여러모델에 같은 질문을 던지고 집단지성으로 처리합니다.
  • 3) /goal 기능이 더 목표지향구현이 될수 있도록 강화되었습니다.
  • 4) /learn 기능: 무엇이든 설명하면 스킬이 됩니다.

5) /journey: 그동안 쌓아온 메모리와 스킬의 과거 히스토리 타임라인을 검토하고 수정/삭제 가능합니다. 6) 백그라운드 fan-out: 이제 delegate_task가 하나씩 디스패치 하던걸 병렬로 한꺼번에 백그라운드로 디스패치 해버리고 다른 작업을 수행할수 있습니다'라며 블로그 링크를 공유했다.

쿠쿠/경영 님은 '오 moa 기능 좋네요'라 반겼고, 단테 님은 '헤르메스 정말 깔끔하고 완성도가 높아요. 퍼스널 오픈소스 에이전트 영역에서는 저는 탑이라고 생각이 듭니다^^'라 자평했다.

단오/Access Archi 님이 '헤르메스를 오픈클로설치된 pc에 함께 설치해도 되겠죠?'라 묻자 단테 님은 '네 함께 설치하세요~ 150mb 정도의 메모리만 더 차지 합니다~'라 답했고 행복한 춘식이 님은 '네 저도 두 개 다 설치해서 활용 중입니다'라 실사용 경험을 보탰다.

연결 링크

맨 위로

짧은 기록

페이블 사용처의 애매함

밤 9시37분 주녀/AI 콘텐츠 님이 '페이블 쓰기가... 이거땜에 참 애매하네요'라 토로하자 네로/개발자 님은 '음 ㅋㅋㅋㅋ'라 웃어넘겼다.

제외한 잡담

삭제된 메시지 다수, 오픈채팅봇의 정기 알림('오늘도 /skills 업 하시는 하루되세요', '오늘 /context 어땠나요? 좋은 /dream하세요'), 사진 단독 게시, 밤 11시26분 주녀의 '설레발 시작' 예고성 사진 등은 제외했다.