하드웨어
로컬 GPU 풀세팅 대 API 구독, 토큰 가성비 셈법
왜 중요한가
강정석·HZ·서백 등이 4090·5090·RTX Pro 6000·H200·맥스튜디오·텐스토렌트 가격과 VRAM을 비교하며 결국 구독이 남는 장사라는 결론으로 수렴했다.
깊이 보기
오후 4시 무렵 강정석/Schift/대표가 7월 구독 리스트와 함께 "ComfyUI 다뤄보니까 그냥 시댄스 2.5 쓰고 싶은데 이쪽은 깡 API 라 돈이 무서워요"라고 운을 떼면서 장시간 하드웨어 가성비 토론이 벌어졌다.
- 그는 "4090 이랑 rtx pro 로 WAN / LTX 써보는 중", "workflow <- 이게 진짜 자산이에요"라 했고, RTX PRO 6000에 대해 "NVFP4 로 하니까 체감상 4배 정도 빠른듯", "4090 말고 5090 추천드려여", "5090을 산다 생각하지 말고 투자라고 생각하세여... 중고가는 원가보다 높아집니다"라고 권했다.
- 본인은 "4090 2장을 천만원에 샀는데 지금 1800이 되어버려서 기쁜 1인"이라 했고, RTX Pro 6000은 "NVFP4는 B부터 되어서", "27B로 풀 VRAM 쓰면서 1시간 돌려도 온도가 40도", "무조건 vLLM으로 서빙하고 캐시 히트 치면서 쓰고 있어요", "sglang, vllm은 신이야"라 설명했다.
- HZ/제조업은 "rtx pro 6000 2장을 1400씩 줬는데 2장 더 넣으려니까 2200", "ddr5 ecc로 64기가 4장 넣었는데 1000만원", "threadripper 9975", "psu도 3000w 넣었는데", "지금 ds v4 flash 192기가에 가까스로 올려놨는데 kv cahce 딸려서 65k 컨텍스트밖에 안됨"이라며 "맥스튜디오 m3 ultra 512기가" 중고를 살지 "rtx 2장 더살까"를 고민했다.
- 강정석은 "H200 써보고 있는데 돈값하네요", "저희 OCR 햄스터 여기서 쳇바퀴 엄청 돌리고 있는데", "나라에서 4TB + GPU + CPU 햄스터 돌리라고 줘서"라 했고, RTX Pro 6000·5090은 NVLink가 안 된다는 점(일하는 죠르디·HZ 확인)과 "5090 : VRAM에 막힘 / rtx pro : 컴퓨팅에 막힘 / H200 : ㅎㅎ"라는 정리가 나왔다.
- 텐스토렌트(텐토) 이야기도 나와 강정석이 "창립자가 짐켈러라", "짐켈러는 믿을 수 있지", "32GB에 200만원", "4개 가 quietbox"라 했고 Dominic은 "텐스토렌트 갤럭시 1.6억?", "999달러 한장이여?"라 물었다.
양com 링크(yangcom.co.kr)도 공유됐다. 누워있는 죠르디는 "h200 1장 들어간 서버도... 견적 받아보니 2억 후반", "딜리버리 최소 3개월"이라 했다.
결론으로 twojay|LLM,Prompt는 "구독료 30만원인데 실제 토큰 제공량 측정해보면 1400만원 정도", "계속 좋은 모델이 나온다고 해도 그걸 여러분이 돌릴 수 있을지는 비관적", "쓸테면 써봐~ 그런데 니가 700gb 급 돌릴 수 있을까~?"라 했다. 현업pd/dols는 "회사에서 gpu서버 사도... 운영하는 입장에 구독 하는게 뭘하든 남는 장사", "로컬을 안하시는게 맘이 편합니다", "6000 을 4개박아도 kimi하나 온전히 못돌리는데요"라 못박았고, 강정석도 "그냥 H200 수준을 렌트하는게 더 싸고 그러면 API가 혜자"라 동의했다.
HZ는 "근데 님들 ai 생기고 더 편해졌나요? 할일 더 많자나요"라며 "이 대화는 context 관리가 안되네요"라고 웃었다.