저건 뭐 엑사원의 문제일뿐이죠 ^^ 로컬LLM 중에서도 쓸만한 것들 있긴 합니다. 물론 온라인프론티어 모델들보다는 성능이 떨어지지만요
사실 영상 돌리는거 아니면 단순히 글로 하는 llm은 아직 클로드 최신버전 으로 봐도 만족스럽지가 않은데 로컬모델이라면 더 갑갑할거 같습니다. 아직도 장편 웹소설같은건 참 답없어보이거든요
뭔가 다른 의미(?)로 LG스럽긴 하네요..^^..
기업에서 로컬LLM을 위해서 투자하는 비용을 생각하면 집에서 사용할 로컬 LLM 을 구성하는 건 그냥 장난감 수준입니다. 집에서 구성하는 비용으로 사용료를 지불하고 LLM을 사용하는 것이 더 좋은 결과를 냅니다.
집에서 쓰면서, 그래도 얘 좀 하네? 느끼려면 dgx spark 2대 정도는 붙여줘야 합니다. 그러니까 2천만원 넘게 써야 한다는거죠
최근 해킹이 다 로컬llm 입니다
@163a8d97 님 그 해커들은 매우매우매우 고급 컴퓨터 스펙으로 로컬LLM을 돌리고, 무엇보다 무제한 uncensored라서 해킹이 가능한 거죠. 사실 해킹이 허락만 되면 chatgpt나 claude가 훨씬 더 잘할걸요?
32B 수준 모델로는 저런 답변을 봐야한다는거군요..
저도 메인은 GPT 6.x 계열은 쓰는데 로컬은 쪼개서 업무를 분산시켜가고 있습니다. - 방송 녹화 및 변환 작업: 예약 관리는 GPT. 녹화 이휴는 QWEN 3.8 27B + 코덱스가 미리 스크립트 짜준 FFMPEG 등으로 로컬 리소스 사용 - 뉴스 검색 및 요약: 엑사원 - 구글 메일 / 일정 / 할 일 알림: 엑사원 (제가 직접 명령 내리는 건 GPT 쓰고 엑사원은 알림만 보내줍니다) - 업무 관련 게시판 공지사항 알림: 엑사원 반복적이고 정해진 루틴을 GPT가 선행하고 어느 정도 안정화됐다 싶음 로컬로 인수인계 해줘서 로컬에서 필요할 때만 호출해서 씁니다. 에이전트는 오픈클로를 쓰고요. (뮤즈나 닷 같은 거를 못 쓰는 이유이기도 합니다. 이런식으로 로컬들 안정화시키면 코덱스 요금 확 낮춰야죠...) 그리고 엑사원 최신 버전이 4.5인가 그럴겁니다.
저는 회사 제공 클로드/GPT 를 쓰지만 적어도 로컬 LLM 을 쓰려면 맥프로 풀옵 (이번에 1천만원이던가요?) 에는 돌려야겠죠. 로컬 LLM 이 경제성이 생기면 오픈AI 나 앤트로픽 사업성에 타격이 생길텐데 현재로써 그런 얘기 들어본 적 없다면 로컬 LLM 제대로 구축하는데 비용이 어지간히 든다는 뜻이죠.
@4d0e2719 님 제가 지금 맥 스튜디오 M5MAX 128GB짜리 쓰는데요... 제 체감상 멍청하기는 30B 모델이나 120B 모델이나 별 차이가 없더군요 ㅋㅋㅋ
@ 님 아... 역시 아직은 오픈AI/앤트로픽에 돈을 갖다 바치는 수밖에 없겠군요. 아니면 결국 모델보다 하네스인걸까요?
알마전에 소개된 QWEN 3.8 27B 모델 부터 쓸만하다고 들었습니다. 저도 잠깐 써봤는데 괜찮았고요. 모델도 모델 나름인것 같네요. 32b인데 저모양인걸 보면요.,
@8368141e 님 QWen 3.8 돌려봤는데 정말 답답해서 못쓰겠던걸요 최소 제가 지금 갖고 있는 데탑 컴터 스펙보다는 500만원은 더 들여야 할 듯 했습니다
와 이건 끔찍한데요. Gemma 4 E4B 보다 훨씬 떨어져 보입니다. 16g Mac mini에 깔아서 잘 굴리고 있는데 말입니다.
댓글