저는 로컬LLM을 이렇게 구성하고 있습니다.

맥스튜디오 m5max 128기가에는 헤르메스 에이전트+젬마4 26B와 31B가 같이 돌고 있습니다.

31B에는 스킬들 만들어서 달아주고서 제 저작권 자료들 정리해서 학습하거나 제가 그때그때 던져주는 거 정리하고 답변하고 (답변할 때는 웹서치 후 출처와 함께)

26B는 인덱스 관리하면서 Risu AI에 붙여서 AI채팅 대응을 하고 있고, 디스코드로 의제 하나 던져주면 지들 둘이서 뚝딱거리며 반대의견 내고 그러면서 결론 도출해서 정리 후 보고하고, 밤에는 제 라이프로깅 파일들 텍스트화하고 시간 남으면 웹페이지들 돌아다니면서 제가 관심 있는 주제들에 관한 뉴스들 싹 긁어다가 아침에 디스코드로 보고하고 그럽니다.


원래 쓰던 i9-12900k에 3080 cram 10g와는 원격으로 연결해뒀는데, 여기서는 이미지와 영상, 영상 합성 등등을 담당하고 있습니다. 

맥에서 스토리보드 다 짜서(이것도 31B가 하네요) 디스코드로 참조 이미지들 첨부해서 스토리보드 던져주면 실제로는 윈도우 PC에서 minimax h3이나 wan2.2로 영상 제작하기도 하고, 영상 결과물 보고나서 괜찮으면 후처리까지 합니다.


저 내용들을 진행하는 데에 지피티나 클로드는 딱히 들어가지 않고요, 구성할 때는 클로드 도움 많이 받았는데 제대로 돌아가기 시작하니까 딱히 필요는 없네요...



댓글

ultra 96G 대신 max 128G를 선택하신건 용량이 더 중요하다고 보신거죠? 현재 선택이 더 좋았다고 느끼시는지 궁금합니다

@0dc01824 님 순수하게 램 용량 때문에 그렇게 했습니다! 제가 기재해둔 내용들 외에도 맥에서 comfyui 돌릴 때가 있는데 그 때 메모리 압력 치솟는 거 보면서 램을 택하길 잘했다 생각하고 있습니다 ㅠㅠ 울트라 256이 너무 갖고싶었지만 돈이...

@8672fa32 님 감사합니다 갑자기 하나 들이고싶네요 ㅎㅎ

@0dc01824 님 개인적으로는 정말 확고한 활용처가 있으시다면 추천드리고 싶습니다.

@0dc01824 님 램의 차이는 똑똑한 모델을 천천히 돌릴거냐, 멍청한 모델은 빨리 돌리거냐의 차이라 메모리 속도가 몇배씩 차이나는거 아니면 무조건 램이 많은쪽이 유리합니다.

혹시 클로드, GPT 같은 프론티어 모델하고 비교하면 어떠신가요? 저도 개인정보 보안, 구독료 등등의 이유로 로컬모델 고민하고 있는데 프론티어 모델보다 성능이 떨어진다는 소리 듣고 못넘어가고 있거든요.

@cdd11d56 님 속도를 비교하자면 많이 느립니다. 그리고 자료조사나 그런 걸 기대하시면 실망하시게 되고요. 대신 웹서치나 그런 건 스킬로 붙일 수 있으니 컷오프가 언제냐는 그렇게까지 막 엄청 장애물은 아니지만요. 대신 저는 처음부터 그런 건 클로드나 지피티에 맡길 생각이었고, 제 일상 속에서 저를 받쳐줄 또 하나의 나를 만들겠다는 생각으로 접근했고 라이프로깅도 그 생각으로 계속 쌓아가고 있어서 아주 만족스럽습니다! 근데 솔직히 구독료는... 로컬쪽 구성비용에 비하면 그냥 구독하시는 게 훨씬 더 쌉니다 ㄷㄷㄷ

보안 생각 덜 하시는 분은 로컬 안하시는게 답인듯 합니다.

@90212304 님 보안은 확실하긴 합니다 ㅎㅎ 나가는 정보가 없어서...

맥스튜디오m5 64gb나 i9 24코어 128gb a5000gpu 2장 이런 시스템으로 할일 정리나 카톡오는거 담장자 별로 내용 정리 해서 내부 공유 하는걸 만들어 보고 싶은데 젬마? 같은걸 돌려 보면 될까요?

@9b49a071 님 카톡은 제가 구성해보지 않아서 잘 모르겠습니다만 윈도우 시스템이면 충분히 가능하실 거 같습니다. 넘칠 거 같아요 ㅎㅎㅎㅎlm studio나 ollama 등 시작부분에는 좀 복잡하니 클로드나 지피티 도움 받으면서 구성하시면 그리 어렵지 않습니다!

@9b49a071 님 그정도는 5060ti 16G정도만 달아도 아마 잘 돌겁니다 gemma4 12b 이런것만 해도.. cpu는 별로 중요하지 않고 5600정도만 달아도 잘돕니다

밤마다 라이프로깅을 정리한다면 원본과 AI 요약을 따로 보관해 두는 편이 나중에 기억을 확인하기 좋겠습니다.