로컬 LLM을 위해 맥스튜디오 구입했습니다.

댓글

그 정도면 5090 시스템보단 훨 좋은거겠죠?

@78e81cd8. 님 메모리가 차이 많이 납니다. 5090은 32gb 이건 통합메모리라 200gb 정도.... 이게 올릴 수 있는 로컬 LLM의 모델 크기를 결정합니다. 물론 5090은 cuda 사용이나 대역폭에서 잇점을 가지긴 하지만요.

저도 고려해본건데요... 이게 ChatGPT500 + Claude 200 플랜을 2년 가까이 유지하는 비용이라고 생각하니 쉽지 않더라구요 ㅋㅋㅋ

@ 님 의원 개원해서 사용하기 위해서인데 환자들 민감 정보가 들어갈 수 있어서 로컬LLM을 생각하다보니 여기까지 왔네요 ㅠㅠ 그런게 아니면 생각 안했을듯요.

로컬llm은 좀 돌려보가 실망좀 하고나면 그냥 api 쓰는게 싸고 좋다는 결론에 도달하게 되죠. 뭐 보안문제나 검열 회피라면 api는 답이 없지만요.

@e61aab9a 님 아무래도 클라우드 모델들의 성능이 훨씬 좋긴 하겠죠. 저같은 경우 환자들 정보가 들어가서 보안때문에 사는거라서요. 병원 운영 핑계로 덕질하는거에 가깝지만...

로컬 llm으로 어떤작업들 하시나요? 간단하게 ollama 써봤는데 대형llm처럼 범용으로 말을 잘 알아듣는게 아니니까 뭘 어떻게 시켜야되는지 막연하더라고요 모델링 같은거 시키면 언어 전용모델이라면서 잘 못하고

5090 이 효율적이에요 시스템 메모리 는 꼽는대로 늘릴수 있고 5090으로 인해 속도가 맥이랑은 차원이 다르니깐요

오오 얼마전 이슈됐던 치과의사님 영향인가요?ㅎㅎ

부럽습니다. 지금 개인 localllm으로는 맥스튜디오가 1번 위치에 있더라구요.