8gb vram / 32gb dram 으로 중형 로컬 ai를 돌려보자.

8gb vram / 32gb dram 으로 중형 로컬 ai를 돌려보자. 

전에 올린 로컬 AI입문글에서  8gb vram / 32gb dram은 어떻게 하냐는 개붕이들이 많아서 일반 게이밍 PC로 가능한 수준까지 가지고 왔어. 

앞에서 부터 이렇게 이어짐. 

1편 : (12~16gb vram / 64gb dram 필요) 대형 로컬 ai가 일반 게이밍 pc에서도 구동되기 시작함.   
2편 : (12~16gb vram / 64gb dram 필요) Strata 놈들은 763B 짜리 초거대 지능 DeepSeek-V4.1-Flash-1017도 구동시키기 시작했음. 

3편 (8gb vram / 32~64gb dram 필요) 이제 8GB VRAM 그래픽카드로도 거대 로컬 AI를 작동시킬 수 있게 됨. 

4편 (8gb vram / 32~64gb dram 필요) 아까 8GB로 180B 로컬 AI 실험후 가지고 오겠다는 결과값. 

5편 젠슨황의 축출에 따른 로컬 ai 단종 설. 

Strata는 vram 12gb 부터 대형 모델을 사용할 수 있게 해서 로컬 ai의 문턱을 확 낮추긴 했지만, 

 

4편에서 vram 8gb 에서는 Qwen3.8-Flash-Next는 7~8t, Qwen3.6-35B-A3B는 아예 실행이 안되는걸 확인했었음. 

8gb vram으로도 활용이 가능한 파생 엔진들을 찾아봤음. 

1. PolyStrata

8gb vram으로 24~40b급 중형 모델을 돌릴 수 있게 만든 파생엔진이야. 

 

이 PolyStrata 엔진에서는 Strata 엔진에서는 가동도 안되던 Qwen3.6-35B-A3B도 8GB VRAM 환경에서 30톡 정도로 가동되는걸 확인했어. 

8GB VRAM 에서는 Strata 엔진 보다 훨씬 좋은 셈이야. 

이 엔진의 문제는 검색 등 툴 기능이 없는건데, 그건 아래에 기능 추가 방법 넣어줌. 

3. PolyStrata 설치 방법. 
 

사이트로 들어가서 코드->다운로드 zip을 다운 받고  
 

 

 

압축을 해제한 후 START-HERE.bat를 더블 클릭. 

Strata 처럼 ui 그래픽이나 최적화를 지원하지는 않지만 그래도 

 

어떤 ai를 설치할거냐. 
어떤 버전이냐? 

그림은 볼 수 있게 할거냐? 
토큰은 어느정도 허용할거냐. 
정도 입력해주면 알아서 설치해줌. 

 

18개 후보를 제시하는데,  8GB VRAM 수준에서는 

대화나 문서 위주로 할거면 Gemma 4 26B-A4B,

코딩 위주로 할거면 Qwen3.6-35B-A3B, Ornith 1.5 를 추천함. 

 

 

26b짜리 젬마4를 넣은 결과 

 

8gb vram으로 최적화 없이 프리필 기준 196톡 디코드 기준 35톡이 평균치로 잡혀서 나왔어. 

 

 

4. 그런대 문제는 PolyStrata는 로컬 AI 성능 향상에 집중하고 있는 프로젝트라서

다중 대화, 인터넷 검색 등 툴 호출은 별도 에이전트 프로그램을 깔아야 함. 

 

 

5. 여러가지 방법이 있는데 가장 간단한 방법을 설명해줄게. 

우선 오픈 코드를 깔아. 



각자의 컴퓨터나 폰에 맞는 방식을 선택하면 됨. 

오픈코드는 매달 일정량의 프론티어 AI의 코딩을 무료로 제공하고 있어. 

아무 프론티어 AI, (나는 기본적으로 설정되어 있는 딥시크한태 해달라고 했음)한태 

[ 에는 PolyStrata가 돌아가고 있어. 이 모델의 모델 카드는   이야. PolyStrata 엔진의 로컬 모델을 이 프로그램 open code 에서 돌아가게 만들어.]

이렇게 해줘를 하면 됨. 

 

 

그럼 이런식으로 오픈 코드에서 툴도 활성화 되면서, 에이전트로 일할 수 있게 됨. 

처음 실행 했을 때 이후에는 PolyStrata를 실행할 때 터미널을 가동해서 커맨드를 넣고 어쩌고 저쩌고 해야 되는게 귀찮으니 이것까지 처리해 두면 좋음 

오픈코드에 

[바탕화면에 PolyStrata 바로가기 버튼을 만들어서, 터미널에서 PolyStrata를 실행하는 커맨드가 자동으로 입력되고, 실행해서 화면이 뜨게 까지 해]

그럼 딸깍 만으로 가동되

이제 집에 있는 일반 게이밍 PC로 로컬 AI를 사용해보자.

 

추가 : 16GB VRAM에 32DRAM의 경우 

 

Strata로 Qwen3.6-35B-A3B나 Qwen3.8-Flash-Next 저양자화 버전 

아니면 

PolyStrata로 Qwen3.8-Flash-Next 를 돌리면 됨.