취미로 쿼리도 AI 만들다가 이세돌 78수를 이해하게 된 이야기

2016년 알파고 vs 이세돌 기억남? 5판 중 4판을 AI가 이겼는데, 사람들이 더 기억하는 건 이세돌이 유일하게 이긴 4국임.

그날 78수 두고 알파고가 갑자기 이상한 수를 쏟아내면서 무너졌음. 나중에 밝혀진 게, 알파고는 그 수가 나올 확률을 만 분의 일로 봤다고 함. 한 번도 안 당해본 수라서 그 뒤를 전혀 몰랐던 거임.

 

이게 남 얘기인 줄 알았는데, 취미로 AI 만들다가 내 AI가 똑같이 무너지는 걸 보게 됨.

 

쿼리도(Quoridor)라고 9x9 판에서 말 옮기고 벽 세워서 상대 길 막는 보드게임 있음. 룰은 5분이면 배우는데 벽 싸움이 은근 깊음. 체스·바둑은 진작 AI한테 넘어갔는데 쿼리도는 제대로 된 AI가 별로 없길래 하나 만들어 보기로 함.

 

 

1. 강화학습(PPO)으로 셀프플레이 → 처참

 

제일 유명한 방법부터. 자기들끼리 수만 판 두게 하면 알아서 강해지겠지 했음.

결과: 내가 짠 평범한 탐색 AI(알파베타)랑 40판 붙이면 0~2승. v12부터 v18까지 갈아엎어도 똑같음.

보상이 "이겼다/졌다" 하나뿐이라, 뭘 잘해서 이긴 건지 자체를 못 배우는 거였음. 벽을 아무 데나 세우는 애만 나옴.

 

2. 먼저 흉내부터 시키니까 됨

 

발상을 바꿔서 3수 앞 보는 탐색 AI가 두는 수를 따라 하는 것부터 가르침(모방학습). 그 다음에 PPO로 다듬음.

같은 상대한테 92~97% 이김. "스스로 깨우쳐라" 보다 "일단 보고 따라 해" 가 훨씬 빠르더라.

 

3. 결국 알파고 방식으로 갈아엎음

 

여기서 욕심이 생겨서 알파고(알파제로) 방식으로 처음부터 다시 만듦. 신경망이 "어디 둘지"랑 "지금 누가 유리한지"를 같이 보고, 거기에 탐색(MCTS)을 붙이는 구조.

1세대, 2세대, 3세대까지 왔고 지금 3세대가 128번째 학습 중. 집 PC 글카(7900XTX)로 돌리다가 모자라서 클라우드 GPU도 좀 씀.

 

 

4. 내 AI의 78수

 

외부에 sugiyama라는 쿼리도 엔진이 있음. 2세대 AI를 선공으로 붙여서 진 판을 모아 보니까 거의 다 같은 수순이었음.

내 4번째 수에 d5 가로벽 → 상대가 c2 가로벽. 여기서부터 무너짐.

근데 2세대는 그 판을 "내가 유리함(+0.28)" 이라고 평가하고 있었음. 실제로 거기서 이긴 비율은 9%.

이세돌 78수 때 알파고가 그랬던 것처럼, 셀프플레이로만 크다 보니 그 수를 당해 본 적이 없어서 나쁜 줄을 모르는 거였음. 자신감은 있는데 근거가 없는 상태.

 

5. 고치니까 다른 데가 망가짐

 

그 수순에서 나온 882개 국면을 모아서 셀프플레이 20%를 거기서 시작하게 함.

평가가 +0.28에서 -0.35로 내려와서 현실이랑 비슷해짐. 여기까진 좋았는데

이번엔 후공 실력이 떨어지고, 다른 엔진(Sigma)한테도 전적이 나빠짐. 한쪽 누르니까 다른 쪽이 튀어나옴.

그래서 3세대는 선공용·후공용 판을 따로 만들어서 6:4로 섞고, Sigma 상대 1,000판을 추가로 넣음.

 

6. 지금 성적

 

- 2세대 vs 3세대 400판: 3세대 88.2% 승

- Sigma 상대 20판: 19승

- sugiyama(1,000노드) 상대 40판: 11승 ← 아직 여기가 벽

- 같은 신경망인데 탐색을 200번에서 800번으로 늘리니까 Sigma 상대 3/20 → 17/20. 생각하는 시간이 생각보다 중요함

 

졌던 판 뜯어 보면 마지막 몇 수 계산 실수가 아니라 중반 벽 구조에서 이미 꼬여 있음. 이게 지금 숙제.

 

7. 쿼리도의 이세돌을 찾습니다

 

며칠 전에 게임판에 "한번 이겨보셈" 하고 올렸는데 아직 아무도 못 이김. 브라우저에서 바로 되고 설치·가입 없음. 한 수에 5~7초 생각함.

 

얘도 분명 자기가 한 번도 안 당해본 수가 있을 거임. 벽 싸움으로 AI가 멍청해지는 판 찾으면 알려주셈. 그게 제일 도움 됨.