KEKESTUDIO
  1. 홈
  2. 블로그
  3. 게임 인공지능의 역사: 체커 프로그램에서 알파고와 생성형 AI까지

게임 인공지능의 역사: 체커 프로그램에서 알파고와 생성형 AI까지

1950년대 아서 새뮤얼의 체커 프로그램, 팩맨 유령의 성격 알고리즘, 헤일로 2의 행동 트리, F.E.A.R.의 GOAP, 레프트 4 데드의 AI 디렉터, 딥블루·알파고·알파스타·OpenAI Five, 그리고 장기·바둑 앱의 난이도 조절 원리와 생성형 AI까지 게임 AI 70년을 정리했습니다.

#게임 AI #인공지능 #게임 역사 #알파고 #딥블루 #행동 트리 #게임 디자인

게임과 인공지능은 처음부터 한 몸이었습니다. 컴퓨터가 "생각한다"는 것을 보여 주기에 체커나 체스처럼 규칙이 분명하고 승패가 확실한 게임만큼 좋은 무대가 없었기 때문입니다. 1950년대의 연구자들이 체커 프로그램을 만들며 "기계 학습"이라는 말을 처음 썼고, 2010년대의 연구소들이 바둑과 스타크래프트로 실력을 증명한 것도 같은 이유입니다.

한편 게임 안에서 플레이어와 맞서는 적, 함께 움직이는 동료, 상황에 맞춰 분위기를 조절하는 보이지 않는 연출자도 모두 "게임 AI"라고 불립니다. 이쪽은 세계 최강이 되는 것이 목표가 아니라, 플레이어가 재미있게 느끼도록 적당히 똑똑하고 적당히 허술해야 합니다.

이 글에서는 이 두 갈래, 즉 게임을 정복하려는 AI와 게임을 재미있게 만드는 AI의 역사를 번갈아 따라갑니다. 1950년대 체커 프로그램에서 시작해 1980년 팩맨의 유령, 2000년대의 행동 트리와 계획 기법, 1997년 딥블루와 2016년 알파고, 그리고 지금 게임 개발에 쓰이는 생성형 AI까지 살펴봅니다. 끝에서는 장기·바둑 앱의 AI 상대가 어떻게 수를 고르고 난이도를 조절하는지도 정리합니다.

1950년대: 체커를 두는 컴퓨터와 "기계 학습"이라는 말

IBM의 연구자 아서 새뮤얼(Arthur Samuel)은 1952년부터 IBM 701 컴퓨터에서 체커(서양 장기) 프로그램을 만들기 시작했습니다. 이 프로그램은 1956년 텔레비전으로 시연되었고, 이후 계속 개량되었습니다.

새뮤얼의 프로그램이 중요한 이유는 단순히 체커를 둘 수 있어서가 아닙니다. 이 프로그램은 자기 자신과 대국을 반복하면서 평가 함수의 가중치를 스스로 고쳐 나갔습니다. 새뮤얼은 1959년 논문에서 이 방식을 설명하며 "기계 학습(machine learning)"이라는 표현을 썼고, 오늘날 이 말은 인공지능 분야 전체를 가리키는 단어가 되었습니다. 1962년에는 이 프로그램이 코네티컷 주 체커 챔피언 로버트 닐리와의 대국에서 이기기도 했습니다.

같은 시기 클로드 섀넌은 1950년 논문 "체스를 두도록 컴퓨터를 프로그래밍하기"에서 가능한 수를 나무처럼 펼쳐 놓고 평가하는 탐색의 기본 틀을 제시했습니다. 수를 몇 단계 앞까지 내다보고, 상대는 나에게 가장 불리한 수를 둔다고 가정해 최선의 수를 고르는 미니맥스(minimax) 방식과, 볼 필요 없는 가지를 잘라 내는 알파-베타 가지치기는 이후 수십 년 동안 보드게임 AI의 뼈대가 되었습니다.

1980년: 팩맨 유령 4마리의 성격

오락실 게임에도 AI가 있었습니다. 1980년 남코가 낸 팩맨의 유령 네 마리는 게임 AI 역사에서 가장 자주 인용되는 예입니다. 네 마리는 색깔만 다른 것이 아니라, 각자 다른 규칙으로 목표 지점을 정합니다.

유령색목표 지점을 정하는 방식
블링키빨강팩맨의 현재 위치를 그대로 쫓아감
핑키분홍팩맨이 향하는 방향의 몇 칸 앞을 노려 앞을 막음
잉키하늘색팩맨의 위치와 블링키의 위치를 함께 써서 목표를 정함
클라이드주황멀리 있을 때는 쫓아오다가 가까워지면 자기 구석으로 돌아감

여기에 유령 전체가 팩맨을 쫓는 "추격 모드"와 각자 정해진 구석으로 흩어지는 "흩어짐 모드"가 시간에 따라 번갈아 바뀝니다. 규칙 하나하나는 아주 단순한데, 네 가지 규칙이 겹치면 플레이어는 포위당하는 느낌을 받습니다. 그러면서도 규칙이 정해져 있어 숙련자는 유령의 움직임을 읽고 "패턴"을 만들 수 있습니다. 적이 예측 가능하면서도 압박감을 준다는 이 균형은 지금도 좋은 적 AI의 기준으로 통합니다.

유한 상태 기계에서 행동 트리로

1990년대 3D 슈팅 게임의 적들은 대부분 유한 상태 기계(FSM, Finite State Machine)로 움직였습니다. 적은 "순찰 중", "플레이어 발견", "공격", "도망" 같은 몇 개의 상태 가운데 하나에 있고, 정해진 조건이 되면 다른 상태로 넘어갑니다. 팩맨의 추격·흩어짐 모드도 이런 상태 기계의 한 예입니다.

FSM은 이해하기 쉽고 만들기도 쉽지만, 상태가 수십 개로 늘어나면 상태끼리 이어지는 선이 거미줄처럼 얽혀 손대기 어려워집니다. 이 문제를 풀기 위해 널리 퍼진 것이 행동 트리(Behavior Tree)입니다.

행동 트리는 적의 행동을 나무 모양으로 정리합니다. 맨 위에서 "먼저 이것을 시도하고, 안 되면 다음 것을 시도한다" 또는 "이것들을 차례로 모두 한다" 같은 규칙으로 가지를 내려가며, 맨 아래 잎에 "엄폐물로 이동", "수류탄 던지기" 같은 실제 행동이 놓입니다. 행동을 조각으로 나누어 두었기 때문에 새 행동을 붙이거나 순서를 바꾸기가 쉽습니다.

행동 트리를 게임 업계에 널리 알린 작품은 2004년 번지가 낸 헤일로 2입니다. 번지의 AI 프로그래머 데미언 아일라는 2005년 게임 개발자 콘퍼런스(GDC)에서 헤일로 2의 적 AI가 복잡해지는 것을 어떻게 다루었는지 발표했고, 이 발표 이후 행동 트리는 슈팅 게임과 액션 게임의 표준 도구가 되었습니다. 오늘날 언리얼 엔진에는 행동 트리 편집기가 기본으로 들어 있습니다.

2005년: F.E.A.R.의 계획하는 적

2005년 모노리스 프로덕션이 낸 1인칭 슈팅 게임 F.E.A.R.의 적 병사들은 당시 플레이어들을 놀라게 했습니다. 적들은 옆으로 돌아 들어오고, 책상을 넘어뜨려 엄폐물을 만들고, 동료가 쓰러지면 소리쳐 알렸습니다.

비결은 GOAP(Goal-Oriented Action Planning, 목표 지향 행동 계획)이라는 기법이었습니다. 개발자 제프 오킨이 1971년 스탠퍼드 연구소에서 나온 고전 계획 기법 STRIPS를 게임에 맞게 손본 것입니다. FSM이나 행동 트리가 "이 상황에서는 이렇게 한다"를 설계자가 미리 적어 두는 방식이라면, GOAP는 적에게 목표("플레이어를 죽인다")와 할 수 있는 행동들("엄폐물로 이동", "사격", "재장전", 각 행동의 조건과 결과)만 주고, 지금 상황에서 목표에 닿는 행동 순서를 적이 스스로 계산하게 합니다.

행동의 조합을 설계자가 일일이 적지 않아도 되니, 적은 설계자가 생각하지 못한 순서로도 움직입니다. 플레이어가 느낀 "똑똑함"의 상당 부분은 사실 몇 개의 단순한 행동이 그때그때 다르게 이어진 결과였습니다. 여기에 적들이 서로 무전으로 상황을 외치는 연출이 더해져, 실제보다 훨씬 긴밀하게 협동하는 것처럼 보였습니다.

2008년: 레프트 4 데드의 AI 디렉터

적 하나하나가 아니라 게임 전체의 흐름을 조절하는 AI도 있습니다. 2008년 밸브가 낸 협동 좀비 슈팅 게임 레프트 4 데드의 AI 디렉터가 대표적입니다.

AI 디렉터는 플레이어들의 상태를 계속 지켜봅니다. 체력이 얼마나 남았는지, 최근에 얼마나 많은 피해를 입었는지, 얼마나 몰려 있는지를 보고 각 플레이어의 "긴장도"를 추정합니다. 긴장이 높게 유지되면 좀비 무리를 잠시 멈춰 숨 돌릴 틈을 주고, 너무 오래 조용하면 떼를 보내거나 특수 감염자를 등장시킵니다. 아이템과 무기가 놓이는 자리도 플레이마다 바뀝니다.

이 설계의 목적은 플레이어를 이기는 것이 아니라, 영화처럼 긴장과 이완의 리듬을 만드는 것입니다. 같은 지도를 여러 번 해도 매번 다른 경험이 되기 때문에 협동 플레이의 반복 가치가 크게 올라갔습니다. 이후 많은 게임이 이런 "연출자" 역할의 AI를 넣었습니다.

1997년 딥블루, 2016년 알파고: 인간 최고수를 넘다

다시 "게임을 정복하는 AI" 쪽으로 돌아가겠습니다. 1997년 5월, IBM의 체스 컴퓨터 딥블루가 세계 챔피언 가리 카스파로프를 6판 대결에서 3.5 대 2.5로 이겼습니다. 1년 전인 1996년 첫 대결에서는 카스파로프가 이겼으니, 재대결에서 뒤집은 것입니다. 딥블루는 전용 체스 칩을 써서 초당 수억 개의 국면을 평가하는 탐색의 힘으로 이겼습니다. 섀넌과 새뮤얼이 1950년대에 깔아 둔 길을 끝까지 밀어붙인 결과였습니다.

바둑은 달랐습니다. 체스보다 판이 넓고 한 수마다 고를 수 있는 자리가 훨씬 많아, 같은 방식으로는 인간 프로를 이길 수 없다고 오랫동안 여겨졌습니다. 2006년 무렵부터 무작위로 끝까지 두어 본 결과를 쌓아 유망한 수를 찾는 몬테카를로 트리 탐색(MCTS)이 바둑 프로그램에 쓰이면서 실력이 크게 올랐지만, 프로 기사와는 여전히 거리가 있었습니다.

구글 딥마인드의 알파고는 여기에 심층 신경망을 더했습니다. 사람의 기보로 "다음 수"를 예측하는 신경망과 "이 판이 얼마나 유리한가"를 평가하는 신경망을 학습시키고, 자기 대국으로 강화한 뒤, 이 신경망으로 MCTS가 살펴볼 가지를 좁혔습니다. 2015년 10월 유럽 챔피언 판후이를 5 대 0으로 이겼고, 2016년 3월 서울에서 이세돌 9단을 4 대 1로 이겼습니다. 2017년에는 사람의 기보 없이 규칙만 가지고 자기 대국만으로 학습한 알파고 제로가, 같은 해 말에는 체스·쇼기·바둑을 한 방식으로 익힌 알파제로가 발표되었습니다.

딥블루가 "사람이 만든 평가 기준 + 거대한 탐색"이었다면, 알파고는 "스스로 배운 평가 + 좁힌 탐색"이었습니다. 이 차이가 이후 게임 AI 연구의 방향을 바꾸었습니다.

2019년: 스타크래프트 II와 도타 2, 실시간 게임으로

보드게임 다음 목표는 실시간 전략 게임이었습니다. 턴이 없고, 상대의 화면이 가려져 있으며, 한 번에 수백 개의 유닛을 다루어야 하고, 한 판이 수십 분에 걸쳐 수천 번의 결정을 요구합니다.

딥마인드의 알파스타는 스타크래프트 II에 도전했습니다. 2018년 12월 프로 선수 TLO와 MaNa를 상대로 한 비공개 대결에서 잇따라 이겼고, 2019년 1월 공개되었습니다. 2019년 10월 학술지 네이처에 실린 논문에서는 알파스타가 일반 플레이어와 같은 조건으로 배틀넷 래더에 참가해 세 종족 모두 그랜드마스터 등급에 올랐다고 발표했습니다. 사람의 경기 기록으로 먼저 배운 뒤, 서로 다른 전략을 가진 여러 에이전트가 리그를 이루어 겨루며 강해지는 방식이었습니다.

OpenAI의 OpenAI Five는 5 대 5 팀 게임 도타 2에 도전했습니다. 2018년 세계 대회 디 인터내셔널에서 프로 팀에 졌지만, 2019년 4월에는 직전 세계 챔피언 팀 OG를 2 대 0으로 이겼습니다. 다섯 개의 신경망이 서로 자기 대국을 엄청난 양으로 반복하며 배운 결과였습니다.

두 사례 모두 "인간을 이겼다"는 것 외에 중요한 교훈을 남겼습니다. AI의 반응 속도와 조작 횟수를 사람 수준으로 제한하지 않으면 공정한 비교가 아니라는 논의가 있었고, 실제로 알파스타는 분당 조작 횟수와 화면 전환에 제한을 두고 평가받았습니다.

장기·바둑 앱의 AI 상대는 어떻게 두는가

스마트폰에서 장기나 바둑을 둘 때 만나는 AI 상대는 위에서 본 기술의 작은 버전입니다. 원리는 크게 두 가지로 나뉩니다.

탐색 기반. 체스 엔진 스톡피시처럼, 현재 국면에서 가능한 수를 펼치고 몇 수 앞까지 내다본 뒤 평가 함수로 점수를 매겨 가장 좋은 수를 고릅니다. 장기처럼 기물 가치와 위치 가치가 비교적 분명한 게임에서는 이 방식이 잘 맞습니다. 스톡피시도 2020년부터 평가 함수에 작은 신경망(NNUE)을 쓰고 있어, 탐색과 신경망의 경계는 점점 흐려지고 있습니다.

신경망과 MCTS 기반. 알파고 제로의 방식을 공개 구현한 오픈 소스 프로젝트들이 있고, 바둑 앱의 상당수가 이런 엔진을 가져다 씁니다. 신경망이 "둘 만한 자리"를 추려 주고 MCTS가 그 자리들을 깊이 살펴봅니다.

그러면 난이도는 어떻게 조절할까요? 가장 강한 수만 두는 AI는 초보자에게 재미가 없으니, 일부러 약하게 만드는 장치가 필요합니다. 흔히 쓰는 방법은 다음과 같습니다.

  • 탐색 깊이 제한: 몇 수 앞까지 볼지를 줄입니다. 깊이가 얕으면 멀리 있는 수를 놓칩니다.
  • 생각 시간 제한: MCTS 계열에서는 시뮬레이션 횟수를 줄이면 자연스럽게 약해집니다.
  • 일부러 실수하기: 가장 좋은 수 대신 상위 몇 개 가운데 하나를 확률적으로 고르거나, 평가 점수에 무작위 잡음을 섞습니다. 체스 엔진의 UCI 규약에는 목표 레이팅을 지정하면 엔진이 그 수준으로 실력을 낮추는 옵션이 들어 있습니다.
  • 지식 제한: 정석(오프닝 북)이나 끝내기 데이터베이스를 쓰지 않게 합니다.

좋은 난이도 조절의 핵심은 "약하지만 바보 같지 않게"입니다. 탐색 깊이만 줄이면 AI가 눈앞의 기물을 그냥 내주는 어이없는 실수를 하기 쉽습니다. 그래서 잘 만든 앱은 큰 실수는 막되 작은 판단에서만 흔들리도록 여러 방법을 섞습니다. 레이싱 게임에서 뒤처진 차가 빨라지는 "고무줄" 조정이나, 1인칭 슈팅 게임에서 적의 명중률을 플레이어 실력에 맞춰 바꾸는 것도 같은 생각입니다. 1980년 팩맨의 유령이 그랬듯, 플레이어가 이길 수 있을 만큼만 똑똑한 상대가 가장 오래 사랑받습니다.

KEKE STUDIO의 3D 액션장기도 이런 탐색 기반 AI와 대국할 수 있게 만들어져 있어, 기물이 맞붙을 때 벌어지는 전투 연출과 함께 혼자서도 한 판을 둘 수 있습니다.

지금: 생성형 AI가 게임을 만드는 데 쓰이다

2020년대 들어 게임 AI의 무게중심은 "플레이하는 AI"에서 "만드는 AI"로 옮겨 가고 있습니다. 대규모 언어 모델과 이미지 생성 모델이 게임 개발 과정에 들어오기 시작했기 때문입니다.

  • 대사 생성: 유비소프트는 2023년 GDC에서 NPC가 상황에 맞춰 내뱉는 짧은 대사의 초안을 만들어 작가가 다듬게 하는 내부 도구 고스트라이터(Ghostwriter)를 공개했습니다.
  • 대화하는 NPC: 엔비디아는 2023년 음성 인식, 언어 모델, 음성 합성, 얼굴 애니메이션을 묶어 플레이어와 자유롭게 대화하는 캐릭터를 만드는 ACE 기술을 발표했습니다.
  • 세계를 생성하는 모델: 구글 딥마인드는 2024년, 이미지 한 장이나 짧은 설명에서 조작 가능한 3D 환경을 만들어 내는 지니 2(Genie 2)를 공개했습니다. 아직 연구 단계지만, 게임 환경 자체를 생성하는 방향을 보여 줍니다.
  • 공개 규칙: 밸브는 2024년 1월 스팀에 게임을 올릴 때 개발 과정과 실행 중에 생성형 AI를 어떻게 썼는지 밝히도록 하는 정책을 도입했습니다.

이와 함께 코드 작성, 텍스처와 효과음 생성, 번역, 테스트 자동화처럼 눈에 덜 띄는 곳에서도 생성형 AI가 널리 쓰이고 있습니다. 한편 창작자의 권리, 학습 데이터의 출처, 생성물의 품질을 둘러싼 논의도 함께 커지고 있어 업계는 아직 규칙을 만들어 가는 중입니다.

70년 전 체커 프로그램이 스스로 배워 사람을 이겼을 때, 그 다음 목표는 체스와 바둑이었습니다. 지금 AI는 게임을 이기는 것을 넘어 게임을 만드는 자리까지 왔습니다. 하지만 팩맨의 유령이 보여 주었듯, 게임 AI의 진짜 목표는 늘 같습니다. 플레이어가 "한 판 더" 하고 싶게 만드는 것입니다.

참고 자료

케케스튜디오의 게임

함께 읽으면 좋은 글