KEKESTUDIO
  1. ホーム
  2. ブログ
  3. ゲームAIの歴史:チェッカープログラムからAlphaGo、生成AIまで

ゲームAIの歴史:チェッカープログラムからAlphaGo、生成AIまで

1950年代のアーサー・サミュエルのチェッカープログラム、パックマンのゴーストの性格アルゴリズム、Halo 2のビヘイビアツリー、F.E.A.R.のGOAP、Left 4 DeadのAIディレクター、ディープ・ブルー、AlphaGo、AlphaStar、OpenAI Five、そしてチャンギ・囲碁アプリの難易度調整の原理と生成AIまで、ゲームAI70年をまとめました。

#ゲームAI #人工知能 #ゲームの歴史 #AlphaGo #ディープ・ブルー #ビヘイビアツリー #ゲームデザイン

ゲームと人工知能は、最初から切り離せない関係にありました。コンピュータが「考える」ことを示すのに、チェッカーやチェスのようにルールが明確で勝敗がはっきりしたゲームほど良い舞台はなかったからです。1950年代の研究者がチェッカープログラムを作りながら「機械学習」という言葉を初めて使い、2010年代の研究所が囲碁やスタークラフトで実力を証明したのも同じ理由です。

一方で、ゲームの中でプレイヤーと対峙する敵、一緒に動く仲間、状況に合わせて雰囲気を調整する見えない演出家も、すべて「ゲームAI」と呼ばれます。こちらは世界最強になることが目標ではなく、プレイヤーが楽しく感じられるように、ほどよく賢く、ほどよく隙がなければなりません。

この記事では、この二つの流れ、つまりゲームを制覇しようとするAIとゲームを面白くするAIの歴史を交互にたどります。1950年代のチェッカープログラムから始まり、1980年のパックマンのゴースト、2000年代のビヘイビアツリーとプランニング技法、1997年のディープ・ブルーと2016年のAlphaGo、そして今ゲーム開発に使われている生成AIまでを見ていきます。最後には、チャンギ(韓国将棋)や囲碁アプリのAI対戦相手がどのように手を選び、難易度を調整しているのかも整理します。

1950年代:チェッカーを指すコンピュータと「機械学習」という言葉

IBMの研究者アーサー・サミュエル(Arthur Samuel)は、1952年からIBM 701コンピュータでチェッカー(西洋のはさみ将棋に似たボードゲーム)のプログラムを作り始めました。このプログラムは1956年にテレビで実演され、その後も改良が続けられました。

サミュエルのプログラムが重要なのは、単にチェッカーが指せたからではありません。このプログラムは自分自身との対局を繰り返しながら、評価関数の重みを自ら修正していきました。サミュエルは1959年の論文でこの方式を説明する際に「機械学習(machine learning)」という表現を使い、今日この言葉は人工知能分野全体を指す単語になっています。1962年には、このプログラムがコネチカット州チェッカーチャンピオンのロバート・ニーリーとの対局で勝利もしました。

同じ時期、クロード・シャノンは1950年の論文「チェスをプレイするためのコンピュータのプログラミング」で、可能な手を木のように広げて評価する探索の基本的な枠組みを示しました。数手先まで読み、相手は自分にとって最も不利な手を指すと仮定して最善手を選ぶミニマックス(minimax)法と、見る必要のない枝を刈り取るアルファ・ベータ枝刈りは、その後数十年にわたりボードゲームAIの骨格となりました。

1980年:パックマンのゴースト4匹の性格

アーケードゲームにもAIはありました。1980年にナムコが発売したパックマンのゴースト4匹は、ゲームAIの歴史で最もよく引用される例です。4匹は色が違うだけでなく、それぞれ異なるルールで目標地点を決めています。

ゴースト色目標地点の決め方
ブリンキー(アカベイ)赤パックマンの現在位置をそのまま追いかける
ピンキーピンクパックマンの進行方向の数マス先を狙って先回りする
インキー(アオスケ)水色パックマンの位置とブリンキーの位置を合わせて目標を決める
クライド(グズタ)オレンジ遠いときは追いかけ、近づくと自分の隅に戻る

さらに、ゴースト全員がパックマンを追う「追跡モード」と、それぞれ決まった隅に散る「分散モード」が時間とともに交互に切り替わります。一つひとつのルールはとても単純ですが、4つのルールが重なるとプレイヤーは包囲されている感覚を受けます。それでいてルールが決まっているので、熟練者はゴーストの動きを読んで「パターン」を作ることができます。敵が予測可能でありながら圧迫感を与えるというこのバランスは、今でも良い敵AIの基準とされています。

有限状態機械からビヘイビアツリーへ

1990年代の3Dシューティングゲームの敵は、ほとんどが有限状態機械(FSM、Finite State Machine)で動いていました。敵は「巡回中」「プレイヤー発見」「攻撃」「逃走」といった数個の状態のうちの一つにあり、決まった条件になると別の状態へ移ります。パックマンの追跡・分散モードも、こうした状態機械の一例です。

FSMは理解しやすく作りやすいのですが、状態が数十個に増えると、状態同士をつなぐ線がクモの巣のように絡み合い、手を付けにくくなります。この問題を解くために広く普及したのがビヘイビアツリー(Behavior Tree)です。

ビヘイビアツリーは、敵の行動を木の形に整理します。一番上から「まずこれを試し、だめなら次を試す」あるいは「これらを順番にすべて行う」といったルールで枝を下りていき、一番下の葉に「遮蔽物へ移動」「手榴弾を投げる」といった実際の行動が置かれます。行動を部品に分けてあるので、新しい行動を付け足したり順序を変えたりするのが簡単です。

ビヘイビアツリーをゲーム業界に広く知らしめた作品は、2004年にBungieが発売したHalo 2です。BungieのAIプログラマーであるデイミアン・アイラは、2005年のゲーム開発者会議(GDC)でHalo 2の敵AIが複雑化するのをどう扱ったかを発表し、この発表以降、ビヘイビアツリーはシューティングゲームとアクションゲームの標準ツールになりました。今日、Unreal Engineにはビヘイビアツリーのエディタが標準で入っています。

2005年:F.E.A.R.の「計画する敵」

2005年にMonolith Productionsが発売した一人称シューティングゲームF.E.A.R.の敵兵士は、当時のプレイヤーを驚かせました。敵は側面から回り込み、机を倒して遮蔽物を作り、仲間が倒れると叫んで知らせました。

その秘密はGOAP(Goal-Oriented Action Planning、目標指向行動計画)という技法でした。開発者のジェフ・オーキンが、1971年にスタンフォード研究所で生まれた古典的なプランニング技法STRIPSをゲーム向けに手直ししたものです。FSMやビヘイビアツリーが「この状況ではこうする」を設計者があらかじめ書いておく方式だとすれば、GOAPは敵に目標(「プレイヤーを倒す」)とできる行動(「遮蔽物へ移動」「射撃」「リロード」、それぞれの条件と結果)だけを与え、今の状況で目標に到達する行動の順序を敵自身に計算させます。

行動の組み合わせを設計者が一つひとつ書かなくてよいので、敵は設計者が考えもしなかった順序でも動きます。プレイヤーが感じた「賢さ」のかなりの部分は、実はいくつかの単純な行動がその都度違う形でつながった結果でした。ここに敵同士が無線で状況を叫び合う演出が加わり、実際よりはるかに緊密に連携しているように見えたのです。

2008年:Left 4 DeadのAIディレクター

敵一体一体ではなく、ゲーム全体の流れを調整するAIもあります。2008年にValveが発売した協力型ゾンビシューティングLeft 4 DeadのAIディレクターが代表例です。

AIディレクターはプレイヤーたちの状態を常に監視しています。体力がどれくらい残っているか、最近どれだけダメージを受けたか、どれだけ固まっているかを見て、各プレイヤーの「緊張度」を推定します。緊張が高い状態が続けばゾンビの群れをしばらく止めて息をつく間を与え、静かな時間が長すぎれば群れを送り込んだり特殊感染者を登場させたりします。アイテムや武器の配置もプレイごとに変わります。

この設計の目的はプレイヤーに勝つことではなく、映画のような緊張と緩和のリズムを作ることです。同じマップを何度プレイしても毎回違う体験になるため、協力プレイの繰り返し価値が大きく上がりました。その後、多くのゲームがこうした「演出家」役のAIを取り入れています。

1997年のディープ・ブルー、2016年のAlphaGo:人間の最強者を超える

再び「ゲームを制覇するAI」の側に戻りましょう。1997年5月、IBMのチェスコンピュータディープ・ブルーが世界チャンピオンのガルリ・カスパロフに6局勝負で3.5対2.5で勝利しました。1年前の1996年の初対戦ではカスパロフが勝っていたので、再戦でひっくり返したことになります。ディープ・ブルーは専用チェスチップを使って毎秒数億の局面を評価する探索の力で勝ちました。シャノンとサミュエルが1950年代に敷いた道を、最後まで押し進めた結果でした。

囲碁は違いました。チェスより盤が広く、一手ごとに選べる場所がはるかに多いため、同じ方式では人間のプロに勝てないと長い間考えられていました。2006年頃から、ランダムに終局まで打ってみた結果を積み重ねて有望な手を探すモンテカルロ木探索(MCTS)が囲碁プログラムに使われるようになって実力が大きく上がりましたが、プロ棋士との間にはまだ距離がありました。

Google DeepMindのAlphaGoは、ここに深層ニューラルネットワークを加えました。人間の棋譜から「次の一手」を予測するネットワークと、「この局面がどれだけ有利か」を評価するネットワークを学習させ、自己対局で強化したうえで、このネットワークを使ってMCTSが調べる枝を絞り込んだのです。2015年10月に欧州チャンピオンの樊麾(ファン・フイ)に5対0で勝ち、2016年3月にはソウルで李世乭(イ・セドル)九段に4対1で勝利しました。2017年には人間の棋譜を使わずルールだけから自己対局のみで学習したAlphaGo Zeroが、同年末にはチェス・将棋・囲碁を一つの方式で習得したAlphaZeroが発表されました。

ディープ・ブルーが「人間が作った評価基準+巨大な探索」だったとすれば、AlphaGoは「自ら学んだ評価+絞り込んだ探索」でした。この違いが、その後のゲームAI研究の方向を変えました。

2019年:スタークラフトIIとDota 2、リアルタイムゲームへ

ボードゲームの次の目標はリアルタイムストラテジーでした。ターンがなく、相手の画面は隠されていて、一度に数百のユニットを扱わなければならず、一試合で数十分にわたり数千回の判断を求められます。

DeepMindのAlphaStarはスタークラフトIIに挑みました。2018年12月、プロ選手のTLOとMaNaを相手にした非公開の対戦で連勝し、2019年1月に公開されました。2019年10月に学術誌ネイチャーに掲載された論文では、AlphaStarが一般プレイヤーと同じ条件でBattle.netのラダーに参加し、3種族すべてでグランドマスターランクに到達したと発表されました。人間の試合記録でまず学習したあと、異なる戦略を持つ複数のエージェントがリーグを組んで競い合いながら強くなる方式でした。

OpenAIのOpenAI Fiveは、5対5のチームゲームDota 2に挑みました。2018年の世界大会The Internationalではプロチームに敗れましたが、2019年4月には直前の世界チャンピオンチームOGに2対0で勝利しました。5つのニューラルネットワークが互いに膨大な量の自己対戦を繰り返して学んだ結果でした。

二つの事例はどちらも、「人間に勝った」こと以外に重要な教訓を残しました。AIの反応速度と操作回数を人間並みに制限しなければ公平な比較ではないという議論があり、実際にAlphaStarは毎分の操作回数と画面切り替えに制限を設けて評価されました。

チャンギ・囲碁アプリのAI対戦相手はどう指すのか

スマートフォンでチャンギや囲碁を打つときに出会うAI対戦相手は、上で見た技術の小さな版です。原理は大きく二つに分かれます。

探索ベース。 チェスエンジンのStockfishのように、現在の局面から可能な手を広げ、数手先まで読んだうえで評価関数で点数を付け、最も良い手を選びます。チャンギのように駒の価値と位置の価値が比較的はっきりしたゲームには、この方式がよく合います。Stockfishも2020年から評価関数に小さなニューラルネットワーク(NNUE)を使っており、探索とニューラルネットワークの境界はだんだん曖昧になっています。

ニューラルネットワークとMCTSベース。 AlphaGo Zeroの方式を公開実装したオープンソースプロジェクトがあり、囲碁アプリの多くがこうしたエンジンを採用しています。ネットワークが「打つ価値のある場所」を絞り込み、MCTSがそれらの場所を深く調べます。

では難易度はどう調整するのでしょうか。最強の手ばかり打つAIは初心者には面白くないので、わざと弱くする仕組みが必要です。よく使われる方法は次のとおりです。

  • 探索深さの制限:何手先まで読むかを減らします。深さが浅いと遠くの手を見落とします。
  • 思考時間の制限:MCTS系では、シミュレーション回数を減らすと自然に弱くなります。
  • わざとミスをする:最善手の代わりに上位数手の中から確率的に選んだり、評価点にランダムなノイズを混ぜたりします。チェスエンジンのUCIプロトコルには、目標レーティングを指定するとエンジンがその水準まで実力を下げるオプションが含まれています。
  • 知識の制限:定跡(オープニングブック)や終盤データベースを使わないようにします。

良い難易度調整の核心は「弱いが、間抜けではない」ことです。探索深さだけを減らすと、AIは目の前の駒をただ渡してしまうような呆れたミスをしがちです。そのため、よくできたアプリは大きなミスは防ぎつつ小さな判断だけが揺らぐように、複数の方法を組み合わせています。レースゲームで遅れた車が速くなる「ゴムバンド」調整や、一人称シューティングで敵の命中率をプレイヤーの腕前に合わせて変えるのも同じ考え方です。1980年のパックマンのゴーストがそうだったように、プレイヤーが勝てる程度に賢い相手こそが、最も長く愛されます。

KEKE STUDIOの3Dアクションチャンギも、こうした探索ベースのAIと対局できるように作られており、駒どうしがぶつかったときに繰り広げられる戦闘演出とともに、一人でも一局を楽しめます。

現在:生成AIがゲーム制作に使われる

2020年代に入り、ゲームAIの重心は「プレイするAI」から「作るAI」へと移りつつあります。大規模言語モデルと画像生成モデルが、ゲーム開発の工程に入り始めたからです。

  • セリフ生成:Ubisoftは2023年のGDCで、NPCが状況に応じて口にする短いセリフの下書きを作り、ライターが仕上げる社内ツールGhostwriterを公開しました。
  • 会話するNPC:NVIDIAは2023年、音声認識、言語モデル、音声合成、顔アニメーションを束ねてプレイヤーと自由に会話するキャラクターを作るACE技術を発表しました。
  • 世界を生成するモデル:Google DeepMindは2024年、1枚の画像や短い説明から操作可能な3D環境を作り出すGenie 2を公開しました。まだ研究段階ですが、ゲーム環境そのものを生成する方向を示しています。
  • 開示ルール:Valveは2024年1月、Steamにゲームを登録する際に、開発過程と実行中に生成AIをどう使ったかを明らかにするよう求める方針を導入しました。

これと並んで、コード作成、テクスチャや効果音の生成、翻訳、テスト自動化のように目立たない場所でも生成AIは広く使われています。一方で、制作者の権利、学習データの出所、生成物の品質をめぐる議論も大きくなっており、業界はまだルールを作っている途中です。

70年前、チェッカープログラムが自ら学んで人間に勝ったとき、次の目標はチェスと囲碁でした。今やAIはゲームに勝つことを超えて、ゲームを作る場所にまで来ています。しかし、パックマンのゴーストが示したように、ゲームAIの本当の目標はいつも同じです。プレイヤーに「もう一局」と思わせることです。

参考資料

KEKE STUDIOのゲーム

あわせて読みたい