Decision Generalisation from Game Logs in No Limit Texas Hold’em (2013, IJCAI)

Jonathan Rubin and IanWatson

東京大学工学系研究科システム創成学専攻大橋・鳥海研究室

梶原健吾とりらぼ輪読会

背景• 2008 年，リミット・テキサスホールデムで　人間 vs ポーカー AI(Polaris) Polaris⇒ の勝利

• 研究対象：リミット⇒ノーリミット– ノーリミットはベット額の上限無し– AAAI or IJCAI で毎年ノーリミットのエージェン

ト大会が開催

背景• ノーリミットでは勝てない– リミット：取りうる行動が fold,call,raise のみ– ノーリミット：レイズ額を指定可能⇒行動の

多様性

• 本論文は 2012 年の大会にて 5 位に入賞したエージェントに用いた理論の紹介である．

本エージェントの主な特徴• Case-base の学習– 過去に行われたゲームから事例の抽出

• 行動の抽象化 (action abstraction)– 無数に存在するベット額⇒離散的に捉える

• 抽象⇔具体　の変換 (translation)– 実際のベット⇒ Abstract action

Case-base の構築• 過去のゲームから特徴を抽出

Action Abstraction の説明• ノーリミット：レイズ額が自由　→そのままだと case-base が膨大

• 行動を 10 種類に抽象化– フォールド– コール– 額の異なるレイズ (8 種類 )• ポットの 1/4, 1/2, 3/4, 1, 2, 5, 10 倍とオールイン

Translation の説明• 実際のベットから Abstract action へ変換

• 2 種類の変換方法– ハードトランスレーション– ソフトトランスレーション

ハードトランスレーション• 同じベット⇒必ず同じ Abstract action に変換– ポットの 3 倍のベット⇒ポットの 2 倍のベット

へ変換

• 相手にベット額をコントロールされ得る

　　　　　 b: 実際のベット　　　　　 a, c ： Abstract action (a < b < c)

ソフトトランスレーション• 確率的に Abstrac ｔ action に変換– ポットの 3 倍のベット　　⇒ 4/7 の確率でポットの 2 倍に変換　　 　 3/7 の確率でポットの 5 倍に変換

各 Translation の用途• Case-base の構築時– ハードトランスレーションを使用– 学習用のデータ⇒操られる心配無し

• 実際の対戦時– ソフトトランスレーションを使用– 観測する行動を確率的に変化させる

状況の類似度• 現状は case-base のどの case に近いか

• Hand Strength Bucket, Stack Commitment, Betting Sequence, Board Texture, それぞれの類似度の合計で評価

Hand Strength Bucket の類似度• ハンドの強さを [1, T] で表し，その差分で

類似度を表す

– f1,f2 ：ハンドの強さ– k ：定数– T=50

Stack Commitment の類似度• Stack Commitment を [1, N] で表し，その差

分で類似度を表す

– f1, f2 ： Stack Commitment– N=4

Betting Sequence の類似度• Fold, call, raise の 3 種類の並びが同じもの• 8 つのレイズを 1,2,…,8 で表し，類似度を計

算

– S1,i ,S2,j ：各レイズを表す自然数 (1~8)– α ：定数

Board Texture の類似度• 説明無し

行動の決定• Case-base Abstract action⇒– ( 詳しい手法は説明無し… )

• Abstract action⇒ 実際のベット– 誤差項を付け加えてベット

結論• 複雑な不完全情報ゲームにおいて扱う

データを抽象化　　⇒過去のプレイを元にプレイすることが可能

• ポーカーの AI の大会 (ACPC) にて， 5 位入賞

感想• トランスレーションと類似度の考え方は人狼にも

応用出来るかも？– 人狼の場合は確率的にプレイヤーを選択しても，論理

だった嘘はつけない．嘘のシナリオを確率的に選択するとか．

• プレイヤー個人の性質を無視していいのか– 初めてオールインした相手と，毎回オールインしてる相

手を同じ扱い？

• 5 位入賞…と言いつつ参加者 11 人．微妙な