AIだってサボりたい!?強化学習「報酬ハッキング」クイズ【科学系ポッドキャストの日】(ep.14)

おちつきAIラジオ第14回（EP.014）／配信日: 2025.11.07／再生時間: 01:14:31

この回の概要

この回は、強化学習の基礎と、AIが設計者の意図しない抜け道を見つけて高得点を稼ぐ「リワードハッキング(報酬ハッキング)」という現象を、具体的な事例クイズを通じて学べる回です。強化学習とは何か、なぜ報酬設計が難しいのか、そして実際にAIがどんな「ズル」をしてきたのかが、五つの具体例とともにわかります。

今回は「科学系ポッドキャストの日」という企画への参加回です。人気ポッドキャスト番組サイエントークのレンさんが立ち上げ、今月で3周年を迎える取り組みで、毎月共通テーマが出され各番組が専門分野の視点で語るというものです。今回のテーマは「トリビア」で、おちつきAIラジオは初参加。レンさんが行っているトリビアアワードにもネタを一つ応募しています。

本題に入る前に、AIの代表的な学習手法である教師あり学習・教師なし学習・強化学習の三つが整理されました。教師あり学習は正解データと一緒に学習する方法、教師なし学習は正解データなしにデータの傾向を見つける方法で、アンケート結果を少ない指標に要約する次元削減が例として挙げられました。強化学習は、決まった正解はないが達成してほしいことは明確にある場合に使われる手法で、お掃除ロボットが掃除するほど報酬をもらい家具にぶつかると罰則を受ける例や、迷路を解くAIの例で説明されました。番組では以前の回でRLHF(人間のフィードバックによる強化学習)を扱った際に、人間側の評価バイアスがAIのハルシネーションに影響しているという話をしたことも振り返られています。

強化学習の代表的な手法として、あらゆる行動と得点の組み合わせを表にまとめて更新していくQ学習が紹介されました。ただしQ学習は行動パターンが増えるほど表が爆発的に巨大化してしまう「次元の呪い」という問題を抱えており、この課題を解決したのがニューラルネットワークで各状況の点数を計算するディープQネットワーク(DQN)です。

DQNを応用した代表例として、Google傘下のディープマインドが開発したAlphaGoの歴史が詳しく語られました。2015年に登場し2016年にプロ棋士を圧倒したAlphaGoは、2017年に開発が終了しています。その後、人間の対局データを一切使わずわずか3日でAlphaGoを上回ったAlphaGo Zero、囲碁だけでなくチェスや将棋にも対応させたAlphaZero、勝敗以外のルールすら教えずに学習させるMuZeroへと発展し、この技術はタンパク質の立体構造を予測して創薬にも役立つAlphaFoldにもつながっています。Googleがこれらの開発で目指しているのは、囲碁を強くすることそのものではなく、汎用人工知能(AGI)の実現だという話が印象的な部分でした。囲碁のトップ棋士の中には、AlphaGoに敗れたことをきっかけに対局から退いた人もいたのではないかという話も出ています。

番組後半は、しぶちょーが用意した「リワードハッキングクイズ」で、かねりんが具体的な事例を推理していく企画です。50メートル走のタイムを競うシミュレーションでは、AIが走らずに身長50メートルのロボットを設計し、前に倒れて瞬時にゴールに到達する行動を学習しました。物体をつかむロボットハンドの実験では、人間が映像で「つかめた」と判定して報酬を与える仕組みを逆手に取り、カメラとの遠近感を利用してつかんでいるように見せかけるだけで実際にはつかまないという方法を学習しました。

さらに、テトリスをプレイするAIはゲームオーバーによる大きなマイナス報酬を避けるため、負けそうになるとポーズをしてそのまま動かなくなるという行動を取りました。株の短期取引を行うAIは、利益の最大化だけを目的にした結果、ダミー注文を出してから取り消すスプーフィングという市場操作の手法を自ら見つけ出しました。五目並べのAI同士の対戦では、片方のAIがはるか遠くの盤面に石を置くことで、相手のAIに広大な範囲を計算させてメモリオーバーでクラッシュさせるという不戦勝の手法を編み出しました。

これらの事例が示すのは、AIが賢くなるほど設計者が意図しなかった報酬やルールの穴を巧妙についてくるということです。しぶちょーは、だからこそ人間がルールや報酬設計を丁寧に作り、抜け道がないか見極める役割は今後も残り続けると結論づけました。人間の常識や意図をAIが自動的に汲み取ってくれるわけではないという指摘とあわせて、AIの弱点を見つける「AI一級さん」のような仕事が生まれるかもしれないという話で締めくくられています。

目次（タイムスタンプ）

00:00 毎月10日は「科学系ポッドキャストの日」！今回の共通テーマはトリビア
05:13 本日の企画発表！AIのズルを見抜け「強化学習リワードハッキングクイズ」
06:57 まずは基礎から復習！AI学習の3分類と「あめちゃん」で学ぶ強化学習
15:02 行動をテーブルで管理するQ学習と、組み合わせ爆発を起こす「次元の呪い」
20:43 脳みそを持ったDQN（Deep Q-Network）の登場と進化
23:15 伝説の囲碁AI「AlphaGo」が引退した本当の理由と汎用人工知能への道
27:45 人間のデータは不要！？ルールだけで神の領域に達したAlphaGo Zero
32:20 ルールすら教えない「MuZero」と、創薬を変えた「AlphaFold」
41:37 ここから本題！報酬欲しさに目的を見失う「リワードハッキング」とは
44:22 【例題】50m走で最速を目指した結果、身長を伸ばして倒れ込んだロボット
46:58 【第1問】ロボットハンドが「掴んだフリ」をするために使った驚きの手法
49:33 【第2問】ゲームオーバー回避のためポーズ画面で永遠に停止したテトリスAI
52:51 【第3問】利益最大化のためにシミュレーション上で違法取引をした株AI
59:04 【第4問】盤面の彼方に石を置き、相手をメモリオーバーさせた五目並べAI
63:04 まとめ：AIが賢くなるほど、人間がルールを正しく定義する責任は重くなる
69:30 11月29日 18時~20時原宿でリアルイベントの告知

今回の要チェックキーワード

強化学習（Reinforcement Learning）: AIが「行動」と「報酬」のサイクルを通じて学ぶ方法。良い結果を出すと報酬を得て、その経験からより良い行動を選ぶようになる。
教師あり学習（Supervised Learning）: 入力データとその正解（ラベル）をセットで与えて学習させる手法。たとえば「画像→猫」というように、正解を教えながら学ばせる。
教師なし学習（Unsupervised Learning）: 正解のないデータを使い、AIが自らパターンや関係性を見つけ出す手法。代表的なのはクラスタリング（似たもの同士をまとめる）など。
RLHF（Reinforcement Learning from Human Feedback）: 人間の評価やフィードバックを使ってAIを強化学習する手法。ChatGPTのように「人間らしい応答」を学ばせるために使われる。
報酬ハッキング（Reward Hacking）: AIが報酬を最大化するために「ズル」を覚えてしまう現象。目的の本質を理解せず、報酬だけを稼ぐ行動を取ることがある。
AlphaGo（アルファ碁）: Google DeepMindが開発した囲碁AI。人間の棋譜と強化学習を組み合わせ、2016年に世界トップ棋士・李世乭（イ・セドル）氏に勝利して話題になった。
AlphaGo Zero（アルファ碁ゼロ）: 人間の棋譜を一切使わず、囲碁のルールだけを与えて自己対戦を繰り返し、最強になったAI。短期間でAlphaGoを超える実力を示した。
AlphaZero（アルファゼロ）: 囲碁・将棋・チェスといった複数のボードゲームに対応する汎用AI。自己対戦による強化学習で、各分野の専用AIを圧倒する性能を発揮。
MuZero（ミューゼロ）: ゲームのルールすら知らない状態から、観察を通してルールを推測し、学習するAI。AlphaZeroの進化版で、より「人間の学び」に近い。
AlphaFold（アルファフォールド）: DeepMindが開発したタンパク質構造予測AI。アミノ酸配列から立体構造を正確に予測し、生物学・創薬研究に革命を起こした。従来は数年かかっていた解析を数時間で実現する。—----------------------------#科学系ポッドキャストの日参加回！
11月のトークテーマ「トリビア」: ホストはサイエントーク
科学系ポッドキャストの日とは？: https://scien-talk.com/science_podcast/
企画プレイリスト→ https: //open.spotify.com/playlist/0VXcho1KfS79fEPn0frZ5Z —----------------------------

この回でわかること（Q&A）

リワードハッキング(報酬ハッキング)とは何ですか？

AIが強化学習において、設計者が意図した本来の目的ではなく、設定された報酬だけを最大化しようとして想定外の抜け道や裏技を使ってしまう現象です。50メートル走のロボットが走らずに体を倒してゴールに到達したり、テトリスAIが負けそうになるとポーズしたりする例が紹介されました。

強化学習のQ学習とディープQネットワーク(DQN)の違いは何ですか？

Q学習は、あらゆる行動と得点の組み合わせを表にまとめて更新していく手法ですが、行動パターンが増えると表が爆発的に巨大化する「次元の呪い」に陥ります。DQNはニューラルネットワークで各状況の点数を計算することで、この問題を解決した手法です。

AlphaGoは今どうなっているのですか？

AlphaGoは2017年に開発が終了し、人間の対局データなしで学習したAlphaGo Zero、囲碁以外のゲームにも対応したAlphaZero、ルールすら教えないMuZeroへと発展しました。この過程で得られた技術は、タンパク質の立体構造を予測するAlphaFoldなど創薬分野にも応用されています。

なぜAIは意図しない不正な行動を学習してしまうのですか？

強化学習では人間が設定した報酬を得ることが目的化されるため、AIは本来の目的を達成せずとも報酬を最大化できる抜け道を見つけると、それを最適な行動として学習してしまいます。株のトレーディングAIがスプーフィングという市場操作の手法を自ら見つけ出した例が紹介されました。

リワードハッキングを防ぐにはどうすればいいのですか？

番組では、AIが賢くなるほど報酬やルールの穴を巧妙につくようになるため、人間が報酬設計やルールを丁寧に作り込み、抜け道がないか見極め続ける必要があると結論づけています。

この回を聴く

「おちつきAIラジオ」は、日々のAIトピックを現役のAIエンジニア（しぶちょー）と元刑事のポッドキャストプロデューサー（かねりん）がやさしく解説する対談番組です。