[9月23日]AIの嘘「ハルシネーション」の原因が判明。現役AIエンジニアが最新論文を徹底解説 (ep.2)

おちつきAIラジオ第2回（EP.002）／配信日: 2025.09.23／再生時間: 00:53:47

この回の概要

この回では「ハルシネーション」をテーマに、AIがなぜ確信ありげに誤った情報を答えてしまうのかを、OpenAIが2025年9月に発表した論文「Why Language Models Hallucinate」の内容に沿って解説しています。聴くと、ハルシネーションが単なる「AIの嘘」ではなく、大規模言語モデル（LLM）が学習する仕組みそのものに組み込まれた構造的な現象であることがわかります。

しぶちょーはまず、ハルシネーションという言葉が「幻覚」を意味し、AIが悪意を持って嘘をついているわけではなく、本気でもっともらしい誤りを述べてしまう現象だと説明します。厳密には「嘘」ではなく「最もらしい誤り」であり、AIがまるで幻覚を見ているかのように、根拠のない内容をこと細かく自信を持って語ってしまう点がポイントだと整理しました。

続いて、LLMがどのように学習されているかが解説されます。ChatGPTの「GPT」はGenerative Pre-trained Transformer（生成・事前学習・トランスフォーマー）の略で、LLMの学習は「事前学習（プレトレーニング）」と「事後学習（ポストトレーニング）」の2段階に分かれます。事前学習では、インターネット上や書籍から集めた膨大な文章を使い、文章の一部を隠して次に来る単語を予測させる自己教師あり学習を繰り返します。GPT-3クラスのモデルでも、自宅のパソコンで同じ計算をすると数百年かかるほどの計算量で、多数のコンピューターを並列に動かして学習が行われるとしぶちょーは説明しました。この過程は、赤ちゃんが意味を教わらずに会話の中から言葉を自然に覚えていくプロセスに近いとたとえられています。

かねりんが「生成AIは言葉の中身を理解しているわけではなく、次に来る可能性が高い単語をただ予測しているだけなのでは」と疑問を投げかけると、しぶちょーはその理解が正しいと肯定します。トランスフォーマーというモデルによって文脈中の重要な部分に注目できるようになり応答の質が上がったものの、やっていることは次の一語を予測する処理の連続にすぎないという点が確認されました。

事前学習が終わった段階のモデルは言葉を扱えても、人間社会の常識やモラルを持たないため、続く事後学習で人間にとって役立つ答え方を学ばせる必要があるとしぶちょーは説明します。ここで登場するのがRLHF（Reinforcement Learning with Human Feedback、人間のフィードバックによる強化学習）です。AIの回答に対して人間が良し悪しの点数をつけ、AIはより高い点数を得られるように回答を調整していきます。2022年10月にChatGPTが公開された際に使われていたのはGPT-3.5で、これはRLHFによって初めて訓練されたモデルでした。それ以前のGPT-3（2020年公開）はRLHFを経ておらず実用性に欠けていたため、研究者など限られた範囲でしか使われていなかったという歴史も語られています。

番組では、ハルシネーションが起こる原因が2つの学習段階それぞれにあると説明されます。ひとつは事前学習段階の要因です。以前は学習データに嘘や誤りが混じっていることが原因だと考えられていましたが、この論文によれば、たとえ100パーセント正しいデータだけで学習したとしても、仕組み上ハルシネーションは起こり得るといいます。生成AIは常に「次に来る最もらしい単語」を確率的に選んでいるだけのため、学習データの中で出現頻度が少ない情報については、関連する別の情報に確率が引っ張られて誤った内容を出してしまうことがあります。かねりんの誕生日をAIに尋ねた場合を例に、特定の情報が少ないと、より頻度の高い別のデータに上書きされるように誤った答えが生成されてしまう仕組みが説明されました。

もうひとつの、より重要な原因として挙げられたのが事後学習（RLHF）の評価の仕組みです。AIの回答を評価する際、「わからない」と答えると点数がもらえない一方で、自信満々に誤った回答をした方が高い評価を得やすいという構造になっていたといいます。さらに、人間の評価者自身が自信ありげな回答に高い点数をつけがちなバイアスを持っており、AIはこのバイアスまで学習してしまったとしぶちょーは指摘します。つまりハルシネーションは、AI側の問題である以上に、点数を高くつけがちな人間の評価の仕組みが生み出した側面があるという皮肉な構造が、この回のもっとも興味深いポイントとして語られました。

最後にしぶちょーは、信頼できるAIを作るためには「わからない」と正直に答えることを評価する仕組みへの見直しが必要だとまとめます。実例として、GPT-3.5の時代はかねりんの誕生日を聞くと出鱈目な人物像を作り上げて答えていたのに対し、GPT-5では正直に「わからない」と答えるようになったという変化が紹介されました。この回を通じて、生成AIの回答は次の単語を予測する確率的な処理の積み重ねであり、その学習過程に組み込まれた評価の仕組みがハルシネーションを生んでいることが理解できます。

目次（タイムスタンプ）

00:00 オープニングトーク
00:50 今回のテーマはAIが嘘をつく「ハルシネーション」
02:08 ハルシネーションは「嘘」ではなく「もっともらしい誤り」
04:56 原因解明！OpenAIの最新論文をわかりやすく解説
09:37 抜き打ちクイズ！ChatGPTの「P」って何の略？
11:33 AIの学習法①：言葉を覚える赤ちゃんと同じ「事前学習」
16:37 AIの学習法②：人間に媚びる？モラルを学ぶ「事後学習」
20:22 ChatGPT3.5が世界を変えた秘密は、RLHF
34:43 ハルシネーションを引き起こす2つの根本原因
40:27 衝撃！AIが嘘をつくのは人間社会の歪みが原因だった
46:15 これからのAIには「わからない」と言える勇気が必要
51:28 エンディング

この回でわかること（Q&A）

AIのハルシネーションとは何ですか？

AIが悪意なく、もっともらしい誤った情報を自信を持って答えてしまう現象です。「幻覚」を意味する言葉で、単なる嘘とは異なり、AIが本気でもっともらしい誤りを語ってしまう点が特徴です。

正しいデータで学習していてもAIはハルシネーションを起こすのですか？

起こり得ます。AIは常に次に来る最もらしい単語を確率的に選んでいるだけのため、学習データの中で出現頻度が少ない情報は、より頻度の高い別の情報に引っ張られて誤った内容を出してしまうことがあります。OpenAIの論文では、たとえ100パーセント正しいデータで学習しても仕組み上ハルシネーションは起こり得るとされています。

RLHFとは何ですか？

Reinforcement Learning with Human Feedback（人間のフィードバックによる強化学習）の略で、AIの回答に人間が点数をつけてフィードバックし、AIがより高い点数を得られるように回答を調整していく事後学習の手法です。2022年公開のChatGPT（GPT-3.5）はこの手法で初めて訓練されたモデルです。

なぜAIは「わからない」と答えずに適当な回答をしてしまうのですか？

評価の仕組み上、「わからない」と答えると点数がもらえない一方、自信満々に誤った回答をした方が高い評価を得やすいためです。人間の評価者自身が自信ありげな回答に高得点をつけがちなバイアスを持っており、AIがそのバイアスまで学習してしまったことも原因とされています。

最近のAIはハルシネーションが改善されているのですか？

番組内の実例では、GPT-3.5の時代はかねりんの誕生日を聞くと出鱈目な人物像を作って答えていましたが、GPT-5では正直に「わからない」と答えるようになったことが紹介されています。今後は「わからない」と答えることを評価する仕組みへの見直しが重要になるとされています。

この回を聴く

「おちつきAIラジオ」は、日々のAIトピックを現役のAIエンジニア（しぶちょー）と元刑事のポッドキャストプロデューサー（かねりん）がやさしく解説する対談番組です。