これ知らないと恥をかく!?AIの学習と参照の違い。今更聞けないRAGをやさしく解説(ep.12)
おちつきAIラジオ 第12回(EP.012)/配信日: 2025.10.31/再生時間: 01:10:25
この回の概要
この回はRAG(検索拡張生成)を基礎から解説する回です。RAGとは何か、なぜLLMに必要とされるのか、そして「学習」と「参照」の違いというAIへの理解度を測る重要な視点までがわかります。聞き終えると、RAGを使ったチャットボットの仕組みや、「AIに学習させた」という表現がなぜ不正確なことが多いのかを自分の言葉で説明できるようになります。
番組ではまずRAGの正体が明かされます。RAG(Retrieval Augmented Generation、検索拡張生成)は、LLMが学習した時点までの情報しか持たないという弱点を補うための仕組みです。LLMは一定時点でのデータ(カットオフ)までしか学習しておらず、最新情報や企業の独自データをリアルタイムで反映させることはできません。LLMそのものを再学習させるには膨大な計算資源が必要になるため、代わりに外部の知識をその都度LLMに渡すRAGという手法が使われています。
しぶちょーが繰り返し強調するのは、RAGは「学習」ではなく「参照」だという点です。ユーザーが質問すると、RAGはその質問に関連しそうな文章を検索して持ってきて、プロンプトの手前、つまり質問文と一緒に送られる部分に差し込みます。LLMはその渡された文章、いわば「カンペ」を見ながら回答しているだけで、そのデータを本当の意味で覚えているわけではありません。だからこそ根拠となる文章を示すことができ、質問のたびに毎回初対面の状態から回答している、という説明がされました。
検索の仕組みについても詳しく語られます。単純な文字列一致によるキーワード検索は表記ゆれや類義語を拾えないため、言葉や文章を意味空間に変換して埋め込むベクトル検索(エンベディング)が使われ、両者を組み合わせたハイブリッド検索が一般的だと説明されました。さらに、登録する文章はあらかじめ千文字程度の単位に分割する「チャンク分け」が必要で、文脈が途切れないよう前後を少し重複させる「オーバーラップ」という工夫があることも紹介されています。どこでチャンクを切るか、どのデータを入れるかの取捨選択には人間の判断が欠かせず、不要な情報を入れるとノイズになり回答精度が落ちる「ガーベッジイン・ガーベッジアウト」の考え方にも触れられました。
RAGの発展形として、言葉や概念同士のつながりをグラフ構造で表現し、単なる類似度ではなく関連性に基づいて検索する「グラフRAG」も紹介されました。通常のベクトル検索やキーワード検索よりも高度な関連付けができる一方、グラフの構築には手動での調整が必要で手間がかかることも語られています。
番組の後半では、「学習」という言葉の使い方でその人のAIへの理解度がわかるという視点が示されます。AIにおける学習とは、ニューラルネットワークの各パラメータを更新することを指します。出力層付近だけを少量調整するファインチューニングはこの意味で本当の学習にあたりますが、大量のデータと時間がかかる割に新しい知識をまとめて与えるのには向いていません。一方、日常的に「AIに自分の好みを学習させている」と言われる多くのケースは、実際にはパラメータ更新を伴わない「参照」であり、RAGやチャット系サービスのメモリー機能もこれに当たると整理されました。
実用面では、RAGを使うことで独自データを持たせたチャットボットを比較的低コストで作れることや、行政や企業のチャットボットの裏側でも広く使われていることが語られました。あわせて、RAGに蓄積されたデータをプロンプトインジェクションによって抜き取られるリスクと、それに対するガードレール対策の必要性にも言及しています。かねりんは自分の発信データを使った「かねりんラグ」という構想にも触れ、大量のデータがあれば個人の話し方を再現するチャットボットも作成可能だが、検索に時間がかかるレイテンシーが課題になるとの説明を受けました。
最後に、RAGが最近あまり話題に上らなくなった理由は「オワコン」になったからではなく、AIエージェントの内部機能として当たり前に組み込まれ、単体で語られなくなったためだと結論づけられました。RAGの仕組みを理解しておくことは、AIエージェントというブラックボックスの中身の一端を把握することにつながる、という位置づけで回が締めくくられています。
目次(タイムスタンプ)
- 00:00 オープニング&今週のテーマ「今さら聞けない、ラグの話」
- 01:01 2024年に大流行した「RAG」、今はオワコン?
- 02:38 RAGはAI理解に超重要!知らないと落ち着けない理由
- 04:45 RAGの正体「検索拡張生成」とは?
- 06:07 LLMの弱点「最新情報を知らない」をどう補うか
- 08:15 RAGは「学習」じゃない!AIにカンペを渡す仕組み
- 11:42 犯罪捜査にも使える?独自データベースとRAGの可能性
- 14:00 RAGがオワコンと言われる本当の理由
- 15:08 RAGを組むのは難しい?検索技術の裏側
- 17:50 キーワード検索 vs ベクトル検索、意味空間の話
- 22:14 AI開発の泥臭い作業①:チャンク分けとオーバーラップ
- 27:05 AI開発の泥臭い作業②:ハイパーパラメータ調整
- 28:50 ゴミを入れたらゴミが出る!データ前処理の重要性
- 34:00 RAGの発展系?最近流行りの「グラフRAG」とは
- 38:32 AI解像度を見分ける魔法の言葉「学習」
- 39:53 あなたのAIは「学習」or「参照」?衝撃の事実
- 42:40 GPTのメモリ機能はカンペだった!AIはあなたを理解してない?
- 47:00 RAGは「カンペ仕分けマシン」、でもAIも使ってる?
- 56:20 RAGとファインチューニングはどう違う?
- 58:39 チャットボットの裏にはRAGがいる!
- 1:01:11 クローンAI「かねりんRAG」は作れる?
- 1:06:27 RAGが消えたもう一つの理由:AIエージェントへの吸収
- 1:09:46 まとめ:「学習」と「参照」を意識して落ち着こう
- 1:10:41 エンディングトーク
今回の要チェックキーワード
- RAG(Retrieval-Augmented Generation)
- 外部の知識データベースから関連情報を検索し、それをもとに生成するAIの手法。
- ベクトル検索(Vector Search)
- テキストなどの意味を数値ベクトルに変換し、「意味の近さ」で類似情報を探す検索方法。
- キーワード検索(Keyword Search)
- 単語やフレーズの一致をもとに情報を探す、従来型の検索方法。
- ハイブリッド検索(Hybrid Search)
- ベクトル検索とキーワード検索を組み合わせて、精度と再現性を両立させる検索方法。
- グラフベース検索(Graph-Based Search)
- 情報同士の関係をグラフ構造で表し、「つながり」や「関連性」をたどって検索する方法。
- チャンク(Chunk)
- 長い文章や文書をAIが扱いやすい単位に分割したデータのかたまり。
- 埋め込み処理(Embedding)
- テキストや画像を、意味を保持したまま数値ベクトル(多次元の点)に変換する処理。
- 検索クエリ(Search Query)
- 検索エンジンやAIに「何を探すか」を指示するための入力文。
- ファインチューニング(Fine-Tuning)
- 既存のAIモデルを特定のデータで再学習させ、目的に合わせて精度を高める手法。 —----------------------------
この回でわかること(Q&A)
RAG(検索拡張生成)とは何ですか?
RAGはRetrieval Augmented Generationの略で、生成AIに外部の知識を検索して渡し、それを参照して回答させる仕組みです。LLM自体を再学習させる代わりに、質問に関連する文章をプロンプトに差し込むことで、最新情報や独自データに基づいた回答を実現します。
RAGと「学習」はどう違うのですか?
学習はニューラルネットワークのパラメータを更新することを指しますが、RAGはパラメータを変えず、検索した文章を質問と一緒にプロンプトへ差し込んで参照させているだけです。そのためRAGを使ってもLLM自体は何かを覚えているわけではなく、毎回情報を参照しているにすぎません。
RAGの検索にはどんな方式がありますか?
文字列の一致を見るキーワード検索と、文章を意味空間に埋め込んで類似度で探すベクトル検索があり、両者を組み合わせたハイブリッド検索が一般的です。さらに発展系として、言葉や概念の関連性をグラフ構造で表現して検索する「グラフRAG」も紹介されました。
RAGを組む際の「チャンク分け」とは何ですか?
登録する大量の文章を、あらかじめ千文字程度の単位に区切って管理する作業のことです。文脈が途切れないよう前後の文章を少し重複させる「オーバーラップ」という工夫も使われ、どこで区切るかには人間の判断とノウハウが必要になります。
最近RAGという言葉があまり聞かれなくなったのはなぜですか?
RAGの技術が廃れたわけではなく、AIエージェントの内部機能として当たり前に組み込まれ、単体で話題にされることが減ったためです。番組内では、これは「オワコン」ではなくむしろ実用段階に定着した証拠だと説明されています。
この回を聴く
「おちつきAIラジオ」は、日々のAIトピックを現役のAIエンジニア(しぶちょー)と元刑事のポッドキャストプロデューサー(かねりん)がやさしく解説する対談番組です。