もうAIニュースに踊らされない。ベンチマークの読み方を知り「自分軸」で性能評価する技術(ep.22)

おちつきAIラジオ第22回（EP.022）／配信日: 2025.12.05／再生時間: 01:01:13

この回の概要

今回はLLMのベンチマークをテーマに、新しいAIモデルが出るたびに驚かされ続けている状態から抜け出し、性能を自分で判断できるようになることを目指す回です。この回を聴くと、MMLUやGPQAといった代表的なベンチマークが何を測っているのか、ベンチマークが抱える汚染や陳腐化の問題、そしてLMArenaのような動的ベンチマークの仕組みまで理解できます。

まずベンチマークの歴史が語られます。ChatGPT登場以前の言語モデルは、次の単語をどれだけ正確に予測できるかを示すパープレキシティという単一の指標だけで評価されていました。ChatGPTの登場以降、言語モデルがプログラミングや数学、対話などさまざまなタスクをこなせるようになったことで、公開されている主要なものだけでも200以上のベンチマークが存在するほど評価指標が多様化したことが説明されます。

続いて代表的なベンチマークが具体的に紹介されます。総合的な知識を問うMMLU（Massive Multitask Language Understanding）は数学や歴史、法律、医学など57科目にわたる4択問題で構成され、AI版の大学入試のような位置づけです。性能向上によりほぼ満点近くまで到達するモデルが増えたため、選択肢を10択に増やし難易度を上げたMMLU PROも開発されました。単純な知識では解けない高度な推論力を測るGPQA（Google Proof Q&A）は、博士号レベルの生物学・物理学・化学の専門家が作成した、検索しても答えが見つからない問題で構成されています。ほかにも数学的推論を測るGSM8K、プログラミング能力を測るLiveCodeBenchやHumanEval、SWE-Benchなど、能力ごとに異なるベンチマークが使い分けられていることが解説されます。

一方で、ベンチマークには構造的な問題があることも語られます。学習データにテスト問題そのものが混入してしまう汚染の問題や、指標が目標化すると本来の能力向上につながらなくなるというグッドハートの法則が紹介されます。しぶちょーはネズミの尻尾を報奨金の対象にした結果、人々がネズミを繁殖させ始めた19世紀ベトナムの逸話を例に、指標への最適化が本質的な能力向上とずれてしまう危険性を説明します。

こうした課題への対策として、常に新しい問題が生まれ続ける動的ベンチマークの必要性が語られ、その代表例としてLMArena（旧チャットボットアリーナ）が紹介されます。ユーザーが質問を入力すると2つのモデルの回答が匿名で表示され、どちらが良いか自分で判定すると、判定後にどのモデルだったかが明かされる仕組みです。未発表のモデルが覆面状態で登場することもあり、しぶちょーはNano Bananaが正体不明のまま話題になったエピソードを紹介します。リーダーボードには総合力を示すオーバーオールのほか、難解な問題への対応力を示すハードプロンプト、コーディング、数学、クリエイティブライティングなど分野ごとの順位も確認できることが説明されます。収録時点ではGemini 3.0 Proが総合力・推論力ともに上位を占め、Grok 4.1やClaude Sonnet 4.5が続く状況が紹介されつつ、この状況はすぐに変わりうるものであることも強調されます。

日本語特化のベンチマークとして、日本語の文法やトークン効率を評価するNejumi LLMリーダーボードも紹介されます。国際的なベンチマークで高評価でも日本語での使いやすさを保証するわけではないため、日本語ユーザーにとって重要な指標であると説明されます。さらに、人間による評価の限界を補う手法として、LLM自身に評価させるLLM as a Judgeという手法にも触れ、モデルが自分と似た系統の出力を高く評価してしまう自己好みバイアスや、回答の提示順序によって評価が変わる位置バイアスなど、AIにも人間的な癖があることが紹介されます。

最後に、オープンソースモデル向けのHugging Face Open LLMリーダーボードにも触れ、透明性の高い相互監視の仕組みによって不正な学習が指摘される文化があることが説明されます。番組は、定量的なベンチマークと人間参加型の動的ベンチマークの両方を確認することで、新しいモデルが出るたびに一喜一憂せず自分で性能を判断できるようになろうと締めくくられます。

目次（タイムスタンプ）

00:00 オープニング：AIニュースに落ち着かないあなたへ
00:24 今回のテーマ「LLMのベンチマークを学ぼう」
03:32 そもそもベンチマークとは？スマホでの実例
06:36 歴史的指標「パープレキシティ」と現代のテスト
12:40 知識の広さを測る「MMLU」と推論能力「GPQA」
20:47 テストデータの漏洩と「グッドハートの法則」
29:29 人間がジャッジする「Chatbot Arena」の信頼性
39:50 日本語特化の指標「Nejumi LLM Leaderboard」
44:14 AIがAIを評価する「LLM-as-a-Judge」の未来
55:36 オープンソースとHugging Faceの相互監視
62:12 エンディング：指標を知って落ち着きを手に入れる

今回の要チェックキーワード

GSM8K（Grade School Math 8K）: 小学校高学年レベルの算数文章題を8,000問集めたベンチマーク。LLMの「基礎的な論理推論力」を測るときによく使われる。
LiveCodeBench: AIに“実際のプログラミング環境”でコードを書かせ、その実行結果で評価するベンチマーク。 HumanEval コード生成能力を測る初期の有名ベンチマーク。与えられた問題に対して正しく動作するプログラムを書けるかをテストする。
SWE-bench（Software Engineering Benchmark）: 実在のGitHubリポジトリのIssueを解決できるかを評価するテスト。AIの“本物のソフトウェア開発能力”を測る指標として注目されている。
グッドハートの法則（Goodhart's Law）: 「指標を目標にすると、指標として機能しなくなる」という法則。AI評価でも、ベンチマーク対策が進むと本来の能力を正しく測れなくなる問題を指す。
LLM-as-a-Judge: AI自身を“判定者”として使い、他のAIの回答品質を比較する仕組み。公平性やバイアスの扱いが課題だが、スケールしやすいため研究が進んでいる。
Nejumi LLM Leaderboard: 日本語LLMを中心に評価したランキングプラットフォーム。MMLU-JPなど日本語特化の指標でモデルを比較できる点が特徴。
Hugging Face Open LLM Leaderboard v2: 世界中の公開LLMを統一指標で比較するリーダーボード。MMLU・GPQA・GSM8Kなど複数ベンチマークを総合してスコア化している。
Chatbot Arena: ユーザーが2つのAIを“匿名で”比較し、どちらが良いか投票する評価方式。多数の人の投票による“ライブ対戦形式”で、実力を直感的に比較できる。 —----------------------------

この回でわかること（Q&A）

LLMのベンチマークとは何ですか？

AIモデルの能力を客観的に比較するための標準化されたテストのことです。知識量や推論力、プログラミング能力など測る対象ごとに異なる種類があり、公開されている主要なものだけでも200以上存在するとされています。

MMLUとGPQAの違いは何ですか？

MMLUは数学や歴史、医学など57科目にわたる4択問題で総合的な知識量を測るベンチマークです。一方GPQAはGoogle検索でも答えが見つからないように設計された問題で、単純な知識ではなく高度な推論力を測る点が異なります。

ベンチマークのスコアが本当の性能を示さない場合があるのはなぜですか？

学習データにベンチマークの問題そのものが混入してしまう汚染の問題や、指標そのものが目標化されるとかえって汎用性能が落ちるというグッドハートの法則が指摘されています。特定のテストで高得点を取ることに特化しすぎると、他の新しい問題に対応できなくなる傾向があるとされています。

LMArena（旧チャットボットアリーナ）とはどんな仕組みですか？

ユーザーが質問を入力すると2つのモデルの回答が匿名で表示され、どちらが優れているかを人間が判定する動的なベンチマークです。判定結果がスコアに反映される仕組みで、未発表のモデルが匿名で登場することもあり、Nano Bananaもここで話題になったと紹介されています。

日本語でのAI性能を確認するにはどうすればいいですか？

番組では日本語特化のNejumi LLMリーダーボードが紹介されています。国際的なベンチマークで高評価を得ていても日本語での使いやすさを保証するわけではないため、日本語の文法やトークン効率を評価するこうした指標を確認することがすすめられています。

この回を聴く

「おちつきAIラジオ」は、日々のAIトピックを現役のAIエンジニア（しぶちょー）と元刑事のポッドキャストプロデューサー（かねりん）がやさしく解説する対談番組です。