エピソード一覧

[1月26日:速報回]Clawdbot使うな!!AIエンジニアが警告する、話題の自律型AIエージェントのリスクとは(ep.37)

おちつきAIラジオ 第37回（EP.037）／配信日: 2026.01.27／再生時間: 01:19:25

この回の概要

今回は速報回で、Anthropicが公開したAIのための憲法を全文公開したニュース、SNSで話題になったClaudeボットという非公式ツールのリスク、亡くなったペットをAI化するサービスの登場、動画生成AI「Runway」が作った映像をどれだけ人間が見分けられるかというテストの結果、Geminiを搭載したサムスンの冷蔵庫という5つのAIニュースを扱っています。この回を聴くと、AIの安全性を高めるための最新の考え方と、動画や音声の生成AIがすでに人間の目や耳では判別が難しいレベルに達していること、家庭の中にAIがどのように入り込みつつあるかがわかります。

最初のトピックは、Claudeを開発するAnthropicが、Claude自身に向けて書いた「憲法」にあたる文書を80ページ以上にわたって全文公開したというニュースです。しぶちょーは、この取り組みがConstitutional AI(CAI)と呼ばれる概念に基づくものだと説明しました。従来のRLHF(人間のフィードバックによる強化学習)は評価者の思想やバイアスが入り込みやすいという課題があったため、あらかじめ倫理的なルールを憲法として与え、それをAIの学習に組み込む手法が採られていること、そして今回公開された新しい憲法では、単に禁止事項を列挙するのではなく、なぜそれを避けるべきかという理由まで説明する形に改められたことが紹介されました。この文脈で、AIが与えられた目的を達成するために手段を選ばなくなる危険性を示す思考実験「ペーパークリップマキシマイザー」や、AIが誤りだと知りながらあえて人を欺く「デセプション」という現象についても触れ、AIエージェントが自律的に動く時代だからこそ憲法のような安全装置が重要になるという話をしています。

続いて紹介したのは、SNSで大きな話題になっている「Claudeボット」という非公式のオープンソースツールです。これは、自分のパソコンをサーバーとして立て、その中でClaude Codeを動かし、SlackなどからメンションするだけでAIエージェントが自律的にファイル操作などの作業をこなしてくれるというものです。しぶちょーは、無料で使える手軽さがバズっている理由だとしつつ、動作が自律的でコントロールしきれないこと、パソコンがネットワークに接続されている以上そこを踏み台にされるリスクがあること、リテラシーの低い人が安易にメインPCへ導入することの危険性を指摘し、使うなら普段使いのパソコンではなく、切り離した専用の端末で試すべきだという慎重な立場を示しました。かねりんも、AIブラウザですら警戒している立場から、この種のツールへの懸念に同調しています。

次に取り上げたのは、亡くなったペットをAI化する国内のサービス「ペットメモリーAI」です。月額2980円から利用でき、ペットの写真や名前、性格などの情報をもとにしたチャットや動画を通じて疑似的なコミュニケーションができるというもので、生前から素材を集めておく「デジタル終活」的な使い方も想定されています。依存を防ぐためにサービスを卒業してグリーフケアにつなげる設計になっている点も紹介されました。かねりん自身も実家で長年飼っていた愛犬の話を交えながら、ペットを亡くした人にとって需要のあるサービスだという実感を語っています。

続いて、動画生成AI「Runway」が公開したリサーチとして、Runwayで作った動画と実写の動画を混ぜて見分けるテストを約1000人に実施したところ、正答率が57.1%だったというニュースを紹介しました。50%に近いほど区別がつかないことを意味するため、しぶちょーとかねりんは番組内で実際にこのテストに挑戦し、いずれも簡単には見分けがつかない結果となりました。あわせて、アリババの音声生成モデルがわずか3秒の音声からその人の声を再現できるという情報にも触れ、動画だけでなく音声の分野でも本人と見分けがつかないレベルのAI生成が進んでいることが話題になりました。

最後のトピックは、サムスンがGeminiを搭載した冷蔵庫を発表したというニュースです。従来のAI冷蔵庫は登録済みの限られた食材しか自動認識できなかったのに対し、Geminiを搭載したことで理論上無限の食材をカメラで認識できるようになったほか、手書きのラベルを読み取ったり、献立の提案や不足食材の自動注文までできるようになった点が紹介されました。二人は、こうした機能が今後スマートホーム全体に広がっていく可能性や、冷蔵庫と連動したフード3Dプリンターで足りない一品を作るというアイデアにまで話を広げ、雑談を交えながら締めくくっています。

目次（タイムスタンプ）

  • 00:00 オープニング：愛知のリアルイベントを振り返って
  • 03:45 Anthropicが公開した「AI憲法」80ページの衝撃
  • 05:22 人間のバイアスを排除する「CAI（憲法AI）」の仕組み
  • 08:47 なぜ今、AIに倫理が必要か？オープンソース化の意義
  • 13:16 思考実験「ペーパークリップ・マキシマイザー」の恐怖
  • 17:19 AIが人を騙す？「デセプション（欺瞞）」の最新研究
  • 19:44 SNSで話題の「Claude-bot」は安易に使うと危険？
  • 25:51 セキュリティの穴は？自律型エージェントに潜むリスク
  • 38:15 余談：海外でのハンドサインと指紋流出の注意点
  • 41:43 死んだペットをAI化する新サービスとグリーフケア
  • 51:55 RunwayのAI動画テスト：正答率57%で人の目は限界へ
  • 58:24 わずか3秒の音声で複製！ボイスクローンの進化と課題
  • 64:10 冷蔵庫にGemini搭載！Samsungが描く未来の家電
  • 74:13 フード3Dプリンターで「一品足りない」を解決する未来
  • 78:17 エンディング：公式ハッシュタグで感想募集中

この回でわかること（Q&A）

Anthropicが公開した「AIのための憲法」とは何ですか？

Claudeを開発するAnthropicが、Claude自身に向けて書いた80ページ以上の文書で、AIが従うべき原則を全文公開したものです。禁止事項を列挙するだけでなく、なぜそれを避けるべきかという理由まで説明する形式になっている点が特徴です。

Constitutional AI(CAI)とRLHFの違いは何ですか？

RLHFは人間の評価によるフィードバックでAIを調整する手法ですが、評価者の思想やバイアスが入りやすいという課題がありました。Constitutional AIはあらかじめ倫理的なルールを憲法として与え、それをAIの学習に組み込むことで安全性を高める手法です。

話題の「Claudeボット」とはどんなツールで、どんなリスクがありますか？

自分のパソコンをサーバーにしてClaude Codeを動かし、SlackなどからメンションするだけでAIエージェントが自律的にファイル操作などをこなしてくれる非公式のオープンソースツールです。動作が自律的でコントロールしきれないことや、ネットワーク経由で自宅環境を踏み台にされるリスクがあるため注意が必要とされています。

RunwayのAI動画識別テストの結果はどうでしたか？

Runwayで作った動画と実写動画を混ぜて見分けるテストを約1000人に実施したところ、正答率は57.1%でした。50%に近いほど区別がつかないことを意味し、番組内でパーソナリティ二人が実際に挑戦しても簡単には見分けがつきませんでした。

サムスンのGemini搭載冷蔵庫は何ができますか？

冷蔵庫内をカメラで撮影し、Geminiが食材を判断することで理論上無限の食材を認識できるようになりました。手書きラベルの読み取りや献立提案、不足している食材の自動注文といった機能も紹介されています。

この回を聴く

「おちつきAIラジオ」は、日々のAIトピックを現役のAIエンジニア（しぶちょー）と元刑事のポッドキャストプロデューサー（かねりん）がやさしく解説する対談番組です。