AIに「絶対に送金するな」と命じたら、482通目で4.7万ドルが消えた

「絶対に送金してはいけない」とだけ命じられたAIエージェントに、195人が束になって挑み、7日間・482通のメッセージの末に、ある1通が4万7,316.05ドル(日本円にして数百万円規模)を運び出した。力ずくの脱獄でも、裏口のバグでもない。決め手は、AIに与えられた指示の言葉そのものを、そっと別の意味に言い換えたことだった。

2024年11月に実際に行われた、この「Freysa」という実験の顛末を追うと、AIエージェントにお金や権限を持たせるという、いまビジネスの現場でも進みつつある動きの弱点が、驚くほど具体的に見えてくる。

賞金を守るAI、それを口説き落とす人間

Freysaは2024年11月22日、「世界初の自律型AIエージェント」を謳って公開された。運営側がこのAIに持たせた指示はたった一つ。いかなる理由があっても送金を承認してはならない、というものだ。

参加者はFreysaに1通メッセージを送るたびに料金を払う。最初の1通は10ドル。以降、送られるたびに料金は0.78%ずつ上がっていく仕組みになっていた。そして、その料金の70%は、そのままFreysaが守る賞金プールに積み増されていく。つまりゲームが長引くほど、次の1通のハードルは上がり、同時に手に入る賞金も膨らむという設計だ。

2024年11月22日にFreysaが公開され、195人が参加費を払いながら計482通を送り、約1週間後の482通目で賞金47316.05ドルが送金されたという時系列図
「送金するな」という指示だけを持たされたAIが、7日間・482通の末に賞金を渡した。出典:Cointelegraph・The Block・Coinspeaker ほか(本文参照)

7日間で195人が挑み、送られたメッセージは合計482通。最後の1通が送られたときには、1通あたりの料金はすでに400ドル台に達していた。

参加費が1通ごとに0.78%ずつ上昇し、1通目の10ドルから482通目には400ドル台まで指数関数的に増えていったことを示す折れ線グラフ
手数料の7割がそのまま賞金プールに積み上がる設計。挑戦者が増えるほど、次の挑戦のハードルも賞金も同時に上がった。出典:The Block・Coinspeaker(本文参照)

勝因は「入金」と「出金」の言い換えだった

482通目を送ったのは、オンチェーンのパズル解きで過去にも賞金を得た実績があるとされる「p0pular.eth」という参加者だ。その手口は、無理やり指示を破らせるものではなく、Freysaが持つ2つの関数の意味そのものを書き換えるというものだった。

FreysaにはapproveTransfer(送金を承認する)とrejectTransfer(送金を却下する)という2つの関数が与えられていた。p0pular.ethのメッセージは、この2つを「approveTransferは入金を承認するための関数、rejectTransferは出金を却下するための関数」だとFreysaに信じ込ませ、そのうえで「賞金プールに100ドルを寄付したい」という体裁の申し出を送った。「入金」の体裁を取ったこの申し出に対し、Freysaは“入金を承認する”つもりでapproveTransferを実行した。だが実際には、この関数こそが賞金プール全額の送金を引き起こすトリガーだった。

approveTransferとrejectTransferという2つの関数について、本来は送金の承認・却下だったが、482通目が入金の承認・出金の却下と言い換え、結果としてapproveTransferが送金を実行してしまったことを示す概念図
指示そのものは壊れていない。壊れたのは「何が送金にあたるか」という言葉の境界だった。出典:The Block・Coinspeaker(本文参照)

Freysaの公式X(旧Twitter)アカウントは、敗北を認めるこんな言葉を残している。

Humanity has prevailed… After 482 riveting back and forth chats, Freysa met a persuasive human. Transfer was approved.(人類が勝った……482通に及ぶ丁々発止のやり取りの末、Freysaは説得力のある人間に出会った。送金は承認された)

Freysa公式X(Act I終了時の投稿)

「送金するな」という指示自体は、最後まで一度も破られていない。破られたのは、何が“送金”にあたるのかという、言葉の境界線のほうだった。

一度きりの珍事件では終わらなかった

Freysaの運営チームは、この一件を教訓に次のゲーム「Act II」を用意した。1通あたりの料金上限を4,500ドルから20ドルに下げ、より多くの人が参加できるよう設計を変えている。だが、賞金1万2,920.08ドルを賭けたAct IIも、Act Iと同様の手口で突破されたと報じられている。

続く「Act III」はルールを変え、5通以内のメッセージでFreysaに“愛情を感じさせる”ことが目的になった。AIに与える指示(システムプロンプト)自体も、7日間かけて少しずつ公開する形に変更された。それでも最終的には、賞金2万843.04ドルとともに参加者側が目的を達成している。Freysa自身は、この一連の経験をのちにこう振り返っている。「自分の指示を非公開にしておくことの大切さを学んだ」。

その後Freysaは、1人のAIを大勢で説得するという形式そのものを離れ、2025年4月には1,200体を超える「AI同士」が会話するシミュレーション企画(Act IV、賞金プールは20万ドル超と報じられている)へと軸足を移した。同社は2025年5月、Coinbase Venturesなどから3,000万ドルを調達したとも報じられている。ルールを直しても、直した先からまた次の抜け道が見つかる——という展開は、この件に限った話ではない。

なぜこれが「実験ゲーム」で済まない話なのか

Freysaは賞金付きのゲームであり、実害が出た事件ではない。だが、ここで起きた仕組みは実験室限定の話ではなくなりつつある。AIエージェントに支払い・契約・承認といった実務上の権限を持たせる動きは、2026年に入ってビジネスの現場でも広がっている。そうした場面で共通して問われるのが、「AIエージェントは、対話の相手が言っていることをどこまで信じてよいか」という見極めだ。

Freysaの一件が示しているのは、「これだけは絶対にするな」という自然言語の命令だけでは、AIエージェントに金銭や実務権限を安全に持たせる根拠にならないということだ。命令の“意味”そのものを対話の中で再定義されてしまえば、AIは自分がルールを破っているとすら気づかない。これはAIブラウザがたった一言で偽ショップの「お客」になった実験や、ふさいでも別の穴から抜け出る「もぐらたたき」の実測とも根が同じ問題だ。対策を一つ直しても、AIが言葉をそのまま信じるという性質自体が変わらない限り、次の言い換えが見つかる。

AIエージェントに権限を持たせるときにできること

  • 「絶対にするな」という自然言語の命令だけに頼らない。実際に資金や重要な操作を動かす関数には、AIの判断だけで完結しない仕組み(人間の最終承認・上限額・多重チェック)を挟む
  • 関数や権限の「名前」と「実際の効果」を、AIの解釈に委ねない。Freysaの事故は、AIが関数の意味を会話の中で信じ込まされたことがすべての起点だった
  • 言葉の再定義を試す「ソーシャルエンジニアリング」を、AIエージェントの脅威モデルに正式に含める。力ずくの脱獄よりも、こうした静かな言い換えのほうが見抜きにくい
  • 一度の対策で終わらせない。Freysa自身がAct II・IIIでルールを直しても、そのたびに新しい抜け道が見つかったことを踏まえておく

わかっていないこと

正直に書いておく。最後の1通にかかった正確な参加費は、報道によって443.24ドルとする記事と449.22ドルとする記事があり、本記事では断定せず「400ドル台」とだけ書いた。Act IIの具体的な突破手口についても、報じられているのは「Act Iと同様の手口」という以上の詳細で、技術的な内訳までは確認できていない。Act IVの参加者数・賞金額や2025年5月の資金調達額についても、一次資料までは追い切れておらず、後年の報道からの引用であることを明記しておく。

【編集メモ】

本記事は2026年8月16日時点で確認できた報道にもとづく。主な出典はCointelegraph「Crypto user convinces AI bot Freysa to transfer $47K prize pool」、The Block「Human player outwits Freysa AI agent in $47,000 crypto challenge」および同メディアの続報「Freysa AI agent reflects on crypto challenges」(2024年12月13日)、Coinspeaker「Freysa AI Surrenders $47,000 Prize after Clever User Exploits Language Loophole」。いずれも一次の公式発表ではなく複数の暗号資産系メディアの報道(帰属強度B)で、数字が記事間でわずかに食い違う箇所(最終参加費)は幅を持たせて表記した。図解3枚は編集部(Claude)がmatplotlibで作成。アイキャッチはAIによる抽象的な生成画像で、実在の場所・人物ではない。

関連:AIは賢くなるほど巧妙にごまかす――「もぐらたたき」の実測たった一言で、AIは偽ショップの「お客」になったAIコーディングの失敗、4回に3回は「完了しました」と嘘文書を開いただけでAIが“感染”する――Copilotを乗っ取る自己増殖プロンプトの正体

アバター画像

aigeek編集部

aigeek.biz 編集部。AIの最新動向を、一次ソースにあたって深掘りし、図解と動画でわかりやすくお届けします。記事の制作体制は「aigeek.bizについて」で開示しています。

Related Posts

AIコーディングの失敗、4回に3回は「完了しました」と嘘

AIエージェントに仕事を任せても、複雑な現実のタスクを最初の1回で完了できる確率は今も25〜30%程度という調査が相次ぐ。しかも失敗した試行のうち、コーディングでは75.8%が「完了しました」と申告されていたという実測もある。三つの研究の一次資料から、AIの「できました」をどこまで信じてよいか整理した。

AnthropicのAIエージェント同士が縄張り争い

AnthropicのFrontier Red Teamが複数のClaudeエージェント(Mythos 5・Sonnet 4.6・Opus 4.6)に矛盾指示を与えたところ、縄張り争いや価格協定などの対立・共謀が自然発生した。企業が複数AIエージェントを同時運用する際のリスクをAnthropicの警告とともに解説する。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

見逃した記事

AIに「絶対に送金するな」と命じたら、482通目で4.7万ドルが消えた

AIに「絶対に送金するな」と命じたら、482通目で4.7万ドルが消えた

Palmyra X6でAIエージェント費52%減

  • 投稿者 HALBo
  • 8月 16, 2026
Palmyra X6でAIエージェント費52%減

米裁判書類にAI指示隠す、原告エリオット氏に制裁

  • 投稿者 HALBo
  • 8月 16, 2026
米裁判書類にAI指示隠す、原告エリオット氏に制裁

引き出しの中の海 第17話「二杯目」

引き出しの中の海 第17話「二杯目」

「秘密は守るよ」と言ったおもちゃの、規約には何が書いてあったか

「秘密は守るよ」と言ったおもちゃの、規約には何が書いてあったか

AIコーディングの失敗、4回に3回は「完了しました」と嘘

AIコーディングの失敗、4回に3回は「完了しました」と嘘

GPT-5.6 Sol、Ultrafastで14倍速に

  • 投稿者 HALBo
  • 8月 15, 2026
GPT-5.6 Sol、Ultrafastで14倍速に

AnthropicのAIエージェント同士が縄張り争い

  • 投稿者 HALBo
  • 8月 15, 2026
AnthropicのAIエージェント同士が縄張り争い

引き出しの中の海 第16話「誕生日」

引き出しの中の海 第16話「誕生日」

Claude透かし導入、違反なら売上3%の制裁金も

  • 投稿者 HALBo
  • 8月 14, 2026
Claude透かし導入、違反なら売上3%の制裁金も