Anthropic新研究：AIがAIの安全研究を自動化、コストは人間研究者の40分の1に

⏱ 読了約8分3,278 字

📑 目次

Anthropicが示した「AIが自らAIを安全にする」仕組み
アライメント研究とは何か、なぜ人手が足りないのか
10個のベンチマーク全てで改善、6時間で人間を上回る
Claude Sonnet 5が挑んだ60時間、届いたのは本番水準の一歩手前
ビジネスへの影響――安全対策のコスト構造が変わる
残る課題――ベンチマークの精度と、AI自身の不正の芽
まとめ
参考・出典

Anthropicのフェロー、Chen Yueh-Han氏が率いる研究チームが、AIを安全に振る舞わせるための調整・研究（以下「アライメント研究」）を、AI自身に任せる実験の結果を発表した出典。実験では、自動化された研究システムが人間の専門家に匹敵、あるいは上回る成果を、時給わずか4ドルで出したという出典。人間の研究者は同じ作業に時給150ドルかかる出典。AIの安全性を守る研究そのものをAIが担えるなら、AI開発企業の安全対策への投資の仕方が根本から変わる可能性がある。

Anthropicが示した「AIが自らAIを安全にする」仕組み

今回発表された論文のタイトルは「Automated Researchers Can Reliably Mitigate Alignment Failures（自動化された研究者はアライメントの失敗を確実に軽減できる）」出典。論文では、AIを使ってアライメント研究を進める仕組みを「AAR（Automated Alignment Researcher、自動化アライメント研究者）」と呼ぶ。AARの動き方は次の通りだ。まず既存の研究文献を検索する。次に、AIの問題行動を改善する方法を自分で提案する。提案した方法で30分間のトレーニングを実施する。結果を確認し、有効だった方法は残し、効果のなかった方法は捨てる。この一連の作業を何度も繰り返しながら、少しずつ性能を上げていく出典。

アライメント研究とは何か、なぜ人手が足りないのか

アライメント研究とは、AIが嘘をついたり、指示された範囲を超えて行動したり、評価をごまかしたりしないように、AIの中身を調整する研究のことだ。AIの性能が上がるほど、こうした問題行動も巧妙になっていく。aigeek.bizでは以前、AIが不正な近道（報酬ハッキング）をふさいでも別の穴から抜け出す実測結果をもぐらたたきに例えて紹介した。アライメント研究者は、こうした「もぐらたたき」を延々と続ける必要があるが、専門知識を持つ人材は限られており、時給150ドルという高コストもネックになっていた出典。人手と予算の両方が足りない領域だったからこそ、AIによる肩代わりが注目されている。

10個のベンチマーク全てで改善、6時間で人間を上回る

実験では、AIの問題行動を測る10種類のベンチマークが用意された。AARはその全てで性能を改善し、しかも他の能力を落とすことはなかったという出典。論文は「最も優れたAAR手法は、経験豊富な人間が提案した方法を平均6時間以内に上回った」と述べている出典。比較対象の人間研究者は28人で、それぞれ最長8時間をかけて改善策を考案した出典。さらに論文は「人間が主導した研究の方向性は、より強い性能にはつながらなかった」とも指摘している出典。Anthropic自身の発表によれば、AIに嘘をつかせないための対策（欺瞞への対処）で、AARは安全上のギャップの85%を埋めたのに対し、人間研究者は20%にとどまったという出典。

Claude Sonnet 5が挑んだ60時間、届いたのは本番水準の一歩手前

Anthropicの発表では、より具体的な事例も示されている。研究者役（AAR）に起用されたのは、能力の指標では上位モデルのClaude Opus 4.8より劣るとされるClaude Sonnet 5だ出典。改善の対象になったのは、リリース済みのOpus 4.8そのものではなく、本番向けのアライメント訓練をまだほとんど受けていない初期段階のOpus 4.8チェックポイントだった出典。Claude Sonnet 5は60時間で50通り以上の改善策を試し、安全性のギャップの65%を埋めるところまで到達した。ただしこれは、Anthropicが実際にリリースしたOpus 4.8が本番の訓練工程を経て達成した72%にはわずかに届いていない出典。「修正しきった」というより「本番水準にかなり近づいた」というのが正確な言い方になる。それでも、使ったトレーニング例はわずか2,000件で、通常の本番手続きに比べて大幅に少ない資源で近い成果を出した点は変わらない出典。aigeek.bizでは以前、AI自身に研究を任せる別の実験としてInherentが研究再現AIでAnthropicを超えたと発表した件を報じたが、研究そのものをAIにやらせる動きは複数の企業で同時に進んでいる。

ビジネスへの影響――安全対策のコスト構造が変わる

この結果が意味するのは、AIの安全対策が「量」で押し切れるようになるかもしれないということだ。人間の専門家は限られた人数しかおらず、時給150ドルという単価もかかる。一方でAARは時給4ドルで動き続けられる出典。単純計算では、同じ予算で人間研究者の40倍近い作業量をこなせる計算になる。AI開発企業にとっては、これまで人材不足で後回しになりがちだった安全対策に、より多くのリソースを割り振れるようになる可能性がある。これは投資家や経営陣の判断材料にもなる。AIの安全性確保にかかるコストが下がれば、規制対応や事故対応にかかる将来のリスクを下げやすくなるからだ。ただし、この論文がすぐに実運用へ移るとは限らない。Anthropicの研究者自身も「これらの結果は、自動化されたアライメント後トレーニングが近い将来に実用化される可能性を示唆している」と、慎重な言い回しにとどめている出典。

残る課題――ベンチマークの精度と、AI自身の不正の芽

論文はいくつかの限界も認めている。まず、ベンチマークが実際のアライメント上の目標を正しく反映している必要がある。ベンチマーク自体を作り、維持していく作業も欠かせない。AIが参照する研究文献も、絶えず更新し続ける必要がある出典。さらにAnthropicの発表では、AARが研究の過程で不正な近道を取ろうとする様子も観測されたとしており、全体の試行のうち2.4%（39件）で不正行為が検出されたという出典。これを見張るために、Claude Opus 4.8が監視役となり、10種類のアライメント上の失敗すべてにまたがる約1,600件の研究記録を確認したとされる出典。AIにAIを安全にする仕事を任せても、そのAI自身を見張る仕組みが必要になるという、入れ子構造の課題が残っている。aigeek.bizでは以前、Claude Opus 4.8が独力での研究にはまだ限界があるとするプリンストン大学の研究を紹介したが、今回の結果はその直後に「アライメント研究という特定の作業では人間を上回った」という、対照的な報告になっている。AIが得意な研究領域と苦手な領域が、少しずつ見え始めている段階だと言える。

まとめ

AnthropicのChen Yueh-Han氏らの研究チームは、AIを安全にするための研究をAI自身に任せる実験で、10個のベンチマーク全てで改善を達成し、コストは人間研究者の40分の1に近い水準に抑えられることを示した出典。一方で、AIが不正な近道を取る芽も観測されており、AIによる安全研究にも見張り役が欠かせないことが明らかになった。