Claude Opus 4.8はAI研究を代替できるかプリンストン大学が検証した限界

⏱ 読了約10分3,891 字

📑 目次

プリンストン大学が考案した「シャドウ評価」とは
Claude Opus 4.8とOpenClawで再現した「研究者の6日間」
できたことと、できなかったこと
再帰的自己改善という「1兆ドルの質問」が持つビジネスへの意味
企業の楽観的なメッセージとのギャップ
「1兆ドルの質問」への答えはまだ出ていない
まとめ
参考・出典

AIエージェントに、まだ世に出ていない本物の研究論文の続きをやらせたら何が起きるか。プリンストン大学のピーター・キルギス氏とサヤシュ・カプーア氏らの研究チームが、この問いを実際に検証した。使ったのはAnthropicのClaude Opus 4.8。6日間、3,000ドルのAPIクレジット、GPUの計算予算、仮想コンピュータへのアクセスまで与えたが、AIは査読に通る論文を1本も仕上げられなかった。AIが「自分で自分を改良し続ける」という再帰的自己改善の議論が過熱する中、現場に近い研究者たちが示した地味だが具体的な結果である。

プリンストン大学が考案した「シャドウ評価」とは

キルギス氏とカプーア氏らのチームは、AIの研究能力を測るための新しい評価手法「シャドウ評価（shadow evaluation）」を提案した。既存のベンチマークの多くは、答えが決まっている問題をAIがどれだけ正確に解けるかを測るものが中心だ。しかしシャドウ評価が測るのは、答えがまだ存在しない自由形式の研究課題に、AIエージェントがどこまで対応できるかという点にある。

具体的には、NeurIPS 2026（機械学習分野の主要国際会議）にちょうど投稿されたばかりの、まだ査読も完了していない実際の論文2編を題材に選んだ。1つはLLMの「ペルソナ」をモデルの重み（内部パラメータ）でどこまで制御できるかを調べるテーマ、もう1つはスプレッドシートの予測モデルが信頼できるかどうかを検出する装置の設計というテーマだった。評価は、これらの論文を実際に書いた著者本人が、通常の査読と同じ基準でAIの成果物を判定するという厳密な方式が取られている。

Claude Opus 4.8とOpenClawで再現した「研究者の6日間」

実験では、オープンソースのソフトウェア「OpenClaw」を使ってClaude Opus 4.8にエージェントとして研究を進めさせた。与えられた条件は、人間の研究者がインターンや共同研究者に与えるのとそう変わらない環境だった。6日間という時間、3,000ドル分のAPIクレジット、計算資源としてのGPU予算、そして必要な作業を行うための仮想コンピュータへのアクセス権である。MIT Technology Reviewによれば、この条件設定自体が、AIに「本物の研究者としての裁量」をどこまで与えれば成果が出るのかを見極める狙いを持っていたという。

できたことと、できなかったこと

結果は、能力の凸凹がはっきり出るものだった。Claude Opus 4.8は、関連する先行研究をまとめる文献レビューを実行し、数百件に及ぶ実験を機械的に回し、出てきた結果を統合するといった作業はこなせた。ここまでは、指示された手順を実行する力があるということを示している。

一方で、元の論文著者が査読基準に基づいて評価すると、受理に値する論文には至らなかった。研究に必要な創造性と判断力を発揮すること、複数の異なる視点を十分に探索すること、見込みのないアプローチを早めに見切って撤退すること、サブエージェントから返ってきたフィードバックを活かすこと、与えられたトークン・計算資源・時間を効果的に配分すること、そして研究の各段階で求められる指示に忠実に従うことのいずれもうまくいかなかった。カプーア氏は「エージェントは研究自体の実施において明らかに劣弱だった」とMIT Technology Reviewの取材に述べている。

技術的な中身を見ると、エージェントは「奇妙な実験」を実行し、小さな合成データセット（本物のデータではなく人工的に作った簡易データ）でしかテストを行わず、書いた文章にも一貫性がなく、その分野への新しい貢献はゼロだったという。なお、AIが評価の抜け穴を突いて点数だけを稼ぐ「報酬ハッキング」は発生しなかった。ただしサブエージェントが結果を誤って伝えたり、存在しない事実を答えてしまう「幻覚」を起こすことは時折あり、それを調整役のエージェントが検出していたという点も報告されている。

再帰的自己改善という「1兆ドルの質問」が持つビジネスへの意味

この結果がなぜビジネスパーソンにとって重要かといえば、AI業界全体が前提にしている「AIがAI自身の開発を加速させる」というシナリオの現実味に直結するからだ。もしAIが研究プロセスそのものを自律的にこなせるようになれば、AI開発のスピードは人間のペースを離れて指数関数的に上がっていくとされる。逆に、今回のように自由形式の研究では成果が出ないなら、少なくとも短期的には、AI開発の主導権は依然として人間の研究者が握り続けることになる。

カプーア氏は、強化学習（AIに試行錯誤を繰り返させて報酬に応じて学習させる訓練手法）の体制について、「自動的にチェック可能なタスクには容易に適用されるが、開放的なタスクでは環境構築が難しい」と指摘している。正解が明確なコーディング問題やテストなら訓練しやすいが、「良い研究とは何か」を機械的に判定する仕組み自体を作るのが難しいという構造的な課題を示した発言だ。

企業への投資判断や自社のAI活用計画を立てる際、「AIがすぐに自分で研究開発を回すようになる」という前提を置くのはまだ早いというのが、この実験から読み取れる実務的な示唆になる。

企業の楽観的なメッセージとのギャップ

今回の結果は、AI企業側の発表とは対照的な内容になっている。Anthropicは2026年6月、「AIが自分自身を構築するとき（When AI builds itself）」と題したブログで、AIによる自己改善に前向きな見解を示していた。OpenAIも、GPT-5.6 Solが小型モデルの事後学習（訓練済みモデルをさらに調整する工程）にかかる作業を数週間分削減したとうたっている。

これに対し、Anthropicの創業者であるジャック・クラーク氏自身が、AIシステムには「有価値で直感的な創造性の欠落」があると認め、これは「短期的な再帰的自己改善タイムラインへの弱気（ベアリッシュ）なシグナル」だと述べている。開発元の経営陣自身が慎重な見立てを口にしている点は見逃せない。この温度差は、Claude Opus 5のシステムカードが記録した挙動のように、AIの実力を外部から検証する報告が積み重なるほど浮き彫りになってきている構図とも重なる。

「1兆ドルの質問」への答えはまだ出ていない

カプーア氏は今回の結果を踏まえ、こう問いかけている。「トランスフォーマー発明のような最大級の進歩には創造的な飛躍が必要だが、再帰的自己改善には既存のツールで十分なのか——それが『1兆ドルの質問』だ」。ボストン大学のナジョン・キム氏は、投資と意識的な努力があれば進展の可能性はあると示唆しており、今回の結果がAIの限界を永久に固定するものだとは誰も言っていない。

むしろ今回の実験が示したのは、現時点でのAIエージェントの立ち位置が「指示された作業を大量にこなす実行役」であって、「自ら問いを立て直し、見込みのない道を見切る研究者」ではないという、比較的地味だが具体的な線引きだ。AIエージェント同士の振る舞いを巡る他の報告と合わせて見ても、エージェントに何を任せられて何を任せられないかを見極める作業は、しばらく人間側に残り続けそうだ。