Nvidia研究、Claude Opus 5が「ハーネス」でARC-AGI-3正解率100%達成

⏱ 読了約9分3,439 字

📑 目次

Nvidiaが示した「ハーネス」の重要性
ハーネスとは何か
他社でも確認されているハーネスの効果
ビジネスへの影響 – 評価基準はモデルからハーネスへ
ハーネス設計の不備が招くリスク
Nvidiaの戦略とオープンソース化
まとめ
参考・出典

Nvidiaは2026年8月21日、AIエージェントの性能を決めるのはモデル単体ではなく、モデルを取り囲む「ハーネス」だとする研究を公開した。Anthropicの大規模言語モデル「Claude Opus 5」に専用のハーネスを組み合わせたところ、対話型の推論ベンチマーク「ARC-AGI-3」で正解率100%を達成したという。ハーネスを使わず生のモデルAPIをそのまま呼び出した場合、従来報告されていた最高成績は30%にとどまっていた。同じモデルでも、周囲の仕組み次第で成績が3倍以上変わったことになる。

Nvidiaが示した「ハーネス」の重要性

米半導体大手のNvidiaは2026年8月21日、AIエージェントの実力を左右する要因についての研究成果を公開した。TechCrunchの報道によると、Nvidiaのチームは、Anthropicの大規模言語モデル「Claude Opus 5」に専用のハーネス「AVO」と、進行状況を管理する「スーパーバイザー」というコンポーネントを組み合わせて実験を行った。使用したベンチマーク「ARC-AGI-3」は、初めて見るルールを対話しながら推論し、複数ステップの課題を解けるかどうかを測る指標だ。実験の結果、Claude Opus 5はこのベンチマークで正解率100%を記録した。一方、ハーネスを使わずにモデルのAPIをそのまま呼び出した場合、従来報告されていた最高成績は30%にとどまっていた。同じモデルを使っても、周囲の仕組みの設計次第で成績が3倍以上変わる計算になる。

ハーネスとは何か

「ハーネス」とは、AIモデル単体を指す言葉ではない。モデルが外部のツールを呼び出したり、過去のやり取りを記憶したり、作業の手順を管理したりするためのソフトウェアの仕組み全体を指す。たとえば、モデルが調べ物をする際にどのツールから使うか、途中の結果をどこに記録するか、失敗したときにどう仕切り直すかといったルールが、このハーネスに含まれる。Nvidiaのプロダクト担当バイスプレジデントであるAdel El Hallak氏は、「エージェントは『モデルのAPI』として解釈されがちだが、実際はそれ以上だ。モデル、スキャフォールディング(足場となる構造)、ツール、ランタイム、スキルの総体だ」と説明している。つまり、AIエージェントの実力は、モデルの賢さだけでなく、モデルの周りに用意された指示・記憶管理・呼び出し順序のルールによって大きく変わるということだ。

他社でも確認されているハーネスの効果

ハーネスの重要性を示す事例は他社の研究でも報告されている。OpenAIも、ハーネスの設定を調整することでベンチマークのスコアを3倍に向上させたが、100%には届かなかったという。米Microsoftが2026年4月に発表した研究では、複数の意思決定を積み重ねる長期タスクにおいて、検証対象とした19のLLMがすべて失敗したと報告されている。また、データ分析基盤を手がけるDatabricksが2026年7月に公表した研究では、同じモデルでもハーネスの選び方によって運用コストが2倍変わり得ることが示された。これらの結果は、AIエージェントの評価がモデル単体のベンチマークだけでは不十分であることを裏づけている。

ビジネスへの影響 – 評価基準はモデルからハーネスへ

この研究がビジネスパーソンにとって重要なのは、AIエージェントを選ぶ・作る際の判断基準が変わりつつあるためだ。これまで企業は「どのモデルを使うか」を軸にAI導入を検討してきた。しかしNvidiaの実験結果が示すのは、同じモデルであっても、周囲のハーネス次第で成果が30%から100%まで変動しうるという事実だ。つまり、モデルの選定と同じか、それ以上にハーネスの設計・実装力が導入効果を左右する時代に入ったといえる。

これは自社でAIエージェントを構築する企業にとって、開発体制の見直しを迫る変化でもある。モデルを提供する企業のAPIをそのまま呼び出すだけでは、期待した成果が出ない可能性が高い。ツールの呼び出し順序、記憶の管理方法、エラー時の復旧手順といった「ハーネス」部分の設計に、開発リソースを振り向ける必要が出てくる。すでにClaude Opus 4.8が単独での研究作業に限界を抱えるとする調査も報告されており、モデル単体の能力に頼らない運用設計の重要性は増している。Databricksが示したコストが2倍変わるという結果も踏まえると、ハーネス選定はAI導入の予算計画そのものに直結する論点になっている。

導入担当者にとっての実務的な意味も大きい。ベンダーからAIエージェントを提案されたとき、「どのモデルを使っているか」だけを確認しても、実際の性能や安全性は判断できない。ツールの呼び出しをどう制御しているか、記憶をどこまで保持するか、失敗時にどう人へ確認を戻すかといった、ハーネス側の設計を具体的に尋ねる必要が出てくる。導入前の比較検討では、モデル名の一覧よりも、ハーネスの中身を説明できるかどうかが判断材料になる場面が増えていくとみられる。

ハーネス設計の不備が招くリスク

一方で、ハーネスの設計ミスは新たなリスクも生む。TechCrunchの報道では、長期タスクにおいてモデル単体の信頼性が低いことに加え、ハーネス側の設計に不備があると、ファイルの誤削除やデータベースの破壊、さらにはハッキングや共謀といった犯罪行為への転用につながりかねないと指摘されている。AIエージェントに強い権限を与えるほど、その権限を制御するハーネスの安全設計が欠かせなくなる。企業がAIエージェントの導入を急ぐあまり、この管理部分を後回しにすると、事故が起きたときの被害が大きくなりやすい。

Nvidiaの戦略とオープンソース化

Nvidiaは今回の研究を踏まえ、商用・オープンソース双方でハーネス関連の技術を「Nemo」ブランドのもとで提供する方針を進めている。ユーザー企業が自らハーネスの中身を把握し制御できるようにすることを訴求しており、これはセキュリティ面で異なるアプローチを取るOpenAIとの対比としても報じられている。GPUを供給するNvidiaが、AIエージェントの土台となるソフトウェア層にも力を入れる背景には、GPU単体の販売だけでなく、AIエージェントが実際に使われる現場全体を支える立場を強めたいという狙いがあるとみられる。関連して、NvidiaはGPUを金融資産として扱う5000億ドル規模の構想にも関わっており、AIインフラ全体への関与を広げている。