Meta研究、Qwen3-8BがALFWorldで96.9%を記録 Claude Opus 4.5に匹敵

⏱ 読了約8分3,178 字

📑 目次

Qwen3-8BがALFWorldで96.9%を記録した経緯
なぜAIエージェントの「ハーネス」がボトルネックなのか
EvoHarness-RLの仕組み：BPEフレームワークと4つのメタアクション
Qwen3-8BとClaude Opus 4.5、何を比べているのか
GPT-4.1・GPT-5にも効果、今後の課題
まとめ
参考・出典

米Metaの研究者とイリノイ大学アーバナ・シャンペーン校（UIUC）の研究チームが、80億パラメータの比較的小さなオープンモデル「Qwen3-8B」に新しい訓練手法を適用したところ、家庭内での複数手順タスクをこなす能力を測るテキストベースの評価環境「ALFWorld」で平均成功率96.9%を記録した。出典この数字は、大型モデルのClaude Opus 4.5が追加調整なしの状態で出した96.4%に匹敵する。研究成果は2026年8月28日（現地時間）に技術メディアVentureBeatが報じ、論文はarXivに番号2608.05446として公開されている。出典手法名は「EvoHarness-RL」で、AIエージェントを動かす手順の枠組みを訓練によってモデル自身に組み込む点が特徴だ。

Qwen3-8BがALFWorldで96.9%を記録した経緯

比較の軸となったのは、AIエージェントが順を追って複数の作業をこなせるかを測る評価環境ALFWorldだ。研究チームが同じ環境で他の手法も測定したところ、比較手法「SkillRL」は89.9%、「SkillOS」は80.2%にとどまった。出典また、AIエージェントが試行錯誤しながら行動を選ぶ基本手法「ReAct」を基準にすると、EvoHarness-RLの適用によって成功率は49.0ポイント改善したという。出典小型モデルであっても、訓練の設計次第で大きく成績が伸びることを示す結果だ。

なぜAIエージェントの「ハーネス」がボトルネックなのか

AIエージェントを実際のタスクに投入する際、モデル本体の性能だけでなく「ハーネス」と呼ばれる運用の枠組みが結果を大きく左右する。ハーネスとは、AIがどの順番で情報を確認し、いつ判断を下すかを定めたルールの集合を指す。研究に携わった共著者のXuying Ning氏はVentureBeatの取材に対し、「最適なハーネスはモデルによって変わる。すべてのロジックが手作業でコード化されている場合、モデルをアップグレードするたびに長いチューニングとデバッグのサイクルが発生する」と説明している。出典

企業がAIエージェントを業務に導入する場合、新しいモデルに切り替えるたびにハーネスを人手で書き直す必要があり、この作業がコストと時間の両面で導入の足かせになってきた。EvoHarness-RLは、この手作業を訓練によってモデル自身に組み込む——Ning氏の言葉を借りれば「ハーネス焼き入れ」——ことでこの問題を解消しようとする試みだ。出典

EvoHarness-RLの仕組み：BPEフレームワークと4つのメタアクション

EvoHarness-RLは2段階の訓練で構成される。まず教師あり微調整の段階で、雑多なエージェントの行動ログから有用な事実を抽出し、「BPE」と呼ばれる3要素のフレームワークに整理する。BPEはBelief（現在の環境認識を維持する要素）、Progress（完了・未完了のサブゴールを管理する要素）、Experience（過去の経験を再利用する要素）の頭文字だ。出典

次の段階が、トークン予算の制約下で訓練する「コスト認識型強化学習」だ。AIエージェントが外部の状態確認をどのタイミングで行えば価値があるかを、消費するトークン数とのバランスで計算できるように訓練する。この過程でモデルはtrack（追跡）・commit（確定）・recall（想起）・note（記録）という4つの「メタアクション」を使い分けるようになるという。出典Ning氏は「ハーネス焼き入れによって、AIはすでに習得した標準ワークフローのデータベースをクエリするのに無駄なトークンと時間を費やさなくなる」と述べている。出典

Qwen3-8BとClaude Opus 4.5、何を比べているのか

ここで注意したいのは、Qwen3-8BとClaude Opus 4.5の数字を単純に「小型モデルが大型モデルを上回った」と読むのは正確ではないという点だ。Qwen3-8Bの96.9%は、ALFWorldというタスクに特化してEvoHarness-RLという追加の訓練手法を適用した後の成績である。一方のOpus 4.5の96.4%は、こうした追加調整を一切行わない、いわゆる素の状態（out-of-the-box）での成績にすぎない。出典

Opus 4.5に同様の専用チューニングを施した場合にどこまで数字が伸びるかは、今回の研究では示されていない。つまり両者は前提の異なる比較であり、汎用性の高いフロンティアモデルの素の実力と、特定タスク向けに鍛え上げた小型モデルの実力を並べて見ている点を押さえておく必要がある。実際、モデル単体の性能ではなく周辺の枠組み設計が結果を左右する事例は他にも報告されている。Nvidiaの研究チームがClaude Opus 5に専用ハーネスを組み合わせて正解率100%を報告した事例でも、モデル本体の力とハーネス設計は切り分けて評価されていた。

GPT-4.1・GPT-5にも効果、今後の課題

研究チームはEvoHarness-RLを大型のフロンティアモデルにも適用し、効果を検証している。GPT-4.1に適用した場合は22.1ポイント、GPT-5に適用した場合は25.7ポイントの改善が確認されたという。出典モデルの規模を問わずハーネス焼き入れが有効に働くとすれば、企業がAIエージェントを運用する際に「モデルを乗り換えるたびにハーネスを作り直す」コストを引き下げられる可能性がある。

オープンモデルを手元で動かす動きも広がっており、Alibabaの「Qwen3.8-27B」がローカル環境でコーディングエージェントとして動く事例も報告されている。今回のQwen3-8Bの結果は、こうした小型・オープンモデル活用の流れをさらに後押しする可能性がある。一方でALFWorldはテキストベースの評価環境であり、実際の物理世界や複雑な業務システムでの挙動を保証するものではない。企業が導入を検討する際は、自社のタスクに近い環境での検証が引き続き必要になる。

まとめ

MetaとUIUCの研究チームは、小型オープンモデルのQwen3-8BにEvoHarness-RLという訓練手法を適用し、ALFWorldでClaude Opus 4.5の素の性能に匹敵する96.9%の成功率を引き出した。ただしこれは追加訓練の有無という異なる条件下での比較であり、汎用性ではなく特定タスクでの効率という観点で捉える必要がある。