GPT-5やGemini-3、忘れたはずの事実65%を復元

📑 目次

1. GPT-5もGemini-3も「知っているのに答えられない」
2. 事実の95〜98%は保持済み、直接答えられるのは7割強
3. 「長く考えさせる」ことで40〜65%を復元できる
4. モデルを大きくしても「アクセス」の問題は解決しない
5. 聞き方ひとつで正答率が変わる——ビジネスへの影響
6. 企業はRAGや推論コストをどう見直すべきか
7. まとめ
8. 参考・出典

Googleの研究チームとイスラエル工科大学（テクニオン）が、最先端のAIモデルについて興味深い調査結果を発表した。GPT-5やGemini-3などの主要モデルは、実は聞かれた事実の95%以上を内部に保持しているにもかかわらず、単純な質問形式では答えられないことが多いという。ところが、AIに時間をかけて段階的に考えさせる「Chain-of-Thought（段階的に考えさせる手法）」を使うと、そうした「思い出せない」はずの事実のうち最大65%を正しく答えられるようになった。この結果は、企業がAIの精度を上げるために大きなモデルへ投資する前に、まず「考えさせ方」を見直すべきだということを示している。

GPT-5もGemini-3も「知っているのに答えられない」

この研究は2026年9月1日にVentureBeatが報じたもので、Google ResearchとTechnion（テクニオン、イスラエルの理工系大学）の共同チームによるものだ。研究チームはGPT-5、Gemini-3、そしてGoogleのオープンウェイト軽量モデル群Gemma3（パラメータ数1B〜27Bの各サイズ）を含む合計13種類の大規模言語モデル（LLM）を対象に、400万件以上の応答を分析した。

調査の出発点になったのは、「モデルが答えを間違えたとき、それは本当に知らないからなのか」という素朴な疑問だ。結果、最先端モデルは事実の95〜98%をすでに内部に「符号化」——つまり情報として保持——していることが分かった。つまり多くの誤答は、知識が無いからではなく、持っている知識を引き出せないことが原因だったのである。

事実の95〜98%は保持済み、直接答えられるのは7割強

研究チームは、Wikipediaから抽出した2,150個の事実を使う独自のベンチマーク「WikiProfile」を構築した。同じ事実を、文脈を補って答えさせる形式、選択肢から選ばせる多肢選択形式、聞き方や方向を変えた形式など複数のパターンで質問し、モデルの知識状態を5段階に分類した。「直接想起」（すぐ正答できる）、「符号化失敗」（そもそも情報を持っていない）、「想起失敗」（持っているのに引き出せない）、「思考による想起」（段階的に考えさせると正答できる）、「符号化なしの推論」（その事実自体は持たないが関連知識から論理的に導ける）の5種類だ。

この分類で見ると、全事実のうち直接には答えられない割合は26〜34%にのぼった。ただし、そのうち実際に長い思考が必要だったのは10〜20%にとどまり、残りは質問形式を工夫すれば直接引き出せることも判明した。

「長く考えさせる」ことで40〜65%を復元できる

最大の発見は、符号化はされているが直接には思い出せない事実について、Chain-of-Thought（段階的に考えさせる手法。AIに途中の思考過程を出力させながら答えに近づかせる方法）を使うことで、40〜65%を正しく復元できたという点だ。これは、モデルが答えを出す前に「じっくり考える」プロセスを与えるだけで、すでに持っている知識にたどり着ける可能性があることを意味する。Claudeの拡張思考機能のように、実務でも「考える時間」を調整できる機能が増えているが、今回の研究はその効果を裏付ける材料になる。

モデルを大きくしても「アクセス」の問題は解決しない

研究チームはGoogleのオープンウェイトモデルGemma3を使い、パラメータ数を1Bから27Bに拡大する実験も行った。その結果、事実を内部に持てないまま終わる「符号化失敗」の率は85%から23%へと大きく改善した。モデルを大きくするほど、情報をきちんと蓄えられるようになるということだ。

ところが、情報は持っているのに引き出せない「想起失敗」の率は、逆に40%まで悪化した。研究チームはこの結果について「スケーリングが主に解決するのは『保存』の問題であって、『アクセス（引き出す）』の問題ではない」と指摘している。つまり、より大きく賢いモデルを訓練しても、記憶にたどり着く力そのものは自動的には向上しないということになる。

聞き方ひとつで正答率が変わる——ビジネスへの影響

この研究がビジネスパーソンにとって重要なのは、AI活用のコスト構造に直結するからだ。Google Researchのリサーチサイエンティスト、Nitay Calderon氏は「事実を間違えたとき、よくある対処法はより大きなモデルを訓練するか、データを増やすことだ。しかしどちらもコストが高く、その事実がすでに符号化済みなら、どちらも助けにならない」と述べている。

研究ではさらに、事実がメジャーかマイナーかによって想起できる割合に25ポイント以上の差が出ることや、同じ事実でも聞く方向によって正答率が変わる現象も確認された。例えば「Oasisが初ライブを演奏した場所」を問われれば答えられても、「Boardwalkという場所で初ライブをしたバンドは誰か」と逆方向から聞かれると答えられないケースがあるという。一方、選択肢を提示する多肢選択形式にすると正答率が上がることも分かった。つまり、AIチャットボットの回答精度は、モデルの性能だけでなく「聞き方」の設計にも左右されるということだ。

Calderon氏は企業活用への警告も加えている。「企業固有の専門的な事実は、そもそもモデルの内部に符号化されていない可能性が本当にある」というのだ。百科事典的な一般知識とは違い、社内文書のような特殊なデータについては、今回の「引き出し方を工夫すれば正答できる」という話が必ずしも当てはまらない。AIが「知っている」とはどういうことかという問いは、意識をめぐる論争とは別の角度からも、実務上の判断材料として重みを増している。

企業はRAGや推論コストをどう見直すべきか

VentureBeatの記事は、実務者への具体的な提言も紹介している。まず、RAG（検索拡張生成。外部データベースを検索してから回答を作らせる手法）を万能薬と見なさないことだ。すでにモデルの内部に符号化済みの事実に対してRAGを使うと、検索にかかる時間とコストが無駄になってしまう。

次に、推論時間を使う「じっくり考えさせる」処理を、すべての問い合わせに一律で有効にしないことも重要だという。Claude Opus 5を使った別の研究でも推論戦略の工夫が精度向上の鍵になっていたが、今回の研究も同様に、どのクエリで長考させるかを選別する設計の重要性を示している。加えて、モデルは答えを一から作るより、出てきた答えが正しいかを検証する作業の方が得意なため、「生成してから検証する」ループを組み込むことや、ベンチマークの正答率だけでなく同じ事実を異なる言い回しで聞いても答えられるかをテストすることも提案されている。研究チームはこのWikiProfileベンチマークの評価コストが約500ドルにとどまることや、Hugging Face上で公開されていることも明らかにしており、企業が自社のコーパスに応用して同様の検証を行う道も開かれている。

まとめ

GPT-5やGemini-3のような最先端モデルは、事実のほとんどを内部に持ちながら、聞き方次第でそれを引き出せずにいる。モデルを大きくすることは知識の「保存」を助けても「引き出す力」は別の問題であり、企業はコストのかかる大規模化よりも、推論の使い方そのものを見直す方が近道になり得る。

参考・出典

• VentureBeat
• aigeek.biz「Claudeの『じっくり考える』設定はいつ使う？」
• aigeek.biz「AI意識論争は罠、チョウドリー氏が指摘」
• aigeek.biz「Nvidia研究、Claude Opus 5で正解率100%」

---