Nvidia、AIモデル間の引き継ぎを線形回帰だけで最大25倍高速化・278ミリ秒に短縮

⏱ 読了約9分3,674 字

📑 目次

AIモデルの”引き継ぎ”にかかっていた時間
Nvidiaが見つけた、学習不要の変換方法
従来の再計算より最大25倍速く、278ミリ秒に短縮
なぜ重要か——コストと速度の壁を崩す
万能ではない——精度が届かなかった組み合わせ
今後の課題
まとめ
参考・出典

Nvidiaの研究者が、複数のAIモデルを連携させる際の”引き継ぎ”を、追加の学習をせずに最大25倍速くする手法を発表した。32,768トークンの長い文章をQwen3の140億パラメータモデルから320億パラメータモデルに引き継ぐ場合、従来7秒かかっていた処理が278ミリ秒に短縮されたという。企業が複数のAIモデルを組み合わせて使う際、速度とコストの両方が壁になっていたが、シンプルな計算だけでその壁を崩せる可能性が出てきた。

AIモデルの”引き継ぎ”にかかっていた時間

複数のAIモデルを組み合わせて使う場面が増えている。長い文章を読ませるときは賢く重いモデルに任せ、その後の簡単なやり取りは軽くて安いモデルに引き継ぐ、という使い分けだ。しかし、この引き継ぎには思わぬ手間がかかっていた。引き継ぎ先のモデルは、前のモデルが読んだ会話の内容を、もう一度自分の頭で読み直す必要があったのだ。

AIモデルは、長い文章を読んでいる間、単語ごとに「ここまで読んで、こう理解した」という途中経過のデータを内部に持ち続けている。これを使うことで、続きを読むときにいちいち最初から読み直さずに済む。この途中経過のデータのことを「KVキャッシュ」と呼ぶ。ところが、このKVキャッシュはモデルごとに形式がバラバラで、Aというモデルが持っているKVキャッシュを、Bという別のモデルにそのまま渡すことはできなかった。そのため引き継ぎのたびに、Bのモデルが会話全体を最初から読み直す「再計算」が必要になり、時間もコストもかさんでいた。

Nvidiaが見つけた、学習不要の変換方法

Nvidiaの研究者は、このKVキャッシュを、複雑な追加学習をせずに、シンプルな計算だけで別のモデル用に変換できることを発見したと発表した。VentureBeatが報じ、論文はarXivに掲載されている。使われた計算手法は「線形回帰」というもので、2つの数字の集まりの間にある単純な比例関係を、少ないデータから求める手法だ。深層学習のような大掛かりな再学習と違い、わずか500文字列程度の少量データがあれば済むという。

手法は3つの工程からなる。まず、モデルの中にある処理の単位(ヘッド)ごとに、この線形回帰を当てはめる。次に、引き継ぎ元と引き継ぎ先でモデルの層の数が違っても対応できるよう、変換に使う最適な層の組み合わせを自動で選ぶ。最後に、単語の並び順を示す情報を一度取り除く処理を行い、汎用性を高める。この並び順の情報は「RoPE」と呼ばれる位置エンコーディングの一種で、モデルが「何番目の単語か」を把握するために埋め込んでいるデータだ。これを取り除いてから変換することで、モデルの構造が違っても線形回帰が機能しやすくなるという。

従来の再計算より最大25倍速く、278ミリ秒に短縮

効果は数値で示されている。32,768トークン、日本語にして原稿用紙十数枚分に相当する長さの文章を、Qwen3の140億パラメータのモデルから320億パラメータのモデルに引き継ぐ場合、従来の再計算では7秒かかっていたのに対し、この線形変換を使うと278ミリ秒で済んだという。VentureBeatによれば、組み合わせ全体では従来の再計算に比べて2.7倍から25倍の速さになった。

精度も大きく損なわれていない。研究チームは6つのモデルの組み合わせで検証し、そのうち4つで73%から98%の精度を維持した。パラメータ数が8.8倍も違うLlama 3.1の80億パラメータモデルから700億パラメータモデルへの引き継ぎでも、72.8%の精度を保ったという。精度の評価には、推論力を測るARC-Challenge、常識的な判断力を測るHellaSwagとWinoGrande、幅広い知識と理解力を測るMMLU、数学の文章題を解く力を測るGSM8K、文章の自然さを測るWikiText-2、対話の理解力を測るCoQAという7種類のベンチマークが使われた。

変換の仕組みそのものについても数値が示されている。1つの層だけを使って変換した場合、キャッシュのばらつき(分散)のうち、キー側で56%、値側で32%しか再現できなかった。しかし複数の層を組み合わせて使うと、キー側で79%、値側で65%まで再現できるようになったという。

なぜ重要か——コストと速度の壁を崩す

この技術がビジネスに与える影響は小さくない。企業がAIを大規模に導入する際、複数のAIモデルを組み合わせたシステムを作るケースは増えているが、モデル間でのデータの引き継ぎ、つまりKVキャッシュのやり取りがボトルネックになりやすいとVentureBeatは位置づけている。長時間動き続けるAIエージェントや、複数のAIを使い分ける社内システムでは、モデルを切り替えるたびに何秒もの遅延やコストが発生しては実用に耐えない。

従来の類似手法は、モデルに追加の訓練(勾配を使った学習)を施す必要があり、使えるモデルの構造にも制約があった。今回の手法はこの追加学習そのものを不要にした点が大きい。学習済みの大きなモデルと小さなモデルを、そのままの状態で組み合わせられるようになれば、賢いモデルに重い処理をさせ、その後の軽いやり取りは安いモデルに任せるという使い分けが、遅延やコストの大きな増加なしに行えるようになる。Nvidiaが金融大手6社とGPU資産化で5000億ドル規模の構想を進めていることからも分かるように、AI基盤への投資は既に巨大な規模で動いており、その基盤を効率よく使い回す技術は投資回収の観点でも重みを増す。

万能ではない——精度が届かなかった組み合わせ

すべての組み合わせでうまくいったわけではない。Ministralという系統のモデルの一部の組み合わせでは、線形回帰だけでは十分な精度が出なかったという。研究チームはここで、2つの層・1,024個のユニットを持つ小さなニューラルネットワーク(MLP)に置き換える対応を取り、精度を90%以上まで回復させた。単純な計算だけで済ませられる場合と、多少複雑な仕組みが必要になる場合があるということだ。

Nvidiaは同時期、Claude Opus 5を使った別の研究で高い正解率を記録しているほか、記憶の使い方を効率化する研究を他にも進めているとされる。動的にメモリを間引く手法や、注意の向け方を突き合わせる手法、KVキャッシュ自体を圧縮して符号化する手法など、関連する研究が同時期に複数報告されており、AIモデルが会話をどう記憶し、どう受け渡すかという仕組みが、モデル自体の性能と同じくらい重要な研究テーマになりつつあるとVentureBeatは指摘している。

今後の課題

今回の発表はarXivに投稿された論文の段階であり、第三者による検証や、実際の企業システムへの組み込み事例はまだ報じられていない。速度と精度の両立が示された組み合わせがある一方、Ministralの例のように追加の工夫が必要なケースもあり、あらゆるモデルの組み合わせで同じ効果が出るとは限らない点には注意が要る。今後、どのモデル同士でこの手法が使えるのか、実際の運用でどこまでコストが下がるのかが、企業導入の判断材料になっていくとみられる。