Subquadratic、LLM計算を56倍高速化と主張

⏱ 読了約6分2,271 字

📑 目次

「二次の壁」とは何か
56倍・1/325のコスト——並ぶ強気の数字
「自分で言っても信用されない」——根強い懐疑
なぜ重要か——本当なら、土台が変わる
まとめ
参考・出典

米マイアミのAIスタートアップSubquadraticが、大規模言語モデル（LLM＝大量の文章で学習した文章生成AI）を約10年間しばってきた計算上の限界を突破したと主張し、業界の注目と懐疑を同時に集めている。同社は自社モデル「SubQ」が、標準的な高速化技術より約56倍速く動き、コストを劇的に下げると発表した。ただし第三者による完全な検証はこれからで、専門家の評価は「トランスフォーマー以来の大発見か、AI版セラノスか」と真っ二つに割れている。誇大宣伝とブレークスルーを見分ける目が、いま試されている。

「二次の壁」とは何か

現在のLLMは、文章中の各単語を、ほかのすべての単語と照らし合わせて意味を計算する「アテンション」という仕組みで動く。この方式は、文章が2倍長くなると計算量がおよそ4倍に膨らむ。MIT Technology Reviewによれば、1万語の文章では約5,000万回の掛け算が必要になるという。文章が長くなるほど計算が爆発的に増えるこの性質が「二次（quadratic）の壁」と呼ばれ、LLMが電力を大量に食う一因とされてきた。Subquadraticは、すべての単語同士ではなく重要な関係だけを選んで計算する「疎なアテンション」で、この壁を越えたと説明する。

56倍・1/325のコスト——並ぶ強気の数字

同社が公表した数値は強気だ。基準速度テストで主要な高速化技術より約56倍速く、扱える文脈は最大1,200万トークン（一般的なモデルの約12倍）、ある処理のコストは2,600ドルに対して8ドルで済むという。コーディング性能の指標LiveCodeBenchでは89.7%を記録し、トップ級モデルに並ぶとする。共同創業者で最高経営責任者のジャスティン・ダンゲル氏は「効率の新時代の幕開けになればと考えている」と語り、「数年後には誰もトランスフォーマーの上で開発しなくなる」とまで踏み込む。

「自分で言っても信用されない」——根強い懐疑

一方で、専門家の警戒は強い。当初の懐疑は、テストスコアが自社公表である点と、外部からの利用が限られている点に向けられた。さらに同社は、モデルをゼロから学習させたのではなく、中国発のオープンソースモデルQwenの重み（学習済みパラメータ）を再利用していた。これは「再発明」という主張を弱める材料だ。第三者検証を担ったAppenはアーキテクチャの主張を一定程度裏付けたが、同社のジャニーン・シナナン＝シン氏は「衝撃的な結果ほど、自分で言っているうちは信用されにくい」と釘を刺す。元OpenAIのAI研究者ウィル・デピュー氏も「本物で有用なものを作った可能性はある。しかし、二次のアテンションの壁を解決したという強い主張を正当化するだけの公開された証拠は、まだない」と結論づけた。

なぜ重要か——本当なら、土台が変わる

もしSubquadraticの主張が正しければ、影響は一企業の業績にとどまらない。今日のAIブームは、2017年に登場したトランスフォーマーという基盤技術の上に築かれてきた。OpenAIがトランスフォーマー共同発明者のシェイザー氏を獲得したように、各社はこの土台をめぐって人材と資金を注ぎ込んでいる。その土台を別の方式が置き換えるなら、計算コストと消費電力の前提が崩れ、AIを使う企業の費用構造も変わりうる。トランスフォーマーが何を解決した技術だったかは、共同発明者ノーム・シェイザーの歩みを追った記事でも触れている。

まとめ

SubQの正体は、まだ確定していない。利用は約500社の待機リストに限られ、性能は主にコーディング用途で測られたものだ。強気の数字に飛びつく前に必要なのは、独立した再現検証である。「詳しそうに見える発表ほど慎重に」——この鉄則は、記事を読む側にも当てはまる。あなたなら、検証が出そろうまで判断を保留できるだろうか。