子供はAIの10万分の1のデータで言葉を覚える理由

⏱ 読了約9分3,446 字

📑 目次

子供は1億語、AIは10万倍のデータ量が必要
BabyLMコンペが問う「発達的に妥当な」学習量
GPT-BERTがLlama 2 70Bを一部で上回った
ゴプニックの「能動学習仮説」——子供はなぜ効率的に学べるのか
ビジネスパーソンへの示唆——AIの限界を正しく理解する
今後の展望——低リソース言語とAI研究の民主化
まとめ
参考・出典

子供は3歳になる頃には、文法的に正しい文章を自在に操れるようになる。生涯を通じて耳にする言葉の量は、多くても1,000万語から3,000万語程度にすぎない。一方、大規模言語モデル(LLM)が同じレベルの言語能力を身につけるには、人間が母語を学ぶときに触れる量の10万倍にあたるデータを必要とする。この差がどこから生まれるのかは言語学とAI研究の双方でいまだ解明されていない謎であり、AIの実力を見誤らないためにビジネスパーソンも知っておく価値がある。

子供は1億語、AIは10万倍のデータ量が必要

言語豊かな家庭で育つ子供は、20歳になるまでにおよそ1億語の言葉を耳にすると推計される。米MIT Technology Reviewの報道によれば、これはスタンフォード大学のマイケル・フランク氏の研究室が導き出した数字だ。

一方、LLMが人間並みの文法能力を獲得するには、人間が母語学習で経験する量の10万倍規模のデータが必要とされる。同記事は、Anthropicの対話型AI「Claude」が学習で扱ってきた言語量について「ある都市の1世代分がまるごと経験する言語量に相当する」という例えを用いている。これはあくまで記事側の比喩的な表現であり、Anthropicが公式に発表した数値ではない点に注意したい。

子供とAIのこの隔たりは、単なる技術トリビアではない。同じ結果にたどり着くための効率が桁違いに違うという事実は、AIの「賢さ」の正体を考え直す材料になる。

BabyLMコンペが問う「発達的に妥当な」学習量

この謎に正面から挑む研究の一つが、UCサンディエゴのアレックス・ワースタット氏とレシェム・ショシェン氏が主催する「BabyLMコンペティション」だ。毎年開催されるこのコンペでは、参加者が子供の発達過程に近い「発達的に妥当な」データ量――具体的には1億語(幼児向けトラックでは1,000万語)のコーパスだけを使ってモデルを訓練し、性能を競う。学術会議CoNLLに採択された公式報告書によれば、この取り組みは人間とAIのデータ効率の差を埋めることを目的としたコミュニティ活動として位置づけられている。

通常のLLMが数千億語から数兆語規模のテキストで訓練されるのに対し、BabyLMは子供が実際に耳にする言葉の量に条件をそろえる。データ量を人間並みに制限した状態で、モデルの言語能力をどこまで引き出せるかを検証する取り組みだ。

GPT-BERTがLlama 2 70Bを一部で上回った

2024年のBabyLMコンペで優勝したモデル「GPT-BERT」は、学習データの量がMetaの「Llama 2 70B」の15,000分の1しかないにもかかわらず、一部のベンチマークでLlama 2 70Bを上回る結果を出した。MIT Technology Reviewの記事が伝えている。

この結果は、モデルの性能が学習データの量だけで決まるわけではないことを示している。少ないデータでも、設計次第で高い言語能力を引き出せる余地があるということだ。

ゴプニックの「能動学習仮説」——子供はなぜ効率的に学べるのか

子供の言語習得を巡っては、長年二つの立場が対立してきた。言語学者ノーム・チョムスキー氏は、子供が触れる言語のサンプルだけでは複雑な文法を説明しきれないとする「刺激の貧困」論を唱え、人間には生まれつき文法の知識が備わっていると主張した。対して心理学者B・F・スキナー氏は、言語も他の行動と同じく経験からの学習で獲得されるという行動主義の立場を取った。初期の記号処理型AIはチョムスキー流のルールベース設計を採用したが、ニューラルネットワークが登場するまで実用的な成果を出せずに行き詰まった。

近年注目されるのが、カリフォルニア大学バークレー校のアリソン・ゴプニック氏が唱える「能動学習仮説」だ。子供は与えられたデータを受け身に処理するのではなく、探索や実験を通じて自分が学ぶ対象を能動的に選び取っているという説である。ゴプニック氏は、子供が周囲の環境に予測可能な形で働きかける力――「エンパワーメント」と呼ぶ――を最大化しようとしていると説明する。

この仮説を検証するため、実際の子供の学習環境を記録するプロジェクトも進む。フランク氏の研究室が手がける「SAYCam」プロジェクトでは、生後6カ月から2歳半までの乳幼児3人を対象に、週2時間分の映像を記録した。プリンストン大学のウリ・ハッソン氏はさらに踏み込み、17人の子供の生後1,000日間について、家庭で1日12時間分の音声・映像データを記録する新たなデータセットを構築している。子供が実際にどんな言葉をどんな状況で耳にしているのかを、丸ごと捉えようという試みだ。

ビジネスパーソンへの示唆——AIの限界を正しく理解する

この研究がビジネスパーソンにとって持つ意味は、AIの実力を過大評価しないことにある。LLMは大量のデータと計算資源を投入すれば流暢な文章を生成できるが、それは子供のような効率的な学習をしているわけではない。フランク氏は「GPT-2を3,000万語で訓練すると、意味不明な文章生成機ができあがる。子供にはならない」と述べている。同じ量のデータを与えても、子供とAIでは根本的に異なる仕組みで言葉を獲得しているということだ。

AIが人間のように「理解」しているかどうかという論点は、本誌がAI意識論争は罠だと指摘する記事で取り上げた通り、慎重な扱いが必要なテーマだ。今回の研究結果は、AIの言語能力の高さが必ずしも人間的な知性や理解の証拠にはならないことを、データ効率という別の角度から裏づけている。業務でAIを使う際も、流暢な出力の裏にある学習プロセスの違いを踏まえておくと、過度な期待や誤解を避けやすくなる。

少ないデータで高い性能を引き出す研究は、AI開発の効率化にも直結する。学習データの絶対量に頼らずに済む設計が確立すれば、大量のデータや計算資源を持たない企業や研究機関でもAI開発に参入しやすくなる。生体の仕組みからAI開発のヒントを得ようとする動きは他にも広がっており、Encordが脳波データで物理AIロボットを訓練する取り組みもその一例といえる。

今後の展望——低リソース言語とAI研究の民主化

データ効率を高める研究は、実用面でも意味を持つ。チェコ語やノルウェー語、サーミ語のように利用できるテキストデータが限られる言語では、既存のLLMの手法をそのまま適用しにくい。少ないデータで学習できるモデル設計が確立すれば、こうした言語向けのAI開発を後押しできるとされる。

限られた計算資源しか持たない研究機関にとっても、大量のデータに頼らない学習手法は参入障壁を下げる。MIT Technology Reviewの記事は、LLMが今や「言語学の実験ネズミ」として機能しつつあると結んでいる。人工システムと生物システムの仕組みは根本的に異なるものの、両者を並べて比較することで、言語と知性の関係についての理解が今後さらに深まる可能性がある。