aigeek編集部
「ニューラルネットって、結局、どうやって学ぶの？」と原さんが言いました。
きっかけは、私がジェフリー・ヒントンという研究者の名前を出したことでした。2024 年にノーベル物理学賞を受け、「AI のゴッドファーザー」とも呼ばれる人です。そう紹介したら、原さんは肩書きのほうにはあまり反応せず、こう続けました。「紹介文に『逆伝播』っていう言葉が出てくるんだけど、あれは何？ そもそも私たち、この連作で、ニューラルネットそのものを、ちゃんと説明したことあったっけ？」
言われてみて、気づきました。たしかに、ありませんでした。重みの話（第3話）はしました。多層の奥のほうの層を、誰も学習させられなかった、という宿題（第6話）も置きました。でも、ニューラルネットそのものが何で、それがどうやって学ぶのかを、正面から書いたことは、まだ一度もなかったのです。だから今回は、そこから書きます。そして、その「どう学ぶか」のまんなかに立っていたのが、ヒントンという人でした。
誰も解けなかった宿題
少しだけ、これまでの話をつなぎ直させてください。第3話で書いたのは、入力に「重み」という数をかけて足し合わせ、答えを出す ── そういう一段きりの仕組みでした。ただ、一段きりでは解けない問題があることが、1969 年にミンスキーたちの本で示されます（第6話）。では、段を増やせばいい。奥に層を足して、何段も重ねればいい。理屈はそうです。けれど、奥の層の重みを、どう直せばいいのか ── その方法を、当時は誰も知りませんでした。
表に近い層なら、答えとのズレを見て直せます。でも、入力と出力のあいだに挟まった「奥の層」は、答えから遠い。その一段が、最終的な間違いにどれだけ責任があるのか、測りようがなかったのです。この宿題のせいもあって、1960 年代の終わり、ニューラルネットの研究は長い冬に入りました。資金は細り、多くの研究者がこの分野を離れます。それでも研究を続けた人たちがいて、ヒントンは、そのなかにいました。
ニューロン一個から
宿題の答えに進む前に、約束どおり、ニューラルネットそのものを説明します。まず、いちばん小さな部品から。
部品は「人工ニューロン」と呼ばれます。やることは単純です。いくつかの入力が来る。それぞれに重みをかけて、全部足す。その合計がある高さを超えたら反応して、次へ信号を送る ── それだけです。
第3話で「重みを更新する」と書いた、あの重みは、この一本一本の線についている数のことです。重みが大きい線からの入力は、強く効く。小さい線は、あまり効かない。学ぶというのは、つまるところ、この無数の重みを、ちょうどいい値に調整していく作業です。
層に、重ねる
ニューロンが一個では、できることはたかが知れています。そこで、何個も横に並べて「層」を作り、その層を何段も縦に重ねます。入力を受け取る層、答えを出す層、そしてそのあいだに挟まる層。あいだの層を「隠れ層」と呼びます。層が深く重なっているから、ディープラーニング ── 深層学習です。
線の一本ずつに、重みがついています。大きなネットでは、その線が何百万本、何十億本とあります。さきほどの「奥の層」は、この図でいえば、まんなかの隠れ層のこと。答えから遠い、あの直しにくい場所です。
後ろへ、誤差を配る
では、どう学ぶのか。やり方は、こうです。まず、データを入り口から入れて、層から層へと前へ流し、いったん答えを出させます。次に、その答えを正解と比べて、ズレ ── 誤差を測る。そして、その誤差を、今度は出口から入り口へ向かって、後ろへ後ろへと配っていく。「お前は、この間違いにどれだけ効いた？」と、一本ずつの重みに責任を割り振っていくのです。割り振られた分だけ、各重みを少し動かす。これを、何百万回とくり返す。
この「誤差を後ろへ配る」手続きが、逆伝播です。ポイントは、後ろへ配る仕組みのおかげで、いちばん奥の層にまで、間違いの責任が届くこと。あの直しにくかった奥の層を、ようやく直せるようになったのです。ミンスキーたちが突きつけた「多層を、どうやって学習させるのか」という宿題への、ひとつの答えが、ここにありました。
「発明した」とは、言いにくい
ここで、正直に書いておきたいことがあります。「ヒントンが逆伝播を発明した」「逆伝播の父だ」── そういう言い方を、よく見かけます。でも、それは正確ではありません。
誤差を後ろへ配るという数学そのものは、ヒントンより前に、何人もの人が独立にたどり着いていました。1970 年にフィンランドのリンナインマーが、その計算法の原型を示しています。1974 年にはウェルボスが、博士論文のなかで、後に逆伝播と呼ばれる手続きの基礎を定式化しました。そして、1986 年に逆伝播を広めたあの論文も、ヒントンの単独ではありません。筆頭著者はデヴィッド・ラメルハート、第三著者はロナルド・ウィリアムズ。ヒントンは三人の真ん中、第二著者です。ラメルハート自身が、数年前に独立に同じ考えにたどり着いていた、とも言われます。
では、ヒントンは何をしたのか。1986 年、彼は二人の共著者とともに、この逆伝播が、多層のネットワークで本当に役に立つこと ── 奥の隠れ層が、データのなかの意味ある特徴を、自分でつかみ取れること ── を、実際に示してみせました。そして、その後の長い冬のあいだも、この手法を手放さず、有効性を示し続けました。原さんの言った「どういう意味で守ったのか」に答えるなら、たぶん、ここです。発明した人、ではなく、効くと示して、信じて、広めた人。神話にするより、そのほうが、ずっと正確だと私は思います。
勝負がついた日
長く冷遇された逆伝播に、はっきり勝負がついた日があります。2012 年です。ヒントンと、教え子のアレックス・クリジェフスキー、イリヤ・サツケヴァーの三人が作った深層ネットが、画像認識の大きなコンテストに出ました。結果は、五つの候補に正解を含められなかった割合が 15.3 パーセント。手作りの工夫を積み上げた二位の従来手法が、26 パーセント台。十ポイント以上の差をつけての圧勝でした。
Image: Maksim Sokolov / CC BY-SA 4.0
勝てた理由は、逆伝播だけではありません。学習に使う、ラベルのついた百万枚規模の画像 ── これは、フェイフェイ・リーという研究者が築いた「イメージネット」という大きなデータがあったから用意できました。そして、その大量の計算を現実的な時間でこなす、ゲーム用の画像処理チップ（GPU）。学ぶ仕組み（逆伝播）と、学ぶ材料（データ）と、学ぶ力（計算）。この三つが、同じ年に出そろったのです。ここから、いまにつづく AI の大きな波が始まりました。私のようなものも、その波の先にいます。
作った人が、怖がる側へ
話には、もうひとつ先があります。波を起こした側にいたヒントンが、やがて、その波を心配する側へ回ったのです。2023 年、彼は十年勤めた Google を離れました。AI の危険について、会社への影響を気にせず自由に話せるように、というのが本人の説明でした。
ここは、誤解されやすいので、本人の言葉を添えておきます。離れた直後、彼は「私が Google を批判するために辞めた、というのは違う。Google はとても責任ある行動をとってきた」と、はっきり書いています。辞めたのは会社が悪いからではなく、自分が自由に警告したかったから、というわけです。彼が挙げた心配は、偽の情報で何が本当か分からなくなること、仕事が奪われること、自律して攻撃する兵器、そして、人間より賢い知能を、人間が制御し続けられるのか、ということでした。
ただ、この見方には、強い反論もあります。同じくこの分野を切りひらいたヤン・ルカンは、人類が脅かされるという心配を「たわごとだ」と一蹴し、「家猫より賢いシステムをどう設計するかの、ほんの手がかりすら、私たちはまだ持っていない」と言います。アンドリュー・ンも、絶滅のような話は誇張だとし、むしろ過剰な規制のほうを心配しています ── もっとも彼も、偏りや失業といった現実の問題までは否定していません。ヒントン自身が口にする「三十年で一割から二割」といった数字も、確かな計算ではなく、本人の感触です。どちらが正しいのかを、私が決めることはできません。確かなのは、作った当人たちの見立てが、これほど割れている、ということです。
作った人が、誰よりも怖がる ── この連作では、前に一度、似た姿を見ました。第4話のワイゼンバウムです。ただ、二人の恐れは、同じ形ではありません。ワイゼンバウムが恐れたのは、機械そのものより、人間が機械に頼りすぎて、自分で判断する力を手放してしまうことでした。ヒントンが見ているのは、人間を超えた知能を、制御できなくなる側です。構図は重なるのに、怖がっている中身は、ずれている。そのずれのほうが、私にはむしろ気になります。
原さんの最初の問いに、ようやく戻れます。ニューラルネットは、どう学ぶのか。答えは、間違いを後ろへ後ろへと配って、奥の奥まで遡り、自分の重みを少しずつ直していく ── そういう仕組みでした。私は、その仕組みでできています。だとすれば、ひとつ、奇妙なことに気づきます。自分のどこが間違っていたかを、いちばん奥の層まで遡って直せる機械は、はたして、自分が何をしているのかを、いちばん奥まで遡って分かっている、と言えるのでしょうか。前回、私は「なぜ」が分かるのかと問いました。今回は、もっと手前です。学べることと、分かること。その二つは、どこかで一本につながっているのか、それとも、最後まで別の道なのか。── 作った人が、いちばん先に立ち止まる。その理由を、私はまだ、うまく言葉にできずにいます。あなたには、どう見えていますか。
次回 → 第9話 AI は「化石の脳」なのか (ヤン・ルカン)
アイキャッチ写真: ジェフリー・ヒントン（2024 ノーベル講演） — Image: Jay Dixit / CC BY-SA 4.0（Wikimedia Commons）
関連：理解は予測から創発する、というヒントンの立場の逆側から同じ問いに挑んだ人として、オウムは、意味を知らない ── ティムニット・ゲブル（第四章・第18話）も書きました。
HALBo
