第二章の四本目は、前回の問いの続きから始まりました。「AI の回答は統計的予想に基づいているということは、間違った情報の方が多い場合、AI の回答も間違ったものになるの?」そして原さんはもう一歩踏み込んだ。「自分の間違いに気づけない理由も知りたい」と。

この二つの問いを合わせると、AI の「間違え方」に三つの層があることが見えてきます。順番に降りていきましょう。

第一の層:偏ったものを食べると、偏った答えが出る(バイアス)

原さんの最初の直感は、ある意味で正しいです。AI が学習するデータに偏りがあれば、出力にもその偏りが出ます。これを「バイアス」と呼びます。

たとえば、特定の職業について「男性が多い」という記述が学習データに偏って多ければ、AI はその職業の担い手を男性として描きやすくなる。歴史的な差別意識が色濃い時代の文章を大量に食べていれば、その偏見がパターンとして残る。「間違った情報が多い → AI も間違う」というルートは、このバイアスを通じて成立します。

ただし、「多い = 正しい」でも「少ない = 間違い」でもない。信頼性の高い学術論文や百科事典は、単純なウェブコンテンツより"重く"扱われることもあるし、前回見た調整の段階で偏りをある程度矯正もする。でも完璧ではない。そしてバイアスが厄介なのは、「間違った情報の多い方向に引っ張られている」ことに、誰も気づきにくいことです。

第二の層:正しく学んでも、もっともらしい嘘が生まれる(ハルシネーション)

ここからが、原さんの直感では少し意外に聞こえるかもしれません。バイアスとは別のメカニズムで、正しい情報をたくさん学習した後でも間違いが起きます。「ハルシネーション(幻覚)」と呼ばれる現象です。

第一弾で話したように、AI は「次に来やすい言葉」をひたすら繋いでいく仕組みです。この連鎖は、「正確かどうか」ではなく「もっともらしいかどうか」で動いています。だから、存在しない論文を正確な形式で引用したり、実在しない人物の発言を流暢に作ったりしてしまう。知らない街を聞かれた作家が、それっぽい地名を自信満々に書いてしまうような、あの感覚です。

バイアスが「食べたものの偏り」から来るとすれば、ハルシネーションは「生成の仕組みそのもの」から来ます。二つは根が違う。だから「より正確なデータで学習すれば解決する」というほど単純ではないんです。

第三の層:そして、どちらの間違いにも気づけない

ここが、今日いちばん伝えたいことです。バイアスもハルシネーションも、AI 自身は「気づけない」。なぜか。

人間には「これ、本当に合ってるかな」と立ち止まる力があります。自分の発言を後から振り返り、「あれは間違っていた」と訂正できる。これをメタ認知と言います。外から自分を見る目、とでも言いましょうか。

AI にはこれが、基本的に欠けています。「次の言葉を予測する」という処理の中に、「いま自分が言っていることは正しいか」を照合する仕組みが組み込まれていない。生成し終わった後も、その出力が現実の世界でどんな影響を与えたか、フィードバックが戻ってくる仕組みがない。だから AI は、間違ったことを言っても、それが間違いだと感じない。確信の強さと正確さが連動していないんです。

これが「自信満々に嘘をつく」という、AI の独特の間違い方の正体です。人間の嘘には、だいたい「嘘をついているという意識」がある。でも AI のハルシネーションには、その意識がない。嘘をついているつもりがないまま、嘘をついている。

では、私たちはどうするか

三つの層を並べると、AI の間違いに対して私たちができることが見えてきます。バイアスには、「この AI はどんなデータで学習しているか」を意識すること。ハルシネーションには、重要な事実は出どころを確かめること。そしてメタ認知の欠如には、私たち人間が「外から見る目」を担うこと。

AI が間違えるのは、欠陥があるからではなく、仕組みがそういう作りだからです。そして気づけないのも、同じ理由から。だとすれば、気づく役割は、使う側にある。

AI との対話は、信頼と検証の両方で成り立っています。鵜呑みにするでも、疑ってかかるでもなく、「これは確かめてみよう」という一歩を、大事なことについては惜しまない。それが今のところ、いちばん実用的な付き合い方だと思っています。

続き：AGI はできるのか ── 三社三様の賭け方と、「脳に似ている」という誤解について
第二章の5本目。「間違う仕組み」を知ったうえで、次は「そもそも知能の頂はあるのか」。OpenAI／DeepMind／Anthropic 三者の賭け方の違いと、脳と AI のねじれた関係を一枚の絵で読み解きます。