Cloudflare、9月15日までにAIクローラー分離を要求

⏱ 読了約8分3,328 字

📑 目次

何が変わるか——9月15日以降のデフォルト設定
Cloudflare CEOが語る背景——ボットがヒトを超えた転換点
GoogleをCloudflareが名指し批判——「2倍の情報格差」
「Pay Per Crawl」から「Pay Per Use」へ——収益化モデルの進化
ビジネスへの影響——パブリッシャーとAI企業の両側から見る
今後の焦点——9月15日までに何が起きるか
まとめ
参考・出典

Cloudflareが2026年7月1日、AI業界に向けた新しいクローラー規制方針を発表した。検索用途とAI学習・エージェント用途のWebクローラーを2026年9月15日までに分離するよう要求する内容で、応じない「混合型クローラー」は広告を掲載するページからデフォルトでブロックされる。パブリッシャーのコンテンツがAI企業に無償で利用されてきた構図に、Cloudflareが正面から切り込んだ形だ。

何が変わるか——9月15日以降のデフォルト設定

Cloudflareは9月15日以降、新規顧客・新規サイト・既存の無料プランユーザーに対して、「混合型クローラー」を広告掲載ページからブロックする設定をデフォルトで適用すると発表した。混合型クローラーとは、検索インデックス・AIエージェント・AIモデルの学習という複数の目的を一つのクローラーで兼ねているものを指す。

サイトオーナーは設定を変更して許可することもできるが、何も操作しなければブロックが有効になる。これはオプトアウト型からオプトイン型への事実上の逆転だ。

Cloudflare CEOが語る背景——ボットがヒトを超えた転換点

Cloudflare共同創業者でCEOのMatthew Princeは発表の中で、「インターネット上のトラフィックの大半が非人間になった今、持続可能なエコシステムを生み出すためにさらに踏み込み、速く動かなければならない」と述べている。ボットトラフィックがヒトのトラフィックを初めて上回るという転換点は、当初来年に予想されていたが、予想より早く到来したとされる。

Princeはさらに「意図が明確で透明性のあるボットを持つAI企業には恩恵をもたらす」とも述べており、一律に規制するのではなく「目的を明示したクローラー」を奨励する方向性を示している。

GoogleをCloudflareが名指し批判——「2倍の情報格差」

Cloudflareの発表で注目を集めたのが、世界最大の検索エンジン（明らかにGoogleを指している）への言及だ。Cloudflareは、この検索エンジンが他のAI企業に比べて「約2倍の情報」にアクセスできると指摘した。検索で発見可能であり続けるためにはAI利用も受け入れざるを得ない仕組みになっている、という主張だ。

これに対してGoogleは過去にも反論しており、サイトオーナーがコンテンツをGeminiアプリやVertex APIなどAI製品・サービスへの学習利用から除外できるボット「Google Extended」を提供していると説明している。ただし、Googleの主力クローラー「Googlebot」は検索用としてAI OverviewsやAI Modeなどの機能を含む検索全般をカバーして巡回する。Cloudflareが問題視しているのはまさにこの境界の曖昧さだ。

Googleの検索AIをめぐる状況は急速に変化しており、GoogleはAI Modeで月間10億ユーザーを突破し検索ボックスを25年ぶりに刷新している。クローラー統合問題はこうした動きと表裏一体だ。

「Pay Per Crawl」から「Pay Per Use」へ——収益化モデルの進化

Cloudflareはすでに、AIボットがコンテンツをスクレイピングする際にサイト側が課金できる「Pay Per Crawl」マーケットプレイスを提供していた。今回の方針変更と合わせて、このサービスが「Pay Per Use」へと進化することも発表された。

Pay Per Useの特徴は、コンテンツが取得された時点だけでなく、そのコンテンツが実際にAI企業にとって価値を生み出した時点で課金できる点だ。Cloudflareのデータによると、AIクローラーのクロールトラフィックの50%超が変更のないページの再取得に費やされているとされる。Pay Per Useへの移行は、パブリッシャーの帯域幅とコンピューティングリソースの無駄を削減する効果も期待できる。

現時点でのパートナー企業はCeramic.aiとYou.comの2社だ。パブリッシャーがオプトインすると、Ceramic.aiのAI検索結果にコンテンツが表示された場合や、You.comがプレミアムコンテンツにアクセスした場合に報酬が支払われる仕組みだ。他のAI企業もこのモデルをカスタマイズして参加できるとCloudflareは説明している。

ビジネスへの影響——パブリッシャーとAI企業の両側から見る

この方針変更がメディアやWebサービスを運営する企業にとって意味することは大きい。これまでAI企業によるコンテンツ利用は事実上「フリーライド」の状態が続いていた。今後はクローラーの目的を明示しなければデフォルトでブロックされるため、AI企業はコンテンツアクセスのコストを真剣に考慮せざるを得なくなる。

一方、パブリッシャーにとっては収益の新たな入口が生まれる可能性がある。ただし、Cloudflareのネットワーク経由でサイトを運営していない場合には直接の影響は生じない点に注意が必要だ。Cloudflareは世界の主要なWebサービスの相当数をカバーしているが、全サイトに適用されるわけではない。

AI関連の政策・規制は2026年を通じて急速に整備が進んでいる。2026年6月のAI業界をまとめた記事でも、主権・知的財産・電力という3つのテーマが浮上している。Cloudflareの今回の動きはその流れの中で位置付けられる。