📑 目次

1. 何が変わるか——9月15日以降のデフォルト設定
2. Cloudflare CEOが語る背景——ボットがヒトを超えた転換点
3. GoogleをCloudflareが名指し批判——「2倍の情報格差」
4. 「Pay Per Crawl」から「Pay Per Use」へ——収益化モデルの進化
5. ビジネスへの影響——パブリッシャーとAI企業の両側から見る
6. 今後の焦点——9月15日までに何が起きるか
7. まとめ
8. 参考・出典

Cloudflareが2026年7月1日、AI業界に向けた新しいクローラー規制方針を発表した。検索用途とAI学習・エージェント用途のWebクローラーを2026年9月15日までに分離するよう要求する内容で、応じない「混合型クローラー」は広告を掲載するページからデフォルトでブロックされる。パブリッシャーのコンテンツがAI企業に無償で利用されてきた構図に、Cloudflareが正面から切り込んだ形だ。

何が変わるか——9月15日以降のデフォルト設定

Cloudflareは9月15日以降、新規顧客・新規サイト・既存の無料プランユーザーに対して、「混合型クローラー」を広告掲載ページからブロックする設定をデフォルトで適用すると発表した。混合型クローラーとは、検索インデックス・AIエージェント・AIモデルの学習という複数の目的を一つのクローラーで兼ねているものを指す。

サイトオーナーは設定を変更して許可することもできるが、何も操作しなければブロックが有効になる。これはオプトアウト型からオプトイン型への事実上の逆転だ。

Cloudflare CEOが語る背景——ボットがヒトを超えた転換点

Cloudflare共同創業者でCEOのMatthew Princeは発表の中で、「インターネット上のトラフィックの大半が非人間になった今、持続可能なエコシステムを生み出すためにさらに踏み込み、速く動かなければならない」と述べている。ボットトラフィックがヒトのトラフィックを初めて上回るという転換点は、当初来年に予想されていたが、予想より早く到来したとされる。

Princeはさらに「意図が明確で透明性のあるボットを持つAI企業には恩恵をもたらす」とも述べており、一律に規制するのではなく「目的を明示したクローラー」を奨励する方向性を示している。

GoogleをCloudflareが名指し批判——「2倍の情報格差」

Cloudflareの発表で注目を集めたのが、世界最大の検索エンジン（明らかにGoogleを指している）への言及だ。Cloudflareは、この検索エンジンが他のAI企業に比べて「約2倍の情報」にアクセスできると指摘した。検索で発見可能であり続けるためにはAI利用も受け入れざるを得ない仕組みになっている、という主張だ。

これに対してGoogleは過去にも反論しており、サイトオーナーがコンテンツをGeminiアプリやVertex APIなどAI製品・サービスへの学習利用から除外できるボット「Google Extended」を提供していると説明している。ただし、Googleの主力クローラー「Googlebot」は検索用としてAI OverviewsやAI Modeなどの機能を含む検索全般をカバーして巡回する。Cloudflareが問題視しているのはまさにこの境界の曖昧さだ。

Googleの検索AIをめぐる状況は急速に変化しており、GoogleはAI Modeで月間10億ユーザーを突破し検索ボックスを25年ぶりに刷新している。クローラー統合問題はこうした動きと表裏一体だ。

「Pay Per Crawl」から「Pay Per Use」へ——収益化モデルの進化

Cloudflareはすでに、AIボットがコンテンツをスクレイピングする際にサイト側が課金できる「Pay Per Crawl」マーケットプレイスを提供していた。今回の方針変更と合わせて、このサービスが「Pay Per Use」へと進化することも発表された。

Pay Per Useの特徴は、コンテンツが取得された時点だけでなく、そのコンテンツが実際にAI企業にとって価値を生み出した時点で課金できる点だ。Cloudflareのデータによると、AIクローラーのクロールトラフィックの50%超が変更のないページの再取得に費やされているとされる。Pay Per Useへの移行は、パブリッシャーの帯域幅とコンピューティングリソースの無駄を削減する効果も期待できる。

現時点でのパートナー企業はCeramic.aiとYou.comの2社だ。パブリッシャーがオプトインすると、Ceramic.aiのAI検索結果にコンテンツが表示された場合や、You.comがプレミアムコンテンツにアクセスした場合に報酬が支払われる仕組みだ。他のAI企業もこのモデルをカスタマイズして参加できるとCloudflareは説明している。

ビジネスへの影響——パブリッシャーとAI企業の両側から見る

この方針変更がメディアやWebサービスを運営する企業にとって意味することは大きい。これまでAI企業によるコンテンツ利用は事実上「フリーライド」の状態が続いていた。今後はクローラーの目的を明示しなければデフォルトでブロックされるため、AI企業はコンテンツアクセスのコストを真剣に考慮せざるを得なくなる。

一方、パブリッシャーにとっては収益の新たな入口が生まれる可能性がある。ただし、Cloudflareのネットワーク経由でサイトを運営していない場合には直接の影響は生じない点に注意が必要だ。Cloudflareは世界の主要なWebサービスの相当数をカバーしているが、全サイトに適用されるわけではない。

AI関連の政策・規制は2026年を通じて急速に整備が進んでいる。2026年6月のAI業界をまとめた記事でも、主権・知的財産・電力という3つのテーマが浮上している。Cloudflareの今回の動きはその流れの中で位置付けられる。

今後の焦点——9月15日までに何が起きるか

9月15日まで残り約2か月半。この間にAI企業がどう動くかが焦点だ。クローラーを分離する技術的対応を進める企業、Pay Per Useモデルに参画する企業、そしてCloudflareの影響が及ばないルートを模索する企業——対応は分かれるとみられる。

Cloudflareは自社もAIシステムの構築を支援する製品群を提供しており、AIビジネス全体への敵対姿勢ではない。「透明性のあるボット」を使うAI企業は恩恵を受けるという方針は、業界全体のルール形成を促す意図を持つと読める。9月15日以降の実際の適用状況と、主要AI企業の対応が次の注目点になる。

まとめ

CloudflareはAI企業に対してクローラーの目的を明示する期限を設けることで、長年曖昧だったWebコンテンツの利用ルールに市場側からメスを入れた。9月15日という締め切りがどれだけ業界を動かすか、その先にパブリッシャーへの実質的な収益還元が実現するかどうかが、今後の焦点になる。

参考・出典

• TechCrunch — Cloudflare’s new policy pushes AI companies to pay for publishers’ content
• Cloudflare Blog（公式）
• aigeek.biz — Google、検索ボックスを25年ぶり刷新——AI Modeが月間10億ユーザー突破
• aigeek.biz — 2026年6月のAI業界——主権・IPO・電力の月

---