Pay Per Crawlは、AIの学習や回答のために来るクローラーに1リクエストいくらの値段を付け、払う意思のある相手だけを通すCloudflareの機能です。2025年7月の発表から1年以上が経ち、GoogleとMicrosoftもそれぞれ別の形で対価の仕組みを動かし始めました。ただし3社がやっていることは同じではなく、誰が値段を決めるかが違います。この記事は、Cloudflareの公式ドキュメントと各社の一次情報で確認できる範囲だけを並べ、記事数の少ないサイトでこの仕組みが収益になるのかを、成立条件と壊れ方の両方から見ます。
この記事でわかること
- 対価の仕組みは3種類に割れています： クロール1回ごとに払う型（Cloudflare）、AIの回答への寄与に応じて払うとされる型（Google・一次未確認）、ライセンス契約として払う型（Microsoft・RSL）の3つで、サイト側が値段を決められるのは1つ目だけです。
- Pay Per Crawlは2026年9月20日時点でクローズドベータです： Cloudflareの公式ドキュメントに「currently in closed beta」と明記されており、申込フォームかEnterprise担当者を通す以外に有効化する方法はありません。
- 中小サイトでは収益ではなく可視性の判断になります： 1クロールあたりの最低価格は0.001米ドルで、買い手が払わなければアクセスは402で止まります。止まったぶんはAIの回答にも出なくなるため、月いくらになるかより先に、AI経由でいま何人来ているかを測る話になります。
Pay Per Crawlとは｜AIクローラーへの課金を一言で
AIクローラーのアクセスに1リクエストあたりの価格を設定し、対価を取るCloudflareの機能です。
【公式仕様】Cloudflareは、Pay Per CrawlをAI Crawl Controlの機能と位置づけ、ゾーン単位で価格を設定することでAIクローラーのアクセスを制御し収益化できるものと定義しています（Cloudflare Docs「What is pay per crawl」・2026年9月20日取得）。ゾーンとはCloudflareに登録したドメインの単位です。ページごとやディレクトリごとではなく、ドメイン全体に1つの値段が付きます。
発表は2025年7月1日でした（Cloudflare Blog「Introducing pay per crawl」）。それまでの選択肢は、通すかrobots.txtで止めるかの2つでした。ここに3つ目として「払うなら通す」が加わったのがこの機能です。
選べるのは「通す・課金する・遮断する」の3つ
【公式仕様】サイト側がクローラーごとに選べるのは、Allow・Charge・Blockの3つです。
Cloudflareは発表記事で、Allowを「無料でコンテンツへのアクセスを与える」、Chargeを「設定したドメイン全体の価格での支払いを要求する」、Blockを「支払いの選択肢なしにアクセスを完全に拒否する」と書いています。Chargeを選んだときの価格は、既定ではゾーン全体に一律で適用されます（発表記事の原文は「a flat, per-request price across their entire site」）。
【公式仕様】1クロールあたりの最低価格は0.001米ドルで、動的価格設定を有効にすればページごとに別の価格を使えます。
Cloudflareは、管理画面のPaymentsタブで既定の単価を設定すること、最低価格が0.001米ドルであることを書いています（Cloudflare Docs「Set a pay per crawl price」・2026年9月20日取得）。さらに動的価格設定を有効にすると、配信元の応答にcrawler-priceヘッダを付けた記事だけ別の価格が適用されます。Configuration Rulesで特定のURIパターンを課金対象から外すこともでき、/robots.txt・/sitemap.xml・/security.txt・/.well-known/security.txt・/crawlers.jsonは常に無料で通ります（Cloudflare Docs「Advanced configuration」・2026年9月20日取得）。看板記事だけ高くする値付けは、既定の設定ではなく追加の実装として用意されています。
決済はCloudflareが取りまとめます。【公式仕様】Cloudflareは自社がPay Per CrawlのMerchant of Record（決済の名義人）を務め、下回りの技術基盤も提供すると明記しています。サイト運営者がAI企業と1社ずつ契約を結ぶ必要はなく、クローラー側も1サイトずつ支払い手段を用意する必要はありません。
支払いの起点は3つある｜クロール単位・寄与単位・ライセンス単位
AIに対価を求める仕組みは、何を単位に払うかで3つに割れ、サイト側が値段を決められるのはクロール単位だけです。
「AIがコンテンツにお金を払う」という話は、2026年に入ってから複数の会社が別々の設計で始めました。同じ話として読むと判断を誤るので、先に分けます。
サイト側に値段の主導権があるのはクロール単位だけ
3つのうち、自分で金額を入力できるのはCloudflareのPay Per Crawlだけです。
寄与単位は、AIの回答にどれだけ効いたかを判定する側が金額を決めます。ライセンス単位は交渉で決まるので、交渉の席に着ける規模かどうかが先に問われます。値段を決められることと買い手が付くことは別ですが、主導権の所在は仕組みの性格を変えます。
| 起点 | 代表例 | 誰が値段を決めるか | 中小サイトが入れるか |
|---|---|---|---|
| クロール単位 | Cloudflare Pay Per Crawl | サイト側（既定はゾーン一律。動的価格も可） | 申込は誰でもできる。ただしクローズドベータ |
| 寄与単位 | Googleのパイロット（報道ベース・一次未確認） | AI側（判定基準は非公開と報じられる） | 招待制と報じられており、申し込む窓口が公開されていない |
| ライセンス単位 | Microsoft Publisher Content Marketplace、RSL 1.0 | 交渉、または集中ライセンス団体 | RSLはファイルを置くだけで意思表示できる |
この3つは排他ではありません。CloudflareのPay Per Crawlを申し込みながら、RSLのライセンスファイルを置くことは同時にできます。判断が必要になるのは、通す相手と止める相手を決めるところだけです。
Cloudflare Pay Per Crawlの仕組み｜402で値段を提示する
クローラーの要求にHTTP 402と価格を返し、支払い意思のヘッダが付いた要求だけを200で通すのが、課金の往復です。
【公式仕様】Cloudflareは、クローラーがリクエストヘッダで支払い意思を提示してHTTP 200のアクセスを受けるか、価格つきのHTTP 402 Payment Requiredを受け取るかのいずれかになると書いています。402は「支払いが必要」を意味する、以前からHTTPに予約されていたステータスコードです。
やり取りに使うヘッダは4つ
【公式仕様】価格の提示、支払い意思の表明、課金の確定は、それぞれ専用のHTTPヘッダで行われます。
Cloudflareが発表記事で示しているのは、サイト側が単価を知らせるcrawler-price、クローラーが「この額なら払う」と示すcrawler-exact-priceと「この上限まで払う」と示すcrawler-max-price、そして課金が成立したことを伝えるcrawler-chargedです。クローラー側は402で価格を受け取ってから払い直すことも、最初から上限額を付けて要求することもできます。
ブロック設定は課金より優先される
【公式仕様】WAFとBot Managementのルールセットは、Pay Per Crawlの課金機能より優先されます。
Cloudflareは同じドキュメントのLimitationsに、この優先順位を明記しています。つまり、すでにBot Managementで止めているクローラーは、払う意思を示しても入れません。課金を有効にしたのに1円も入らないとき、最初に見るのはここです。値段の問題ではなく、その手前の防御設定で弾いている場合があります。
支払いヘッダは署名の対象に含める必要がある
【公式仕様】支払いヘッダは、Web Bot Authのsignature-inputヘッダの構成要素に含めなければなりません。
Cloudflareは、crawler-exact-priceとcrawler-max-priceを署名対象に含める必要があると書いています（Cloudflare Docs「Verify AI crawler」・2026年9月20日取得）。ヘッダは書き換えられる前提のものなので、金額だけを後から差し替えたり、同じ支払い意思を使い回したりできないよう、署名で縛る設計になっています。サイト運営者が設定する部分ではありませんが、安い額を宣言すれば通る形ではない、という担保になります。
いま使えるのか｜クローズドベータという現在地
2026年9月20日時点でクローズドベータで、申込フォームかEnterprise担当者を通す以外に有効化できません。
【公式仕様】Cloudflareの公式ドキュメントには「Pay per crawl is currently in closed beta.」と書かれており、参加の方法として申込フォームと、Enterpriseプランの担当者経由の2つが案内されています。2025年7月の発表から1年以上が経ちますが、一般提供には至っていません。管理画面を開いて今日から値段を付けられる機能ではない、というのがこの記事の時点での正確な状態です。
申込そのものはCloudflareのベータ申込ページから誰でも出せます。承認の基準や所要日数は公表されていないため、いつ使えるかを前提にした計画は立てられません。
【自社調査】2026年9月20日にX内の日本語・英語の投稿を「Pay Per Crawl」で検索した範囲では、有効化して収益が発生したという報告は見つかりませんでした。目に付いたのは申込と承認待ちの報告です。投稿の全数を数えたものではないため、割合としては扱えません。仕組みの整備は進んでいる一方で、受取額の実例が公開の場に出ていない、というのがこの時点で言える範囲です。
MicrosoftとGoogleは何をしているか｜一次情報で言える範囲
Microsoftは2026年2月にライセンス市場を発表し、Googleの寄与ベースの支払いは同社の一次情報では確認できません。
対価の話でCloudflareと並べて語られるのがこの2社です。ただし公開されている情報の確かさが違います。
| 会社 | 仕組み | 一次情報で確認できる範囲 | 入口 |
|---|---|---|---|
| Cloudflare | クロール1回ごとの課金 | 機能仕様・ヘッダ・優先順位まで公開 | 申込フォーム（クローズドベータ） |
| Microsoft | パブリッシャーとAI事業者をつなぐライセンス市場 | 発表・共同設計した媒体名・需要側の参加まで公開 | 大手媒体との共同設計から開始 |
| 回答への寄与に応じた支払い（報道ベース） | ニュース向けの既存プログラムのみ。寄与ベースの支払いの記述は確認できず | 招待制と報じられる |
Microsoftは市場そのものを作ろうとしている
【公式仕様】Microsoftは2026年2月に、パブリッシャーとAI事業者をつなぐライセンス市場を発表しました。
同社の広告部門のブログには、この市場をAP、Business Insider、Condé Nast、Hearst Magazines、People Inc.、USA TODAY Co.、Vox Mediaなど米国の主要媒体と共同で設計したこと、需要側のパートナーとしてYahooのオンボードを開始したことが書かれています（Microsoft Advertising Blog・2026年9月20日取得）。共同設計の相手として名前が挙がっているのは米国の大手媒体で、個人サイトや中小企業サイトが参加する方法は、2026年9月20日時点の同ブログには書かれていません。
Googleの寄与ベースの支払いは、報道でしか確認できない
Googleの一次情報を確認した範囲では、回答への寄与に応じて支払う仕組みの記述は見つかりませんでした。
Google公共政策のページに2026年9月20日時点で書かれているのは、200を超える媒体が参加するニュース向けのAIパイロット、欧州の5,500を超える媒体に支払うExtended News Previews、33か国2,800を超えるパートナーが参加するNews Showcaseの3つです。AIの回答への寄与に応じた支払い、Search Console上での収益表示、そこからのオプトアウトについての記述は、公共政策のページにも同社のブログにも確認できませんでした。
一方、Search Engine Journalは2026年9月18日の記事で、Googleが寄与ベースの支払いパイロットを招待制で始め、Search Consoleに月ごとの金額が表示され、オプトアウトも用意されていると報じています。同記事はDigidayの報道を引きながら、ある幹部の評として「quite black box」という言葉も紹介しています（Search Engine Journal（2026年9月18日）・2026年9月20日取得）。
この記事では、これを報道ベースの情報として扱います。Googleが何もしていないという意味ではなく、公式の説明が出ていない以上、金額の計算根拠も参加条件も検証できないという意味です。自社の方針を決める材料としては、確認できる仕組みのほうを先に見てください。
日本の法律はどこまで守ってくれるか｜著作権法30条の4
享受を目的としない情報解析は著作権法30条の4で原則として認められるため、止める根拠は法律より技術の側にあります。
日本の著作権法30条の4は、著作物に表現された思想又は感情を自ら享受し、又は他人に享受させることを目的としない利用について、必要と認められる限度で権利者の許諾なく利用できると定めています。情報解析はその例として条文に挙げられています。文化審議会著作権分科会法制度小委員会の「AIと著作権に関する考え方について」（令和6年3月15日）は、この条文の考え方を整理した資料です（文化庁・PDF・2026年9月20日取得）。
平成30年の改正で30条の4が置かれた趣旨は、著作物の市場に大きな影響を与えない利用について、個々の許諾を不要とすることにありました。学習のためのクロールを、著作権を根拠に一律で止められる構造にはなっていません。だからこそ、対価の交渉が法律ではなく、robots.txtや402やライセンスファイルという技術の側で起きています。
ただし書に当たる場合がある
30条の4には、著作権者の利益を不当に害する場合はこの限りでないというただし書があります。
同じ資料は、ただし書に当たる例として、大量の情報を容易に情報解析に活用できる形で整理したデータベースの著作物が販売されている場合に、そのデータベースを情報解析目的で複製する行為を挙げています。情報解析のために売られている商品があるのに、それを買わずに複製する行為は、市場と競合するという整理です。個別の事案が該当するかどうかは、法律の専門家に確認してください。
2026年9月15日、既定値が変わった
2026年9月15日から、新規にCloudflareへ載せるドメインでは、広告のあるページのクロールが既定で止まります。
【公式仕様】Cloudflareは2026年7月1日の記事で、この日付からの既定値の変更を告知していました。原文は「On September 15, 2026, we’ll be setting new defaults for each of these three classifications. For all new domains onboarding to Cloudflare, the categories of Training and Agent will be blocked by default on the pages that display ads, while Search will remain allowed by default.」です（Cloudflare Blog「Content Independence Day」（2026年7月1日）・2026年9月20日取得）。
学習目的（Training）とエージェント目的（Agent）は既定でブロックされ、検索目的（Search）は既定で許可のままです。対象になるのは新規にCloudflareへオンボードするドメインで、すでに使っているドメインの設定が自動で書き換わるという記述はありません。
区切りが「広告を表示するページ」である理由も、同じ記事に書かれています。広告は、サイト運営者がそこに人が来て見ることを想定した印であり、事業を支える収益化の対象である、という整理です。人が来る前提で作られたページを、人が来ないまま機械が読んでいく状態を既定にしない、という設計思想になります。
自社のドメインがどちらの扱いになっているかは、Cloudflareの管理画面のAI Crawl Controlで確認できます。
中小サイトで課金は成立するか｜成立条件と壊れ方
買い手の数と単価の両方がそろって初めて金額になるため、記事数の少ないサイトでは収益ではなく可視性の判断になります。
この記事でいちばん答えにくい問いです。当社は、成立すると書ける材料を持っていません。Pay Per Crawlで日本国内のサイトがいくら受け取ったかという公表事例は、2026年9月20日時点で確認できませんでした。以下は、公開されている仕組みの制約から言えることだけです。
| 見る点 | 成立する側の条件 | 壊れ方 |
|---|---|---|
| 買い手 | 払ってでも読む価値があるとAI側が判断する内容がある | 払われずに402で終わる。読まれないだけで金額は発生しない |
| 単価と回数 | 単価×クロール回数が、手間に見合う額になる | ページ数が少ないとクロール回数も少なく、額が積み上がらない |
| 値付けの粒度 | ゾーン一律の単価で説明できる。難しければ動的価格を実装する | 既定はゾーン一律。記事ごとに変えるにはヘッダかWorkerの実装が要る |
| 防御設定 | 課金したい相手をWAF・Bot Managementで止めていない | ブロックが課金より優先し、払う意思があっても入れない |
| 可視性 | AI経由の露出が減っても困らない | 払われなければ読まれず、AIの回答にも引用されにくくなる |
収益の話ではなく、露出を差し出すかどうかの話になる
中小サイトでPay Per Crawlを検討する実質は、月いくらになるかではなく、AI経由の露出を止めてよいかの判断です。
課金は、払わない相手を通さない仕組みです。払わなかったクローラーはその記事を読まないので、AIの回答の材料にも入りません。指名で探される社名やサービス名を持っていて、AI経由の問い合わせが立っているサイトでは、止めた側の損失のほうが先に出ます。逆に、記事を大量に読まれているのに流入も問い合わせも増えていないサイトでは、差し出しているものと受け取っているものが釣り合っていないことになります。どちらなのかは、サイトの規模ではなくAI経由の実測で決まります。
当社もクロール回数を数える仕組みをサーバー側に入れていないため、収益機会の額は出せません。出せるのは、AI経由で何人来て何件つながったかというGA4側の実数だけです。クロール側のログを持たないまま単価だけ考えると、話が机上で終わります。
いまやるべき3手｜測る・決める・書く
先にAI経由の読まれ方を測り、止める・通す・課金するを相手ごとに決め、ライセンスの意思を機械可読の形で書きます。
どれもベータの承認を待たずに今日から着手できて、承認が下りたときの判断材料になります。
1 測る｜AI経由で何人来ているかを先に出す
最初にやるのは、AI経由の流入とキーイベントを参照元のホスト名で数え直すことです。
GA4の既定のチャネル分けでは、AI経由の流入が自然検索側へ混ざることがあります。クロールされた回数と、そこから戻ってきた人の数の関係をどう見るかは、「AIクローラーの流入比（crawl-to-refer比）の読み方」に、比率を比べる前に確認すべき点をまとめています。測る前に課金の可否を決めると、止めてよい相手まで止めることになります。
2 決める｜止める・通す・課金するを相手ごとに割り当てる
次に、クローラーを学習・検索・エージェントの目的別に分け、止める相手と通す相手を決めます。
検索目的のクローラーを止めると、検索結果側の掲載まで落ちます。学習目的だけを止めたいのか、回答に使われること自体を止めたいのかで、書く設定が変わります。robots.txtでの拒否設定と、止めたときに何が起きるかは「AIクローラーの巡回拒否設定（robots.txt）と影響」で扱っています。Pay Per Crawlの課金は、この割り当てが済んでいるサイトにだけ意味があります。止める相手を決めていない状態で値段だけ付けても、WAFの設定と矛盾したまま動くことになります。
3 書く｜ライセンスの意思を機械が読める形で残す
3つ目は、対価に関する意思を、人ではなく機械が読める場所に書いておくことです。
RSL（Really Simple Licensing）1.0は、XMLベースのライセンス標準です。robots.txt、HTML、HTTPヘッダ、RSS、メディアファイルから配ることができ、対価のモデルとしてper-crawl、per-inference、subscription、attribution-only、customを持ちます。非営利のRSL Collectiveが集中ライセンスを運営し、Akamai、Cloudflare、Creative Commons、Fastly、O’Reilly Media、Reddit、Vox Media、Yahooが支持を表明しています（RSL Standard・2026年9月20日取得）。
置いたから支払いが発生するという保証はありません。それでも、対価の条件を機械可読で置いておけば、後から交渉が起きたときに提示済みの条件として示せます。AI側が読み取れる構造にするという意味では、「AIエージェント対応とは？サイト側でやること・やらなくていいこと」で扱っている関門の整理と同じ作業になります。
Pay Per Crawlについてよくある質問
判断の手前で詰まりやすい6つの点を、公式仕様と当社の実務の範囲で答えます。
Q. 個人ブログでもAIクローラーに課金できますか？
A. 申し込むことはできます。Pay Per Crawlはクローズドベータで、申込フォームかEnterprise担当者経由での参加になり、プランによる申込制限は公表されていません。ただし払うかどうかを決めるのはクローラー側です。最低価格は1クロールあたり0.001米ドルで、既定の単価はゾーン全体に適用されます。記事数が少ないサイトではクロール回数自体が少ないため、金額として積み上がるかは別の話になります。
Q. 課金すると自分のサイトがAI回答に出なくなりますか？
A. 払わなかったクローラーは402で止まるので、そのクローラーが集めた範囲には入りません。回答に引用されるかどうかはAI側の仕組みによるため一律には言えませんが、読まれていない記事が材料になることはありません。Cloudflareの分類では検索目的のクローラーと学習目的のクローラーが分かれているので、検索側を通したまま学習側だけ課金する、という組み方が判断の中心になります。
Q. robots.txtで止めるのと課金するのは、どちらが得ですか？
A. 得かどうかは、AI経由の流入がいま何件あるかで変わります。流入もキーイベントも立っていないサイトでは、読まれるだけの状態を続ける理由が弱くなります。指名検索やAI経由の問い合わせがあるサイトでは、止めた側の損失が先に出ます。どちらも、GA4で参照元のホスト名別に数え直してから決めてください。なお、robots.txtでの拒否には検索側の掲載へ影響する範囲があるため、手順と影響はAIクローラーの巡回拒否設定（robots.txt）と影響を先に確認してください。
Q. 日本の著作権法では、無断で学習されるのを止められないのですか？
A. 著作権法30条の4は、享受を目的としない情報解析を必要と認められる限度で権利制限の対象としています。著作権者の利益を不当に害する場合はこの限りでないというただし書があり、文化審議会の資料は、情報解析用に販売されているデータベースを買わずに複製する行為などを例に挙げています。個別の事案が該当するかは法律の専門家にご確認ください。技術側で止める手段は、法律の判断を待たずに今日から使えます。
Q. Cloudflareを使っていない場合はどうすればいいですか？
A. Pay Per CrawlはCloudflareのゾーンに対する機能なので、使っていないサイトでは有効にできません。できるのは、robots.txtでの目的別の拒否と、RSLのようなライセンスファイルでの意思表示、それにサーバー側でのユーザーエージェント制御です。課金の仕組みに乗るためにCDNを切り替えるかどうかは、いまAI経由でどれだけ読まれているかを測ってから判断してください。
Q. いくらに設定すればいいですか？
A. 下限は公式に決まっていて、1クロールあたり0.001米ドルです。それより上の相場は公表されておらず、日本国内サイトの受取実績も確認できませんでした。Cloudflareは価格を決める観点として、コンテンツの価値と見込まれるクローラーの流量を挙げています。実務としては、1記事あたりの制作原価を、その記事がクロールされる想定回数で割った額を出発点に置き、ベータ承認後の実データで調整する形になります。
参考情報
本文で【公式仕様】として断定した内容は、次の一次情報で裏を取っています。
- Cloudflare Docs「What is pay per crawl」／「Set a pay per crawl price」／「Advanced configuration」／「Verify AI crawler」（いずれも2026年9月20日取得）
- Cloudflare Blog「Introducing pay per crawl」（2025年7月1日）／「Content Independence Day」（2026年7月1日）
- Microsoft Advertising Blog「Building toward a sustainable content economy for the agentic web」（2026年2月）
- Google「Supporting the information ecosystem」／Search Engine Journal「Google’s AI Payment Pilot vs Cloudflare And Microsoft Models」（2026年9月18日・報道）
- RSL Standard（Really Simple Licensing 1.0）
- 文化審議会著作権分科会法制度小委員会「AIと著作権に関する考え方について」（令和6年3月15日）
