作者：Shoal Research

编译：深潮 TechFlow

深潮导读：Cloudflare 最新数据显示，AI 机器人流量已占全网 HTML 请求的 60%，首次超过人类。这意味着支撑开放互联网二十年的“内容换流量”模式正在崩塌，而“按次付费”的新基础设施还没准备好。对内容创作者、广告商和所有依赖搜索引流的从业者来说，这是比算法更新更根本的生存问题。

2026 年 3 月 19 日，Cloudflare 首席执行官 Matthew Prince 预测，在生成式 AI 的推动下，机器人流量将在 2027 年超过人类流量。Cloudflare 是全球最大的内容分发网络，覆盖约 20% 的互联网。仅仅几个月后，Prince 宣布，代理式流量增长如此之快，机器人已经超过人类流量。Cloudflare 网络上的 HTML 内容 HTTP 请求中，机器人约占 60%，人类仅占 38.2%。随着自动化系统生成的 HTML 页面请求份额超过人类，且 AI 代理在其中所占比例不断上升，互联网赖以生存的商业模式正在崩塌。

养活开放互联网的那笔交易

万维网实现了前所未有的全球信息民主化，而支撑这一使命的，是一套简单直接的“内容换流量”以物易物机制：出版商在网络上发布内容，搜索引擎在用户搜索时把读者导流到他们的网站。出版商以内容的形式向网络提供信息或娱乐；搜索引擎帮助把读者引导到相关网页；广告商通过在用户被引导到的网页上展示定向广告，把这次访问变现。这个同步运转的闭环，共同建立了价值数十亿美元的广告机器，养活了开放、无付费墙的互联网。

这笔交易养活了海量免费可访问的信息，同时也把分发权力集中在搜索和广告平台手中。它奖励行为广告、SEO 优化的内容堆量和追逐流量的内容生产，让出版商深度依赖推荐流量和注意力流量。AI 正在侵蚀这笔本就脆弱的交易中的“推荐”环节，而替代方案还没准备好。

谷歌的广告收入从 2001 年的 6690 万美元（这是它首次完整披露广告收入的年份）增长到 2025 年的 2947 亿美元，增长了约 4400 倍。

然而，近年来 AI 聊天机器人应用的爆发式增长，为网络信息发现引入了一种全新范式。从设计上，这些 AI 应用就优先考虑用户便利性，把受众留在聊天界面内部。这对用户来说很方便，但对出版商来说尤其致命。搜索引擎会把读者引导到内容来源的网站，而 AI 应用则把信息压缩、总结，作为对用户提问的最终回答的一部分直接呈现。出版商越来越难通过网站流量变现，因为他们失去了与用户的直接关系，人类访问量也在减少。

一个正在兴起的解决方案，是在互联网上为内容和搜索引入全新的“按次付费”支付基础设施。在本文中，我们将探讨 AI 如何“搞垮互联网”、这个方案的两种不同路径，以及这个新兴的按次付费网络现在处于什么状态。

AI 爬虫与易货模式的死亡

搜索引擎使用爬虫（一种为网页建立索引的自动化程序）来构建网络的“地图”。在传统的内容换流量模式下，出版商允许这些爬虫免费复制他们的文本，因为搜索引擎会以把人类读者导流回他们的网站作为回报。为了管理这种访问，行业依赖一个叫 robots.txt 的文本文件，这是一套未加密的、自愿遵守的荣誉系统。robots.txt 之所以能长期平稳运行，是因为无视 robots.txt 意味着失去对出版商内容的访问权，这会直接损害搜索引擎对网络的索引质量。

生成式 AI 应用把爬虫从索引工具变成了主动消费者，从而瓦解了网络的内容换流量交易，这在训练和实时检索两个环节表现得最为明显。在训练阶段，像 GPT 或 Claude 这样的大语言模型从开放网络上抓取的海量语料中学习，包括各种书籍、文章、代码和艺术作品。模型在这全部人类知识上完成训练，然后将其回馈给用户，不带任何来源链接，也不向创作者支付任何费用。在实时检索阶段，模型为了回答用户问题而在那一刻索引实时网络，抓取相关段落并重新格式化。模型不会把原始页面交给读者，而是把信息重述成一段全新的、内联的回复，完整地回答用户的问题。爬虫只需要为一个页面建立一次索引，模型就能把它发现的内容提供给数百万读者，而这些读者中没有一个会被带回原始来源。

影响

当我们把提取机制与行为数据、联邦法律诉讼和艺术剥削放在一起看时，开放网络的基础正在经历结构性崩塌已经变得显而易见，而其影响已经在多个相互关联的领域显现出来。

AI 爬虫对行为的影响可以通过“抓取 -导流比”来衡量：即爬虫抓取的页面数量与它带回的实际用户数量之比。Cloudflare 的数据显示，仅在过去六个月里，训练类（43.9%）以及训练加搜索类（41.5%）爬虫，就占了 Cloudflare 网络观测到的已识别 AI 爬虫请求的 85%以上。Googlebot 每带回一个访客，仍然要抓取近五个页面，过去一年为 5.3 个，这更接近历史上的交换水平，而每个主流 AI 平台都比它高出一到三个数量级。在过去一年里，Anthropic 的 ClaudeBot 每给源网站带回一个访客，平均要抓取 4200 个页面，Mistral 为 884 个，OpenAI 为 731 个，Perplexity 为 147 个。Cloudflare 确实指出，来自原生应用的导流不带导流头信息，因此这些比率可能夸大了失衡程度。皮尤研究中心的一项研究发现，当 AI 摘要拦截搜索查询时，人类点击率会从 15%下降到 8%，来自摘要的直接点击归因下降到 1%，用户在 26%的情况下会完全放弃浏览会话。

AI 爬虫也引发了法律诉讼。在 Bartz 诉 Anthropic 案中，法官 William Alsup 裁定，用合法获取的书籍进行训练属于合理使用，因为这种使用具有转换性，也就是说它创造了新东西，而不是替代书籍本身，而针对 Anthropic 所下载盗版书库的指控则进入审理阶段。Anthropic 后来以 15 亿美元私下和解了这项指控，按约 50 万部作品计算，每部作品约 3000 美元。这一结果被广泛解读为 Anthropic 的胜利，因为训练属于合理使用的裁定得以保留，而和解也排除了本可能高得多的法定赔偿。随着案件和解，没有任何法院确定过用盗版内容训练的实际成本是多少。与此同时，《纽约时报》诉 OpenAI 和微软案仍在进行中，迫使 OpenAI 交出 2000 万条 ChatGPT 对话日志，作为调查模型在多大程度上复制文章以替代付费订阅的一部分。

这些案件凸显出，AI 爬虫无计量抓取的成本，尤其落在了独立创作者和视觉艺术家身上。当 OpenAI 在 2025 年初发布其吉卜力风格渲染能力时，恰恰暴露了现有版权保护有多薄弱。因为美国法律保护的是作品的具体表达，而不是整体风格，AI 模型可以系统性地克隆一种靠数十年人类劳动建立起来的艺术美学，却无需提及或补偿创作者。OpenAI 的政策禁止使用在世艺术家如宫崎骏的名字作为提示词，却完全允许使用“吉卜力”作为提示词。像龙猫这样的具体角色受到保护，但一般的吉卜力风格却不受保护，这使得艺术家几乎没有法律依据，尽管模型之所以能生成那种画面，仅仅是因为它用了该工作室的电影进行训练。按请求付费的基础设施无法解决上述所有损害。它可以对作品的未来访问进行计量和补偿，但无法追溯补偿艺术家已经用于训练的材料，也无法阻止模型复现它已经学会的风格。那些损害需要单独的授权、版权和执法补救措施。

简而言之，针对内容换流量交易崩溃的两种主要回应（诉讼和私人授权）都只是临时救急，而不是可扩展的商业模式。到目前为止，诉讼为过去的抓取定了价，却对持续和未来的爬取未加触碰，而私人双边授权协议则让大型媒体集团直接把档案访问权卖给 AI 实验室（例如 OpenAI 与 NewsCorp 的 2.5 亿美元合同，或谷歌据报每年 6000 万美元与 Reddit 的交易）。虽然价格不菲，但一项市场调查发现，这些私人交易大多不到被授权方预计 AI 收入的百分之一。然而谈判这类协议需要大量财力和法律资源，这意味着互联网的独立长尾（数百万独立内容创作者）仍然没有办法大规模应对 AI 爬虫。

于是事情变得清晰起来：基于 robots.txt 的未加密信用体系，以及支撑开放互联网三十年的内容换流量交易，无法承受一个在经济上以数据消费优先于导流流量、爬虫成为头等消费者的互联网。过去，出版商乐于承担 100%的内容生产成本，因为他们能获得 100%的消费者流量和注意力；而生成式 AI 完全消费内容却几乎不提供归因，实际上切断了人类网络流量的来源，而出版商恰恰需要这些流量来产生广告或订阅收入，结果出版商还要为机器抓取支付昂贵的托管账单，却得不到任何流量。这种挤压同时从两个方向发生。服务一个机器人的带宽和计算成本与服务一个读者相同，但机器人离开时不会看广告，也不会开始订阅。在抓取 -导流比达到数百或数千的情况下，出版商每一次能够变现的访问背后，都要付费服务数千次请求。因为出版商无法承受只为了让机器人免费复制文本而支付服务器费用，互联网需要一种新方式来确保创作者能因他们的产出获得报酬。既然人们阅读的是 AI 摘要而不是访问网站，出版商就无法再仅靠人类注意力赚钱。因此，变现的时间点变成了 AI 机器人实际抓取数据的那一刻，而接下来合乎逻辑的一步，就是引入新的网络原生按请求付费支付基础设施。

按请求付费的网络

要把按请求付费模式扩展到整个互联网，就需要一种高效计量内容和服务器访问的方式。虽然这类活动中有越来越大的一部分由 AI 爬虫驱动，但这个框架适用于任何非人类交互，包括数据源和自动化 API。简单来说，要访问付费内容，一个软件必须通过编程方式向另一个软件付款，这个过程被正式称为机器支付。

为了大规模支持机器支付，基础设施公司在网络路由层构建自动化计费关卡，在请求发生的毫秒级时刻向机器人收费。不过，执行方式大多分为两种截然不同的方法：一种是封闭市场模式，要求爬虫注册账户并获取唯一数字密钥，通过中间路由代理访问网站；另一种是开放协议模式，其设计围绕使用标准化的公共软件规则、机器可读头信息，并支持在更广泛的数字轨道上进行支付结算。

封闭市场

门控市场模式将网页内容视为由企业中介管理的私有资产。在这一框架下，机器支付之前必须先完成身份验证和访问许可。发布者会配置其网络，将传入的 AI 爬虫从面向人类用户的公开网站重定向到由市场提供商管理的专用二级网址。在这个网关处，平台会对照数据库检查爬虫的身份凭证，评估发布者设定的自定义访问规则，记录使用情况，并将页面格式化为机器可读文本。金融交易发生在互联网协议层之外。当机器人发起请求时，市场会记录该次使用，并将其从 AI 公司预先充值的信用余额中扣减。结算则通过 Stripe Connect 等商户平台以法币定期进行，因为每次请求都刷卡的话，手续费会比请求本身的价值还高。在 AI 爬虫与发布者源站服务器之间直接设置中介，有助于最大化安全性、保护服务器免受激进流量冲击，并确保只有经过验证的企业合作伙伴才能进入。然而，这种框架若大规模实施，可能会把开放网络变成由许可制店面组成的网络，进一步恶化人类用户的体验。

早期面向网络的程序化按次付费支付基础设施一直是门控市场，其中最知名的是 TollBit 以及 Cloudflare 按次爬取的第一版。TollBit 是一个用于管理、监控 AI 代理网络流量并将其变现的平台。要部署它，发布者需要设置一个专门的子域名（例如 https://tollbit.thedailydispatching.com/），当检测到 AI 爬虫试图访问主站时，服务器会自动将爬虫重定向到 TollBit 的子域名，爬虫只有在付费后才能获得访问权限。TollBit 会检查该 AI 公司是否拥有已注册的计费账户，记录机器人请求的页面数量，以干净的文本格式交付数据，同时以美元处理支付。这需要 API 密钥，因此如今发现内容成本并不是自助式的：AI 开发者必须先向 TollBit 注册。

2025 年 7 月 1 日，Cloudflare 推出了其首个按次爬取模型。Cloudflare 运行在域名系统（DNS）和内容分发网络层面，这意味着它在流量实际到达内容发布者的物理源站服务器之前就已处理这些流量。在按次爬取第一版中，Cloudflare 集成了其边缘级 Web 应用程序防火墙（WAF），默认情况下自动检测并拦截其网络上已知的 AI 爬虫。当 AI 爬虫请求访问受按次爬取保护的域名时，Cloudflare 会在请求到达发布者网页之前进行拦截，并在网站所有者选择将其内容变现的情况下促成支付。

门控市场的挑战

TollBit 依赖开发者 API 设置、专有密钥以及传统银行渠道进行支付。通过 Stripe 等商户网络路由按次请求交易，会引入固定的交易处理费用（通常约为三十美分加上总费用的一定百分比），这使得单次、不足一美分的实时请求在经济上不可行。为了绕过这一成本障碍，人类开发者需要手动向门控市场中介注册账户，生成唯一的 API 密钥，并用信用卡或银行转账预充余额，平台随后从中逐步扣费。因此，代理和其他自主软件目前还无法独立地按需发现并购买数据；相反，人类管理员需要手动建立商业账户，监控各个独立提供商之间不断波动的余额，并协调安全密钥。

尽管保持人工介入是许多以 AI 为中心的流程中必不可少的环节，但使用门控市场模式来大规模管理网页内容的访问，默认假设了可预测的、线性的网络流量模式，这直接与现代软件的运行现实相冲突。AI 代理和爬虫使用推理循环来动态选择自己的导航路径，这取决于用户给出的提示，意味着它们经常会遇到包含任务所需精确数据的不熟悉域名。在任务中途停下来要求人工手动接入，会迅速造成执行瓶颈，从而破坏用户体验。固定费率订阅在这里也不是最高效的解决方案；AI 代理在接收到指令时随时运行，而这往往表现为不可预测的集中爆发（例如，某人可能连续 3 天从事研究密集型项目，然后休息 2 周）。

在前置资金押金与访问受保护内容和数据所需的定制软件集成之间，门控市场本质上是一个高度许可的系统。一方面，网络发布者能够接收到来自成熟科技公司的受控、经过验证的流量；另一方面，在多个独立平台上管理预充账户所带来的行政与财务负担，限制了非匿名访问，阻碍了独立开发者的自发抓取，也减少了那些缺乏大规模企业流量的中小发布者的变现机会。相比之下，直接的机器对机器金融握手允许发布者向爬虫将要请求的文本和数据附加一笔微费用；这一设计理念构成了开放协议模式的基础。

开放替代方案：x402 与 MPP

开放协议是建立在公开、标准化通信规则之上的网络架构。现代网络的大部分都建立在 HTTP、SMTP 和 TCP/IP 等开放协议之上，至今仍在使用。近年来，HTTP 402 状态码（虽然被保留了三十多年但一直处于未启用状态）已成为核心的 web 原生基础设施组件，用于在使用区块链轨道的开放协议上支持机器支付。

使用 HTTP 402 进行比特币支付的实验最早可以追溯到 2015 年，先驱项目包括 21co Bitcoin Computer 和闪电网络的 L402。2025 年 5 月，x402 协议首次将稳定币引入 HTTP 402 流程中，而 Stripe 与 Tempo 合作的机器支付协议（MPP）等努力则在稳定币之外也支持比特币和信用卡支付。信用卡选项是为宏观交易而非微支付设计的，因为固定的刷卡费用会吞没不足一美分的请求。稳定币仍然是使按请求定价得以可行的轨道。

x402 将支付指令直接嵌入数据交换代码中，无需第三方账户注册或专有清算所。当 AI 爬虫请求一个网页时，宿主服务器会直接在连接元数据中嵌入机器可读的响应（负载头）。该头信息提供每次请求的确切价格、指定的支付网络以及接收方的数字账单地址。

区块链在促进机器支付方面正发挥日益突出的作用，因为它们提供了一个不可篡改、可编程的金融层，其原生速度和自动化水平与软件逻辑一致。稳定币等加密资产在结构上与网络中的 AI 代理紧密相邻，因为它们运行在与 AI 代理和爬虫相同的网络原生基础设施上，以软件代码的形式存在，可通过简单的 API 端点和加密签名进行集成。使用区块链轨道进行支付的成本和费用仍然显著更低，在领先的高吞吐量链上每笔转账通常只需几分之一美分，远低于信用卡和金融科技公司（尽管有越来越多的金融科技公司正在积极缩小这一差距，例如 Wise）。

区块链轨道还从设计上为每笔支付提供了加密收据和验证。每个按请求付费的循环都会提供一份永久存储的收据，其中包含买家的数字签名、所请求的 URL 以及精确的时间戳。由于这些指令存储在公开链上，任何自动化代理都可以解析传入的元数据，使用兼容资产（如稳定币）执行微支付，并在一次连续的 HTTP 握手中下载内容。传统银行轨道的结算需要通过清算所在商业银行账簿之间核对借贷，通常需要数天时间，而区块链结算则在网络节点验证数字签名并更新全局链状态后立即完成，如前所述，在领先链上通常只需几秒。最重要的是，开放协议方法将网络数据访问标准化，使任何规模的发布者都能将其资产变现，也使任何拥有资金充足的自动化账户的开发者都能在无需事先获得行政许可的情况下进行爬取。

2026 年 6 月 15 日，亚马逊网络服务（AWS）将 x402 协议直接集成到 CloudFront 及其 Web 应用防火墙中。这一配置使大约四分之一的互联网能够直接从其现有的云控制台激活自动化代理计费，向付费机器人提供内容。Cloudflare 也紧随其后：其 Pay-Per-Crawl V1 要求 Cloudflare 作为记录商户通过 Stripe 处理支付，而新的 Cloudflare Monetization Gateway 则彻底将 Cloudflare 从支付环节中移除，支付以点对点方式直接路由到卖家的钱包。

封闭市场和开放协议之间的主要区别在于谁被允许购买网络内容的访问权。在封闭市场模式下，访问仅限于经过策展的白名单；AI 机器人只有在母公司手动签署企业合同并通过中介平台的背景调查后才能购买内容。在开放协议模式下，访问完全自动化且不受限制；互联网上任何软件程序都可以即时购买和下载数据，只要其自动计费账户能够当场结算所请求的微费用。随着这两种系统在互联网路由网络中推广，发布者面临两种不同基础设施选项之间的选择。封闭市场模式服务于那些优先考虑严格安全合规、法律赔偿和策展企业合作关系的企业组织。相反，开放协议模式服务于需要无摩擦微交易的自动化工作流，使多元化的独立开发者和发布者生态系统能够在没有行政障碍的情况下以程序化方式交换数据。

AI 爬虫今天实际遇到的情况

为了衡量按请求付费网络的实际覆盖范围，Shoal Research 于 2026 年 8 月 19 日以 AI 爬虫（GPTBot）的身份探测了 108 家主要发布者和消费者网站。样本此后已从 108 个扩展到 500 个域名。以下结果描述的是最初 8 月的运行情况。对于每个请求，我们记录了状态码、重定向链、响应头和质询体，并计算 SHA-256 哈希以确保采集运行期间的数据完整性。当且仅当端点的 HTTP 402 响应在 Payment-Required / X-Payment-Required 头或有效的 x402 JSON 质询负载中返回了可解析的支付参数时，该端点才被归类为 x402 可支付或代理可支付。

在 108 家发布者中，网络分为三种主要姿态：

免费提供（49.1%，n=53）：53 个域名以 HTTP 200 OK 开放提供其主页，允许不受限制地提取。

边界封锁（33.3%，n=36 合计）：31 个域名返回 HTTP 403 Forbidden，两个要求身份验证（HTTP 401），两个拒绝内容协商（HTTP 406），一个返回法律封锁（HTTP 451）。另有 3 家发布者在多次尝试后超时。

返回 HTTP 402（14.8%，n=16）：恰好 16 家发布者返回了 HTTP 402 Payment Required 状态码。

至关重要的是，数据集中没有一家发布者返回开放的、机器可支付的质询。

在 16 个 HTTP 402 响应中，10 个重定向到 TollBit Bot Paywall，6 个返回静态 HTML 许可联系表单。使用经过身份验证的开发者密钥对基线数据集中所有 13 家由 TollBit 管理的发布者进行的二次检查，在每一次费率查询中均返回 HTTP 403。API 负载明确表示内容提供商已禁用程序化访问，且未返回每次抓取的价格费率。

解读这些结果的一种方式是，TollBit 正在充当传统发布者的早期 AI 合作伙伴，帮助他们测试和理解内容的按使用量计费，同时仍为发布者提供受管控的代理访问所带来的控制力和安全性。一个需要手动开发者注册、专有 API 密钥和企业白名单的系统，很难扩展到空前数量的在动态网络路径中导航的自主代理；相反，它是一项过渡措施，旨在保护传统收入，同时等待永久性的机器原生结算标准成形。现在还处于早期阶段，我们认为像 TollBit 这样的提供商正在试图理解并制定如何平衡此类服务所带来的访问、许可和自主性。

我们还在 8 月 19 日拉取了完整的 Coinbase CDP 注册表，以了解谁在实际使用 x402，以及该网络上哪些服务正在运行。该网络号称拥有超过 15000 个端点，其中数百个处于活跃使用状态。

主流内容发布者尚未采用 x402，但在这一缺席之下，一个活跃的供给端市场已经形成。虽然消费媒体尚未积极整合，但开发者工具、专业数据供应商和代理网络已经迅速部署了开放的机器支付端点；x402 生态系统中可识别的名字包括 Tavily、Nansen、CoinGecko、Chainlink、Apify 和 Browserbase 等数据 API，最近还有 Ramp。x402 上的顶级服务提供商包括 ChatGPT、Claude、TripAdvisor 和 Perplexity 等名字，但尚无大型内容发布者。

15,073 个活跃端点表明，软件正在开放的公共轨道上积极定价并销售对其他软件的程序化访问权限。一些追踪该网络的机构报告称，若将捆绑市场纳入统计，端点数量可达 50,000 个。然而，这些端点仍严格集中于抓取、AI 工具调用和实时数据流；将整个注册表与主流消费媒体和出版域名（《纽约时报》、路透社、ESPN、维基百科）交叉比对后，匹配率为零。我们预计这一情况会缓慢但确定地改变，因为通常需要一个知名机构来“启动局面”。网络货币化的历史转变往往跟随单一在位者打破“现状”而发生：《纽约时报》于 2011 年推出计量付费墙；美联社在 2023 年为商业 AI 数据交易开创先例，引发了从新闻集团到《时代》再到康泰纳仕的连锁反应。因此我们预计，当第一家一线出版商在开放协议（如 x402、MPP）上为其访问定价时，市场其余参与者将迅速跟进。

开放协议方法的挑战

开放按请求付费协议的基础设施已在运行，但市场本身仍处于早期阶段。开放支付的技术管道正在积极部署中：出版商拥有机器可读的权利框架如 RSL，AWS CloudFront 和 Cloudflare 中的托管与路由网关可以在请求的毫秒级进行计费，结算轨道从信用卡到数字资产和稳定币一应俱全，全部可通过 x402 和 MPP 等协议普遍访问。主动采用所剩的最大障碍完全在需求侧。

首先，没有主要 AI 实验室通过开放机器支付轨道为消费级网络内容路由生产爬虫流量。我们认为这有三个主要原因。第一，爬虫缺乏集成钱包、自动化采购预算，以及最重要的：为其请求的内容实际付费的商业义务。正如我们的爬虫探测所示，大部分网络仍然完全未设门槛，这意味着被 HTTP 402 阻止的代理可以直接丢弃该 URL，从开放的未设限竞争对手处以零成本提取几乎或完全相同的内容。法律环境强化了这一动态：根据联邦裁决如 William Alsup 法官在 Bartz 诉 Anthropic 案中的判决，法院认定摄入合法可访问的作品来训练 AI 模型属于转换性合理使用。虽然 Alsup 惩罚了保留非法获取的盗版数据集的行为，但在开放网络上可访问的内容上进行训练不承担任何版权责任。因为提取公开网络文本在法律上是免费的，AI 实验室没有商业动机自愿支付开放微费用。

AI 搜索提供商如何处理报酬

生产采用仍然有限，但 AI 搜索提供商开始将补偿视为产品设计的一部分。

在一次未发表的 Shoal Signal 采访中，Parallel 的前方部署工程师 Son Do 描述了 Index，这是一项直接与出版商合作的计划，衡量每个来源对代理最终答案的贡献程度，并与这些来源分享收入。Do 预计出版商和其他数据提供者将转向基于使用量的模式，代理支付轨道将支持大量小额交易。Index 表明，补偿正在进入 AI 搜索和检索产品的设计阶段，尽管它尚未成为主要 AI 实验室的标准采购行为。

除了法律和经济层面缺乏义务之外，现有的开放支付协议还存在一个结构性缺陷：计量的是按请求付费循环中错误的部分：计量初始 HTTP 抓取而非下游推理，即模型综合已摄入知识来回答用户提示的时刻。抓取原始 HTML 收取不足一美分的费用，并不能补偿创作者，如果 AI 模型可以一次性吸收该报道并在数百万次用户回答中复现它。虽然 RSL 等框架定义了按推理付费的选项，但 Cloudflare 或 AWS 等网络级网关无法检查神经网络的潜在权重，以加密方式验证哪些训练文档生成了特定的输出 token。Cloudflare 在 2026 年 7 月与 Ceramic.ai 和 You.com 的试点项目恰好凸显了这一技术瓶颈。该计划试图摆脱按抓取收费的模式，测试一种“按查询付费”模型，仅当出版商文本实际被引用于面向用户的 AI 回答中时才向其付费。虽然这正确地瞄准了价值创造的时刻，但 Cloudflare 等网络边缘提供商位于 AI 服务器之外，意味着 Cloudflare 无法独立验证模型在生成过程中引用了哪些来源，因此系统不得不依赖 AI 公司自行统计引用并自行报告欠款金额，退回到一种荣誉制度。

开放协议面临的另一个根本性挑战是，你无法真正阻止 AI 爬虫为内容支付一次微费用后，将文本写入其内部缓存或记忆，然后无限期地提供该数据。你也无法阻止 AI 爬虫在数千次、反复地跨不同网站和出版商这样做。正如 Tempo 的 MPP 合著者 Brendan Ryan 在我们进行的 Shoal Signal 采访中所论述的，卖方的收费能力在很大程度上取决于其信息是否独特、时效性强且难以缓存。

这一局限性对前述的静态创意作品和报道最为严重。静态文本在发布后几乎立即失去经济价值，即使是通过 AI 工具的检索机制收集的。一旦 AI 模型阅读了一篇调查报道、历史文章或新闻稿件，该信息就被吸收到模型的记忆中。模型可以永远使用这些事实回答问题，而无需再次访问原始网站。因此，简单地将公开网络文本与 AI 界面打包的软件工具将看到其利润迅速消失，因为竞争对手会在同样的免费信息上构建相同的爬虫。

底层规则因此很简单：静态数据几乎立即失去定价能力，而动态且不可抓取的信息保持可付费性。因为 AI 模型可以一次读取未付费的文章或历史报告并将该知识永久存储在权重中，按请求付费的微费用无法支撑依赖静态文本的业务；持续付费只适用于必须持续生产和验证的信息，我们认为这归结为三大类内容：

第一是实时的、短暂的状态，包括实时订单簿、亚秒级金融定价、突发新闻遥测和物联网传感器数据流。AI 模型无法从数月前的训练权重或过时缓存中回答关于世界当前状态的查询；它必须在该精确时刻向源服务器发出新的、付费的 API 请求以获取当前现实。

第二是不接触开放网络的专有离线数据。以私募市场情报为例，新闻稿中发布的历史融资轮次和高管变动很快被低成本竞争对手抓取并商品化。真正的定价权属于进行一手人工研究的提供商，例如通过与基金经理的保密关系直接收集非公开的股权结构表条款、私募交易估值和经核实的 LP 配置。由于这些数据从未在公开 URL 上被索引，自动化爬虫无法绕过付费墙或免费提取这些数据。

第三是鲜明的人声和品牌声誉。正如媒体策略师 Ashni Christ 在 Shoal Signal 上指出的，一个被屏蔽或下线的通用新闻聚合信息流，会立刻被一个一模一样的自动抓取器取代，受众毫无损失。但当一个有既定观点的真正分析师、调查记者或创作者停止发布内容时，读者会立刻注意到并去寻找他们。实时访谈、主观分析和直接接触无法被 LLM 预先计算、存储在中间缓存里，或从静态训练集中复制，这使得实时信息流、私有离线记录和个人视角成为唯一能够可靠定价的资产。

结语

互联网正在崩坏，至少看起来如此。

为了加速彼此之间的通信和协调，人类建立并连接了全球的计算机和软件网络。几十年来，每一层后续技术都旨在让这种交换更快、更高效，最终催生了为大规模自动化而建的软件。生成式 AI 把这种自动化能力一次性直接交到了数亿人手中。但随着自动化软件接管网络，它正在从根本上改变信息被发现、合成和消费的方式。这一转变最严重的后果是经济层面的：通过过去三十年支撑开放互联网的广告曝光和人工推荐模式来变现网络流量已不再可行；正因如此，我们现在看到按请求付费的互联网正在形成。

现有的两种不同路径是网络世界的老故事：中心化、闭源的中间商，提供法币计费、一站式合规和熟悉的企业入驻流程，但也带来平台锁定和许可式把关；以及开放协议，提供无需许可的访问和通过稳定币实现的程序化微支付，不过它们在企业分发、推理归因，以及最重要的实际发布者采用方面仍存在缺口。

我们亲自测试按请求付费互联网的状态后发现，开放支付协议的基础设施和供给端已经就绪。像 x402 这样的开放协议已经在积极推动数据收集、工具调用、AI 推理和实时数据馈送等功能性市场，但仍未得到主流在线发布者的支持。像 TollBit 这样的平台目前被宣传为程序化变现市场，但数据表明发布者只是把它们当作临时方案，用来屏蔽抓取器并将 AI 实验室引导至私下的线下交易。

这告诉我们，判定是封闭市场还是开放协议“胜出”远未结束。事实上，谁说它必须偏向其中一方？未来极有可能同时包含两种路径，服务不同客户和不同用例。稳定币将和预付费积分、订阅及传统发票一样被积极使用。这场博弈远不像某些人认为的或至少声称认为的那样是零和游戏。至少在一段时间内不会如此。

不过，尽管互联网正处于拐点，人们很容易对未来的走向做出前瞻性预测，但重要的是拉远视角，记住网络才存在了 30 年，而且这些年间它一直在持续演化。无论新兴的按请求付费互联网在支付基础设施上收敛于封闭市场还是开放协议，一种可能性始终存在：这个活跃演化、资金充裕的 AI 领域的进一步发展可能让两种路径都变得无用，转而为一种全新的、尚未探索的路径奠定基础。就目前而言，我们认为更有可能看到开放协议和封闭市场同时被更广泛采用，各自服务不同细分市场和不同用例。然而，与任何前瞻性判断一样，只有时间能给出答案。

旧契约的崩塌最终可能造就一个更健康的网络，与此同时，也可能提高那些从一开始就没有资金支付按次使用费用或使用代理的人的全球信息获取成本。不过，直接的机器支付可能为发布者提供一条不依赖广告或平台控制推荐的机器使用变现路径。结果将取决于这些新轨道是继续向独立发布者开放，还是变成又一层把关者。