Cloudflare 的新市场将允许网站向抓取数据的人工智能机器人收费。

Cloudflare 周一宣布计划在明年推出一个市场，网站所有者可以在该市场向人工智能模型提供商出售其网站内容的抓取权限。这个市场是 Cloudflare 首席执行官马修·普林斯（Matthew Prince）更大计划的最后一步，该计划旨在让发布者能更好地控制人工智能机器人抓取其网站的方式和时间。

普林斯在接受 TechCrunch 采访时表示：“如果不以某种方式补偿创作者，那么他们就会停止创作，这是必须解决的问题。”

作为其新计划的第一步，Cloudflare 于周一为客户推出了名为“AI 审计”的免费可观测性工具。网站所有者将获得一个仪表板，用于查看有关人工智能模型为何、何时以及多频繁抓取其网站以获取信息的分析。Cloudflare 还将让客户只需点击一下按钮就能阻止人工智能机器人访问他们的网站。网站所有者可以使用“AI 审计”阻止所有使用人工智能的网络爬虫，或者如果他们有相关协议或认为某些网络爬虫的抓取有益，也可以允许其通过。

与 TechCrunch 分享的 AI 审计演示展示了网站所有者如何使用该工具。该工具能够看到访问您网站的每个爬虫程序来自何处，并提供有选择的窗口，以查看来自 OpenAI、Meta、亚马逊和其他 AI 模型提供商的爬虫程序访问您网站的次数。

Cloudflare 正在试图解决人工智能行业中一个迫在眉睫的问题：如果人们都去使用 ChatGPT 而不是访问他们的网站，那么较小的发布商在人工智能时代将如何生存？如今，人工智能模型提供商从数千个小型网站抓取信息来为其大型语言模型提供支持。虽然一些较大的出版商已经与 OpenAI 达成协议授权内容，但大多数网站一无所获，然而它们的内容每天仍被输入到流行的人工智能模型中。这可能会破坏许多网站的商业模式，减少它们迫切需要的流量。

今年夏初，人工智能驱动的搜索初创公司 Perplexity 被指控抓取那些明确表示不希望通过“机器人排除协议”被抓取的网站。不久之后，Cloudflare 推出了一个按钮，以确保客户能够一键阻止所有的人工智能机器人。

普林斯说：“我们听到的那些是出于沮丧，人们觉得自己的内容被窃取了。”

一些网站所有者向《商业内幕》透露，人工智能机器人对他们的网站进行了大量抓取，感觉就像分布式拒绝服务（DDoS）攻击使他们的服务器瘫痪了。网站被抓取不仅会让人感到心烦，而且还会实实在在地增加你的云服务费用，并影响你的服务。

但如果你想阻止 Perplexity 的机器人，而不阻止 OpenAI 的呢？普林斯告诉 TechCrunch，Cloudflare 的客户正在寻求能让他们选择哪些人工智能模型可以访问其网站的工具。Cloudflare 今日推出的新工具将允许客户阻止某些人工智能爬虫，同时允许其他的通过。

据普林斯称，即使是与 OpenAI 达成授权协议的大型出版商，如《时代》杂志、康泰纳仕集团和《大西洋月刊》，对于 ChatGPT 从他们的网站上抓取了多少内容也知之甚少。他们中的许多人不得不接受 OpenAI 告知他们的内容，但答案决定了这些出版商是否获得了一份良好的授权协议。

但 Cloudflare 的市场将于明年某个时候推出，其目标是让小型出版商也能与人工智能模型提供商达成交易。

普林斯说：“让我们赋予你们所有人此前只有 Reddit、Quora 和世界上那些大型出版商才有的能力。如果我们让你们有效地设定一个价格，用于访问和获取你们的内容并将其纳入这些系统，那会怎样？”

虽然这是一个大胆的想法，但 Cloudflare 尚未分享其市场的完整成熟构想。普林斯表示，网站可以根据人工智能模型提供商抓取单个网站的频率向其收费，但不清楚它们实际会支付多少费用。此外，他说网站可以收取被抓取的货币费用，或者只是要求人工智能实验室给予它们赞誉。细节尚不明确。

虽然人工智能公司最初可能不太愿意为目前免费获取的内容付费，但 Cloudflare 的首席执行官表示，他认为这最终对人工智能生态系统是有益的。普林斯称，当前一些人工智能公司永远不为内容付费的局面是不可持续的。