21世纪经济报道记者肖潇 北京报道
三十几年来互联网遵守着一套“君子协议”：狭义上，它指的是 robots.txt，即网页告知爬虫哪些内容可以抓取的一行代码。更广义地说，它是互联网开放共享精神的一种体现——我向你开放数据资源，你也应当尊重我的使用边界。
但AI在反复冲击这套延续多年的共识。海量百科、新闻、小说、学术资料被用来训练大模型语言能力，如今订票、点餐、申请退款的在线服务也能被智能体调用，利益冲突不断加剧。
不过在今年，围绕AI的使用边界，新的“君子协议”密集出现。
近期OpenAI、谷歌、微软和Anthropic承诺加入一项技术提案，允许网站一次性声明是否拒绝AI训练，不再需要为每个AI单独制定规则。这项名为“AI训练退出令牌”（AI training opt-out policy token）的草案如果顺利通过，四家巨头将在2027年之前接入。
在应用生态中，类似的规则也在形成。11月，工信部发布《关于加强智能体终端设备进网管理的通知》，要求除非App明确同意，智能体不得强制调用App。
数据使用边界不只是法律争议，也是技术问题。互联网还处于发展初期时，网站与搜索引擎通过一套约定尝试协调彼此的竞合关系，如今AI治理也在迈向这一阶段。
“AI退出机制”在海外成形
2022年底，随着AI生图模型的走红，创作者开始用技术方式表达拒绝AI的意愿。
一个标志性事件发生在数字艺术社区DeviantArt。当时DeviantArt基于Stable Diffusion推出了自己的商业化AI绘画工具，对艺术家来说，这是一个颇为讽刺的局面：他们在平台上发布作品，作品已经被外部AI公司抓取为大型训练数据集，平台还进一步推出商业化工具。
更引发不满的是，DeviantArt默认用户同意将作品用于AI训练。如果创作者想退出，需要一件件处理，批量处理还得提交申请表。如果创作者上传过大量作品，操作成本很高。
在用户集体出走的压力下，DeviantArt调整了授权机制：创作者可以通过NoImageAI和NoAI两个网页指令，向AI爬虫表达拒绝被抓取的意愿。它们本质是一种机器可读的权利声明，通过网页或文件中的标记表达使用意愿，无需逐一谈判。
这为行业实践提供了样本。2023年到2025年，网站层面的AI退出机制成为主流方向。
在这期间，AI公司陆续公开了官方爬虫身份。例如Anthropic将爬虫分为用于模型训练的ClaudeBot、用于搜索的Claude-SearchBot，以及代表用户访问网页的Claude-User；OpenAI也分别设置了GPTBot、OAI-SearchBot等爬虫。网站运营者可以在robots.txt中针对不同爬虫设置访问规则，选择允许或屏蔽特定AI服务。
Cloudflare进一步尝试了更统一的表达方式，其在2025年推出“内容信号”机制，允许网站在robots.txt中直接声明内容用途偏好，甚至能让网站根据抓取量开启收费。
沿着AI能不能抓取内容、能抓取哪些内容、用于什么目的、抓取后如何付费的链条，新的内容流通基础设施成形。
但技术方案的增加没有消除碎片化的问题，由于每家AI公司都有自己的爬虫名称和规则，网站必须逐一识别配置。IPTC今年统计发现，在抽样的504家内容网站里，49.6%的网站通过 robots.txt屏蔽了至少一种AI爬虫，但其他退出机制的采用率均低于2%，行业始终缺乏统一标准。
今年10月，新的解决方案出现。Anthropic一名工程师提出“共享令牌”（policy token）草案，计划在robots.txt 文件中新增名为“User-Agent”的共享信号，让网站可以一次性拒绝AI训练，所有承诺参加的大模型公司都应遵守约定。
目前OpenAI、谷歌、微软和Anthropic四家巨头宣布接入，Anthropic表示已经在部署，OpenAI的计划实施时间是未来几个月，谷歌和微软则安排在2027年2月之前接入。
目前苹果、Meta和Perplexity未出现在首批名单里。OpenAI 称这是一项自愿行动，并在承诺结尾向业内发出呼吁：“我们鼓励其他 AI 提供商都遵守这一信号。”
行业承诺先行，法规尚未定性
正如字面意义的“君子协议”——以robots.txt为代表的机制本质是一种自愿声明，它相当于家门口插上“禁止入内”的立牌，但无法从根本上阻止爬虫，违反 robots 规则本身，并不当然构成侵权。
AI公司之所以愿意接受并主动推动这类机制，背后是日益增长的版权诉讼和合规压力。
据美国哥伦比亚新闻学院统计，全球AI公司已经收到48起来自媒体的版权起诉。包括《纽约时报》《时代杂志》《朝日新闻》等大型媒体机构，正在起诉AI公司未经授权擅自使用版权内容训练大模型。在这一层面，AI退出机制可以视为缓兵之计，它不能解决已经发生的数据使用争议，但至少为未来承诺了一种行为规则。
欧盟还尝试将这种行业实践纳入立法框架。《人工智能法案》要求，通用人工智能模型提供者需要建立版权合规政策，并识别、遵守针对文本与数据挖掘作出的权利保留。
本次“共享令牌”也是在这一合规要求下推出。正在审核“共享令牌”的互联网工程任务组（IETF，一家负责制定互联网技术标准的国际组织）这两年一直在推进AI内容偏好工作，尝试建立一套让网站、创作者和AI公司能够共同识别的内容访问规则。
回到国内，在个人信息保护领域，司法规则也提到了AI训练里的退出边界。今年9月，最高法发布的《关于依法审理涉人工智能纠纷案件的意见》要求，如果对个人权益有重大影响，则应当依法取得个人同意。但国内尚未有规定覆盖新闻、图片、小说、学术资料等内容的AI退出机制，行业实践也相对有限。
未解决的流量和代理问题
AI退出机制仍在迭代，接下来还要面对几个争议：
第一个争议是拒绝AI后，如何保证被公平对待。
许多互联网公司既有搜索引擎又有AI大模型，拒绝AI可能会影响搜索流量。目前只有微软明确回应了曝光问题——微软承诺，无论内容方选择退出AI训练或者AI推理，都不会影响必应里的搜索排名。
谷歌之前也在官方文档里提到，使用 Google-Extended 或者拒绝AI 训练爬虫，都不会影响网站的谷歌搜索排名，但谷歌不能保证“AI回答里的可见性”。由于现在没有工具统计AI回答的流量，网站也无法评估拒绝AI爬虫可能损失多少点击量。
第二个争议是，AI使用内容，应该默认允许还是默认拒绝。
市场咨询机构ScalePost的数据显示，过去一个月里，OpenAI、谷歌、微软和Anthropic四家巨头一共发出了约10亿爬虫请求，但只有 0.15% 的请求检查了网页robots.txt 文件。也就是说拒绝声明可能被直接无视，退出机制很可能“只是表面功夫”。
外界因此有反对声认为，授权机制应该设计为默认拒绝，如果创作者允许AI爬虫，则单独同意。这取决要让AI公司还是创作者承担更多操作成本。
第三个，也是目前最大的争议是，AI搜索和智能体调用缺乏边界。
最新的“共享令牌”专门定义了“AI训练”，排除的爬虫也仅限训练目的。但现在更多爬虫用于AI推理——大模型通过联网搜索、调用外部网页为用户总结答案，而这一界限很难被定义。
IETF工作组多次尝试定义“AI推理”或“AI应用”，但始终未能达成共识。
国内在智能体边界上已经率先实践。在今年9月，豆包手机助手推出一份《屏幕自动化操作声明协议》（SAEP），其自我规范是：App在30天内表明拒绝意愿，公示期结束后，豆包将对未表态的App开放屏幕自动化操作权限。
而11月6日，工信部发布了另一份官方规章《关于加强智能体终端设备进网管理的通知》。工信部将智能体定义为“具备自主感知、记忆、决策、交互与执行能力的智能系统”，将调用过程概括为“智能体分发管理机制”。
按照这一要求，智能体不能默认App同意被调用，而是默认拒绝，单独提供允许智能体调用的声明。
暂无评论