OpenAI、谷歌、微软、Anthropic 支持统一的 robots.txt「AI 训练退出」信号，一条规则即可对多家声明
10 月 30 日，OpenAI、谷歌、微软和 Anthropic 宣布支持一个共享的 robots.txt 策略标记 __usage_ai-training，网站可用一组规则向多家 AI 公司声明“内容不用于生成式 AI 训练”；Anthropic 已开始执行，OpenAI 预计未来几个月、谷歌 2027 年初、微软 2027 年 2 月 1 日起支持。
据 OpenAI 官方博客、Google 搜索中心博客和 The Next Web 的报道，10 月 30 日，OpenAI、谷歌、微软和 Anthropic 同时表示，将支持一个共享的「AI 训练偏好」信号。以前网站想拒绝被拿去训练模型，得针对 GPTBot、Google-Extended 等每家爬虫分别写规则；现在可以用一组规则一次性向这几家表态。
要点如下：
- 怎么写：在 robots.txt 里新增一个名为
__usage_ai-training的策略标记分组，用 Disallow / Allow 列出不允许或允许用于训练的路径。例如整站拒绝训练、只放行新闻资料页。 - 它管什么、不管什么：这只是对“内容能否用于生成式 AI 训练”的偏好声明，不是禁止抓取的命令，也不影响网页在谷歌、必应搜索里的排名；对已经被抓取过的内容也没有追溯效力。
- 各家时间表：Anthropic 已开始执行；OpenAI 称会在未来几个月内实现；谷歌计划 2027 年初支持，若网站用这个标记退出且没有单独写 Google-Extended，谷歌会按“禁止 Google-Extended”处理；微软将从 2027 年 2 月 1 日起支持，并另外提供是否允许 AI 引用网页作答（grounding）的设置。
- 原有规则照旧有效：各家自己的爬虫控制规则仍然可用，可以先用共享标记表达大方向，再对单家细调。
- 标准状态：该信号来自 Anthropic 标准负责人 Kevin Kelley 在 IETF（互联网工程任务组）AI 偏好工作组提交的草案，目前还是个人提案，尚未成为正式标准。
对创作者意味着什么： 有独立博客、作品集站或付费内容站的创作者，以后想拒绝文章、图片被拿去训练模型，会比现在省事得多，一条规则就能覆盖几家主要公司。但它只是“声明偏好”，靠各家自愿遵守，已经被抓取的内容收不回来，国内大模型厂商也未表态。另外要权衡：微软明确提醒，拒绝 AI 引用会明显减少内容在 AI 回答里的曝光。想靠 AI 搜索带流量的创作者，可以只拒绝训练、保留引用，按自己的需求取舍。
信息来源：OpenAI 官方博客、Google 搜索中心博客、The Next Web（本文为编辑整理改写）
