新闻
Google 在 2026 年 10 月 30 日宣布,计划于 2027 年支持网站通用的 AI 训练偏好信号。站长可在 robots.txt 中表达选择,让参与的服务商读取同一组规则,减少逐家维护配置的工作。现有 Google-Extended 等专用控制仍会保留。这是实施计划,目前不能当作已经全面生效的功能。
同日提交的技术草案采用 __usage_ai-training 标记,沿用 Allow、Disallow 和路径匹配语法,可针对目录表达训练偏好。它与爬虫访问规则分开:拒绝训练不等于阻止抓取,也不能靠一条规则保证所有服务商遵守。草案还明确,通配的 User-Agent: * 分组不代表已表达训练偏好,需要单独设置对应标记。该文件仍是个人提交的 Internet-Draft,并非已经通过的 IETF 标准。
还有一个容易忽略的细节:Google 计划在网站没有明确设置 Google-Extended 时,把通用拒绝信号按禁止 Google-Extended 处理。因此,站长还要核对它对 Gemini 内容引用等用途的影响,不能只看“训练”两个字。
简评
统一表达方式值得推进,站长不必为不断增加的爬虫维护一长串例外。但实际管理仍要分清内容能否抓取、能否用于训练、能否用于回答引用这几件事。更稳妥的做法是保留现有有效规则,等服务商公布明确支持时间和优先级,再逐项验证。一个容易填写的开关,只有配上可检查的执行结果,才真正省事。
