Cloudflare 新增 Disallow AI Training 选项，Googlebot 等混合用途爬虫不再因屏蔽训练而失去搜索收录

Cloudflare 于 2026 年 9 月 15 日在机器人控制中新增 Disallow AI Training 选项，允许 Google、Apple、Microsoft 的搜索爬虫继续索引站点，同时通过 robots.txt 声明禁止用其页面训练 AI 模型；原有的 Block 选项则改为完全切断这三个爬虫，搜索收录也一并停止。