机器人身份验证影响抓取放行与广告流量识别
影响级别
⚪背景知识
⚠ 风险提示:身份验证不代表内容用途获授权,也不保证请求行为安全。
期限/窗口:September 15, 2026 [1]
发生了什么
PPC Land于2026年10月12日发布说明:机器人身份主要通过双向DNS核验、公开IP段及请求签名确认。据其报道,Cloudflare自2026年9月15日起,对新接入域名的含广告页面默认拦截Training和Agent类爬虫;该范围不能外推至全部网站或搜索爬虫。 [1]
对卖家的影响
- 推断对使用防火墙的站点,误拦搜索或广告落地页爬虫可能影响抓取与广告审核;具体损失未知。建议未来两周核对拦截日志与审核结果,判断是否存在实际影响。 [1]
- 事实已验证爬虫仍属于应过滤的非人广告流量;身份标记可辅助识别,但不能单独证明计费流量质量,实际过滤效果取决于平台接收的数据与规则。 [1]
一个可执行建议
若管理使用Cloudflare的含广告站点,核验当前爬虫分类与防火墙规则是否符合预期的抓取权限。
证伪信号
- 判断 1:若日志显示相关爬虫持续成功访问,且抓取与广告审核正常,则误拦影响判断不适用。
- 判断 2:若MRC官方修订取消对已声明及已验证爬虫的无效流量过滤要求,该判断需调整。