Cloudflare与OpenAI试点助ChatGPT Search新增索引数亿个传统爬虫未发现的网页

Cloudflare与OpenAI开展为期三个月的研究试点，利用网络观测信号发现并索引了数亿个传统链接爬虫未能发现的网页。试点覆盖约1%的Cloudflare网络，向OpenAI提供网页更新、流量及安全相关元数据，不分享用于模型训练的页面内容，网站可通过AI Crawl Control退出。新增收录是否带来网站引荐流量尚未完成测量，将是下一阶段的研究目标。