Cloudflare与OpenAI试点发现数亿网页

Cloudflare与OpenAI开展为期三个月的研究试点，利用网络观测信号发现并索引了数亿个传统链接爬虫未能发现的网页。试点覆盖约1%的Cloudflare网络，向OpenAI提供网页更新、流量及安全相关元数据，不分享用于模型训练的页面内容，网站可通过AI Crawl Control退出。新增收录是否带来网站引荐流量尚未完成测量，将是下一阶段的研究目标。

摘自 Tech Times 科技与产业动态

还没有足够的连续观测数据，暂不绘制趋势。