robots.txt 是什么：从 1994 年约定到 RFC 9309 与 AI 爬虫规则

robots.txt 是放在网站根目录的纯文本文件，用按爬虫名称分组的 allow 和 disallow 规则告诉爬虫哪些路径可以抓取，冲突按最长匹配、同等具体时 allow 优先。