网页抓取是如何运作的：OWASP、GDPR 与 hiQ 案中的技术、法律与营销依赖

网页抓取是自动化复制网站内容并结构化存储，OWASP 将其列为自动化威胁 OAT-011。抓取需应对速率限制、IP 信誉和 CAPTCHA，Google 于 2025 年 1 月部署 SearchGuard，并在 12 月 19 日起诉 SerpApi，称其两年内抓取量增长最高 25,000%。