机器人警察：强制执行您的 robots.txt 策略，并在机器人到达您的网站之前加以阻止

https://blog.cloudflare.com/zh-cn/ai-audit-enforcing-robots-txt/