Cloudflare 发布了一款新的免费工具，可防止人工智能机器人抓取网站数据来训练 AI 模型。该工具可供所有 Cloudflare 用户使用。想要启用该工具的用户可以在 Cloudflare 仪表板的安全菜单中的 “机器人/Bots” 下找到它。有一个名为 “AI Scrapers and Crawlers” 的开关可以打开。
AI 公司们经常在未获得许可的情况下爬取网站数据用于训练其模型，尽管可以通过在 robots.txt 文件中添加一行来规避，但并非所有 AI 公司都尊重这一规则。Cloudflare 开始分析 AI 机器人和爬虫的流量，以自动检测机器人。其模型会分析 AI 机器人是否试图通过模仿实际用户的行为来逃避检测，并可识别经常使用的工具和框架，以将这些流量标记为机器人。
微信扫一扫