社交媒体 Reddit 修改了其 robots.txt 文件，以阻止人工智能公司的自动网络爬虫。此举是为了应对 AI 初创公司无视 Reddit 的条款仍然抓取其内容的做法。robots.txt 是放置在网站根目录的一个文件，该文件约定了网络爬虫可以访问/爬取网站的哪些部分。据悉 Reddit 将在几周内实施这项改动。Reddit 还表示，它将继续积极阻止 “未知” 机器人和爬虫，并应用速率限制，限制平台上机器人的网络流量。
Reddit 此前与谷歌达成了一项许可协议，以训练基于 Reddit 内容的 AI 模型。robots.txt 更改不会影响该协议。该公司还强调继续对互联网档案馆和研究人员开放其内容。
微信扫一扫