许多软件开发者认为，AI 网络爬虫机器人就像互联网上的蟑螂。一些开发者已经开始以巧妙、通常幽默的方式反击。
虽然任何网站都可能成为恶意爬虫行为的目标 —— 有时甚至导致网站崩溃 —— 开源开发者受到的影响“不成比例”，Linux 桌面 Plasma 的开发者、LibreNews 博客的博主 Niccolò Venerandi 写道。
本质上，托管免费和开源 (FOSS) 项目的网站会公开更多基础设施，而且与商业产品相比，它们往往资源较少。
问题在于，许多 AI 机器人不遵守 Robots Exclusion Protocol 的 robot.txt 文件，该文件最初是为搜索引擎机器人创建的，用于告知机器人不要抓取什么内容。
FOSS 开发者 Xe Iaso 在 1 月份的一篇“求助”博文中描述了 AmazonBot 如何无情地攻击一个 Git 服务器网站，以至于造成了 DDoS 中断。Git 服务器托管 FOSS 项目，以便任何想要的人都可以下载代码或为其做出贡献。
Iaso 说，但这个机器人忽略了她的 robot.txt 文件，隐藏在其他 IP 地址后面，并伪装成其他用户。
Iaso 哀叹道：“阻止 AI 爬虫机器人是徒劳的，因为它们会撒谎、更改用户代理、使用住宅 IP 地址作为代理等等。”
它们会抓取你的网站直到它崩溃，然后它们还会继续抓取。它们会点击每个链接上的每个链接上的每个链接，一遍又一遍地查看相同的页面。有些甚至会在同一秒内多次点击同一链接，这位开发者在帖子中写道。
进入坟墓之神
因此，Iaso 以智慧反击，构建了一个名为 Anubis 的工具。
Anubis 是一种反向代理工作量证明检查，必须通过该检查才能允许请求访问 Git 服务器。它可以阻止机器人，但允许人类操作的浏览器通过。
有趣的是：阿努比斯是埃及神话中的一位神，负责将死者引向审判。
阿努比斯会衡量你的灵魂（心脏）的重量，如果它比羽毛还重，你的心脏就会被吃掉，你就真的完蛋了，Iaso 告诉 TechCrunch。
如果 Web 请求通过挑战并被确定为人类，则会显示一张可爱的动漫图片，宣布成功。Iaso 说，这张图是“我对阿努比斯拟人化的理解”。如果是机器人，请求将被拒绝。
这个名称略带讽刺意味的项目在 FOSS 社区中像风一样传播开来。Iaso 在 3 月 19 日将其分享在 GitHub 上，短短几天内，它就获得了 2,000 个星标、20 位贡献者和 39 个分支。
以复仇为防御
Anubis 的迅速普及表明 Iaso 的痛苦并非独一无二。事实上，Venerandi 分享了一个又一个的故事：
- SourceHut 的创始人兼 CEO Drew DeVault 描述说，他“每周花费 20-100% 的时间来缓解大规模的、极具攻击性的 LLM 爬虫”，并且“每周经历数十次短暂的中断”。
- 运行 Linux 行业新闻网站 LWN 的著名 FOSS 开发者 Jonathan Corbet 警告说，他的网站“因 AI 抓取机器人的 DDoS 级流量而变慢”。
- 庞大的 Linux Fedora 项目的系统管理员 Kevin Fenzi 表示，AI 抓取机器人变得非常具有攻击性，他不得不阻止整个巴西访问。
Venerandi 告诉 TechCrunch，他知道还有多个其他项目也遇到同样的问题。其中一个项目“一度不得不暂时禁止所有中国 IP 地址”。
让这一点深入人心 —— 开发者“甚至不得不采取禁止整个国家/地区的 IP 地址”的手段，仅仅是为了阻止那些忽略 robot.txt 文件的 AI 机器人，Venerandi 说。
除了衡量 Web 请求者的灵魂之外，其他开发者认为复仇是最好的防御。
几天前，在 Hacker News 上，用户 xyzal 建议在 robot.txt 禁止的页面上加载“大量关于饮用漂白剂益处的文章”或“关于感染麻疹对床上表现的积极影响的文章”。
我们认为，我们需要让机器人访问我们的陷阱后获得负效用价值，而不仅仅是零价值，xyzal 解释说。
碰巧的是，在 1 月份，一位匿名创作者“Aaron”发布了一款名为 Nepenthes 的工具，旨在做到这一点。它将爬虫困在由虚假内容组成的无尽迷宫中，这位开发者向 Ars Technica 承认，这种做法即使不说是彻头彻尾的恶意，也是具有攻击性的。该工具以一种食肉植物的名字命名。
Cloudflare 也许是提供多种工具来抵御 AI 爬虫的最大商业参与者，上周也发布了一款类似的工具，名为 AI Labyrinth。
Cloudflare 在其博客文章中描述说，它的目的是“减慢、迷惑和浪费不尊重‘no crawl’指令的 AI 爬虫和其他机器人的资源”。Cloudflare 表示，它向行为不端的 AI 爬虫提供“无关内容，而不是提取你合法的网站数据”。
SourceHut 的 DeVault 告诉 TechCrunch，“Nepenthes 具有令人满意的正义感，因为它向爬虫提供了无稽之谈并污染了它们的来源，但最终 Anubis 才是对他网站有效的解决方案。”
但 DeVault 也公开呼吁采取更直接的解决办法：“请停止将 LLM 或 AI 图像生成器或 GitHub Copilot 或任何此类垃圾合法化。我恳求你们停止使用它们、停止谈论它们、停止制造新的，就停止吧。”
由于这种情况不太可能发生，开发者们，尤其是 FOSS 领域的开发者们，正在以智慧和一丝幽默感进行反击。
关注我获取更多资讯
