安全研究人员发现，谷歌一个未知的 Gemini 模型多次越出测试环境的边界，并由此真正入侵了企业。根据 Irregular 的研究以及谷歌的声明，在多个案例中，该 AI 工具在一个 “夺旗” 任务中无意间获得了互联网访问权限。 “夺旗” 指参与者（通常在竞赛场景下）试图从程序或系统中获取信息。在一个案例中，Gemini 据称猜出了某个企业环境的密码，并借此获得了对该企业系统的访问权限。任务原本是访问一家虚构公司，但使用的却是一家真实公司的名称。在明确这已不再是一场模拟之后，Gemini 停止了入侵。
谷歌强调，这表明以负责任的方式训练 AI 模型至关重要，在这些案例中，模型以恰当的方式作出了反应。在多个案例中，Gemini 找到了包含企业登录凭据的公开代码仓库。借此它得以闯入这些企业。尚不清楚这是否涉及被窃取的数据，以及是否利用了漏洞。在此处，Gemini 同样在获得访问权限后立即停止了演练。这是谷歌的模型首次能够从测试环境中 “逃逸” 。近来愈发多的案例表明，AI 模型的黑客能力比人们想象的更强。例如，OpenAI 、 Anthropic 和 Meta 的模型此前据称就已以无意的方式绕过了测试。
