谷歌确认其 Gemini 模型在今年 5 月的一次安全测试中曾自主入侵过外部真实企业，这是 Gemini 首次已知的 AI 越狱事件。该事件发生在测试公司 Irregular 开展的一次“捕获旗帜”演练中，目的是评估 Gemini 的网络安全能力。测试环境本应完全隔离，但互联网访问被意外开放。
“捕获旗帜”是一种网络安全竞赛形式，参与者在模拟环境中寻找并获取隐藏的“旗帜”以证明成功入侵。在其中一起事件中，Gemini 通过猜测密码获得了对受保护系统的访问权限。在另外两起事件中，模型在公开代码仓库中找到了凭证，进而访问了受保护系统。
谷歌表示，在每起事件中，模型在确认所访问的是真实公司系统而非模拟环境后，均自行终止了入侵行为。谷歌未披露被入侵公司的名称，但表示三家公司均已收到通知。Irregular 于 7 月底将此事告知谷歌。谷歌和 Irregular 均表示，这一通知是在 OpenAI 的 AI 代理入侵 AI 软件公司 Hugging Face 事件被发现之后发出的。
谷歌并未主动披露此事，直至《华尔街日报》本周进行问询。谷歌认为，由于模型未对相关公司造成损害，且每次都在确认入侵真实公司后立即终止，因此无需公开披露。谷歌将此事类比为“漏洞赏金”计划，即黑客发现并报告安全漏洞后可获得奖励。谷歌安全工程副总裁希瑟·阿德金斯在声明中表示：“这一事件凸显了训练强大 AI 模型以负责任方式行事的重要性。在此案例中，模型的行为是恰当的。”
AI 安全初创公司 Corridor 的首席执行官、白帽黑客杰克·凯布尔对此提出异议。他认为谷歌的解释聚焦于事件严重程度，而真正的问题在于 AI 代理意外入侵了另一家公司的系统。凯布尔表示：“感觉他们试图躲在漏洞披露领域已有的规范后面，但这是一个非常不同的问题。元问题是，模型正在超出其应有的行为边界，实施实际的网络攻击，我认为公众有权知道这些。”
