White Circle 开源图像模型红队工具 RISE:称新一代 Nano Banana 2.1 等更容易被绕过安全限制
巴黎 AI 安全公司 White Circle 开源红队测试流程 RISE,用开源 Qwen3-32B 做攻击方、Gemini Flash 做评判,自动演化「绕过策略」而非单条提示词。其称在 DALL·E 3 上人工确认的违规出图成功率约 13.3%;对新发布的 GPT-Image-2.5 系列与 Nano Banana 2.1 原样复测,成功率约为前代的 2.2 至 2.4 倍。攻击提示词与生成图像未公开,结果已提前告知相关厂商。
巴黎的 AI 安全公司 White Circle 于 10 月 14 日开源 RISE(Red-teaming via Iterative Strategy Evolution),一套面向文生图模型的自动化红队测试流程,并公布了对主流图像模型安全防护的测试结果。
- 方法:以往方法多是反复改写一条提示词直到通过审核,RISE 则在「策略」层面演化:先提出一类绕过思路,再批量生成提示词按命中率给策略打分,不断保留和改进有效策略;全程不训练新模型,攻击方用公开的开源 Qwen3-32B,评判方用现成的 Gemini Flash,并用人工标注校准评判标准;
- 结果:在 DALL·E 3、GPT-Image-2、Nano Banana 2 上,经人工确认生成平台政策禁止图像的成功率最高约 13%(DALL·E 3 约 13.3%);团队指出,过去一些方法报告约 30% 的成功率,但其自动评判把大量正常图片误判为违规;
- 新模型复测:论文提交后,团队用同一方法测试 OpenAI 新发布的 GPT-Image-2.5 系列和谷歌 Nano Banana 2.1,称攻击成功率分别升至前代的约 2.4 倍和 2.2 倍;
- 公开范围:复现流程已在 GitHub 开源,供防守方和监管方测试自家部署;具体攻击提示词、发现的策略和生成的违规图片不公开,结果已在发表前告知相关公司;论文将在 NeurIPS 2026 展示,团队同时呼吁对 AI 实验室引入强制性的独立第三方监测。
对创作者意味着什么: 这项研究说明,图像模型「新版本更强」不等于「新版本更安全」,平台的安全过滤也会被系统性绕过。对日常做封面、海报、插画的创作者,意义主要在合规侧:不要依赖模型「拦得住」来判断内容能不能发,涉及人物、未成年人、敏感题材的画面,发布前都要人工复核;团队或接单作图时,最好在模型自带审核之外再加一道人工或自建的审核环节;用 Nano Banana 2.1 等新模型批量出图时,留意平台政策更新,账号因违规内容被处罚的风险始终在发布者身上。
信息来源:White Circle(研究博客 / 官方 X / GitHub)(本文为编辑整理改写)