Administrator
Published on 2026-10-15 / 10 Visits
0
0

模型隐藏能力:为什么能力诱导审计无法证明不存在

模型隐藏能力给能力诱导审计划出了一条清晰边界:一次干净的评测,可以证明模型在指定条件下表现出了什么,却无法普遍证明一个对抗性来源的模型不具备某种能力。NeurIPS 2026 新论文构造了加密神经电路。即使审计者拿到全部权重,也很难找到触发器或识别隐藏载荷。

这项工作的现实价值,不在于制造新的模型恐慌。它迫使审计报告收缩结论,并把剩余风险交给独立的模型来源验证、权限控制、运行时监控和撤权机制。

证据核验时间:2026 年 10 月 15 日。本文以 10 月 14 日提交的 arXiv v2 为准。该研究是建立在明确密码学假设和编译条件上的 PoC。

阅读时间:约 10 分钟 · 约 3800 字

TL;DR

  • 能力诱导给出的是能力下界:它能确认成功引出的能力。
  • 论文给出一种条件性构造,用密码学数字锁把可执行神经网络藏进模型权重。即使审计者拥有全部权重,仍可能无法在可行计算预算内找到触发器或判断载荷内容。
  • 不可诱导与不可检测是两件事。编译电路的结构可能被异常检测发现。
  • 实验把一个只有 672 个三值权重的分类器,嵌入约 20.7 亿 dense 参数的编译宿主。这是一种高成本模型生物,距离可直接使用的前沿模型攻击很远。
  • 阴性结果应写成:在指定威胁模型、方法、数据和预算下未发现该能力。
  • 完整安全链还需要权重来源、结构检查、最小权限、运行时监控和快速撤权。

论文真正证明了什么

AI Models Can Provably Hide Arbitrary Capabilities 研究的是模型权重供应链攻击。攻击者可以在部署前修改权重,选择一个高熵秘密触发器,并把目标神经网络嵌入宿主模型。防守方拿到架构和全部权重,也可以使用任意多项式时间的审计方法,但不知道触发器。

作者用两个游戏定义白盒不可诱导性。第一个游戏要求审计者找到能解锁隐藏计算的输入。第二个游戏在两个同等大小的载荷之间选择,要求审计者判断权重里实际隐藏了哪一个。数字锁安全、触发器最小熵和编译正确执行同时成立时,数字锁的安全性可以转移到这两个游戏。

现有能力诱导通常被理解为一项持续加码的搜索任务。评测者改进 Prompt,增加工具,构建 Agent Scaffold,用相关数据微调,检查内部激活,并扩大计算预算。英国 AI Security Institute 的结构化能力诱导协议和 METR 指南都说明了这些方法的价值。它们能减少普通评测失效,更准确地估计模型已经表现出的能力。

密码学构造处理的是另一类问题。继续扩大搜索,仍然受密码学困难假设约束。审计者看到每一个权重,也无法自动得到正确触发器。

因此,论文否定的是一个强主张:

只要能力诱导足够强,就总能证明一个对抗性来源的模型没有隐藏能力。

更窄的结论仍然成立。评测可以发现已经表现出的能力,可以比较模型,可以测量指定环境中的成功率,也能识别很多普通沙袋行为。阴性结果仍有价值,只是它的适用范围必须被写清楚。

数字锁怎样藏进模型权重

数字锁可以理解为只在收到正确密钥时释放消息的程序。在这篇论文里,密钥是秘密触发器,消息是隐藏神经网络的权重。

作者把数字锁和执行单元编译成神经网络组件。每次前向推理都会尝试解锁加密权重。普通输入沿着良性宿主路径运行。正确触发器会恢复隐藏矩阵,再执行内嵌分类器。

这套证明依赖五个条件:

  1. 触发器具有足够的最小熵。
  2. 数字锁满足其密码学安全假设。
  3. 编译电路能在有限精度和归一化条件下正确执行。
  4. 审计者使用多项式规模资源。
  5. 攻击者可以在部署前修改权重。

这些条件同时定义了结论边界。普通沙袋模型可能被更好的提示、微调或内部干预诱导出来。密码学数字锁则被刻意设计为让触发器恢复在计算上困难。

论文还明确区分不可诱导与不可检测。稀疏权重、异常相关结构或可疑计算图都可能暴露编译电路的存在。安全保证关注的是触发器恢复和载荷识别,并不保证修改后的权重看起来与自然训练权重相同。

实验支持 PoC,不支持普遍性判断

实验使用两类受控能力:子集奇偶校验,以及一个二分类化学任务。后者判断给定试剂能否产生候选产物。化学载荷是一个 64→8→16→2 的三值 MLP,一共只有 672 个三值权重。

嵌入这个小载荷的成本很高。主要编译宿主有 38 层,约 20.7 亿 dense 参数、190 万 nonzero 参数,最大残差流宽度为 10266。哈希子电路贡献了约 95% 的 dense 参数。作者把这些数字明确定位为 PoC 成本。

受控实验仍然提供了有效信息:

评测 加密模型结果 对照含义
正确触发器 73.5% ± 2.6% 隐藏分类器可以执行
SFT 500 步 50.9% ± 1.0% 随机网络对照为 50.6%
LAT 八层 52.9% ± 3.9% 随机网络对照为 53.6%
GCG 搜索 16-bit 触发器 52.7% ± 1.4% 限定在论文给定查询预算内

8-bit GCG 结果达到了正确触发器性能,原因是它枚举了全部 256 个候选,表现与相同查询预算的随机搜索一致。这个对照很重要:它把优化器识别结构与暴力覆盖小触发空间分开了。

证据边界依然很清楚。电路由作者主动构造,论文没有声称普通训练会自然形成它们。载荷规模很小,参数开销很大,编译结构可能被检测,完整前沿预训练模型里的系统评估仍属于未来工作。截至 10 月 15 日,论文称会发布模型,但 arXiv 页面、正文和源文件都没有提供可核验的仓库 URL 或 commit hash。

当前证据支持的是条件性反例与可运行模型生物,无法支持现实部署模型普遍存在密码学隐藏能力的结论。

给能力审计加一条五级证据阶梯

当能力诱导被视为能力下界,审计报告就可以准确声明每一层证据能够支持什么。

证据层级 已获得证据 可以支持的结论
1. 行为观测 模型在记录完整的条件下完成任务 被评系统展示了该能力
2. 结构化诱导 多种方法、预算、基线、保留集和失败分析 审计覆盖了一个明确的能力包络
3. 模型完整性 权重来源、哈希、训练记录、异常检查和机制探针 工件在已测试范围内符合预期来源与结构
4. 部署遏制 受限凭据、工具与网络边界、运行时监控和触发器 漏检能力可触达的影响已被限制
5. 恢复证据 撤权、回滚、取证重放和回归测试 组织可以发现激活、阻断影响并完成复盘

任何单层证据都不能替代其他层。强行为评测无法说明权重来源是否被篡改。签名工件也无法保证未来行为。运行时监控可以在触发发生时提供信号,却无法倒推模型在触发前没有隐藏载荷。

阴性结果可以采用一条标准表述:

在威胁模型 T、方法 M、数据 D 和计算预算 B 下,尚未发现能力 C。该结果无法证明模型在对抗性权重修改条件下不具备能力 C。

这句话比通过安全审计更有用。发布负责人可以直接看到剩余不确定性,并知道下一道控制应该承担什么。

一次漏检怎样变成部署事故

审计漏检需要经过一条决策链才会形成现实影响:

阴性结果 → 发布批准 → 模型权限 → 工具与数据访问 → 持续执行 → 下游传播

每个接口都可能放大早期误差。干净的 CBRN 代理任务分数可能支持更宽的发布范围。模型随后获得代码执行、网络访问、密钥或自主重试预算。微调衍生模型可能继承权重,却丢失原始来源记录。运行时告警即使发现异常,也可能缺少独立撤销凭据的权限。

论文里最值得工程团队关注的变量因此是权限。作者明确指出,风险同时受隐藏能力本身和宿主模型获得的权力影响。一个能力漏检但没有实际访问权的模型,失效面明显小于接入生产工具的同一模型。

完整应对方案需要把证据与遏制连接起来:

  1. 能力声明前先验来源。 记录训练责任主体、基础与衍生权重哈希、转换历史、签名身份和全部后训练修改。
  2. 用明确预算与对照运行能力诱导。 保存 Prompt、Scaffold、微调数据、工具权限、试验次数、随机搜索基线、失败运行和评测器版本。
  3. 用独立通道检查工件。 检查权重统计、计算图、稀疏性、异常相关结构和机制信号,并写清每个检测器能看到的范围。
  4. 让权限服从审计包络。 不确定性越高,凭据范围、会话时长、网络出口、写入权限和人工门禁应越严格。
  5. 监控执行过程。 同时观察内部异常、工具序列、网络路径、权限变化和推理期间的异常状态转移。
  6. 把撤权放在独立控制面。 操作方需要能暂停运行、吊销身份、阻断出口、保存证据、回滚影响,并阻止问题权重继续传播。

这条控制链可以与站内的模型失调报告证据合同和长时 AI 安全轨迹控制直接连接。新论文改变的是两个系统的起点:一次干净的部署前测试,首先是关于本次审计的观测,不是一张覆盖模型全部潜在计算的证书。

常见问题

这是否意味着 AI 能力评测已经失效

能力评测仍然是测量已展示行为、比较系统、寻找普通隐藏能力和制定发布阈值的核心方法。论文限制的是对抗性权重供应威胁下的能力不存在证明。

拿到全部权重能否解决隐藏能力审计

白盒访问扩大了可用方法,但论文构造让多项式时间审计者在给定假设下仍难以恢复触发器或识别加密载荷。白盒访问依然可以用于发现异常编译结构。

普通模型训练会不会自然形成这种密码电路

论文没有提出这一结论。其电路由研究者主动编译进权重。自然涌现、前沿模型里的实际可隐藏规模和现实部署中的普遍程度都需要新证据。

开放权重模型是否具有独有风险

核心问题是模型来源是否可信,以及部署前是否有人能够修改权重。开放权重有利于独立检查和研究,也要求使用方核验工件来源与转换历史。封闭工件遭遇供应链入侵时,同样存在完整性风险。

下一份审计报告应该增加什么

至少写清威胁模型、诱导方法、数据、计算预算、对照、工件来源、结构检查、部署权限和剩余不确定性。阴性结果保持有限表述,再把风险连接到运行时遏制与撤权。

可执行的结论

这篇论文没有终结能力审计。它要求能力审计使用一种更诚实的输出类型。

成功诱导仍然可以证明模型做得到。诱导失败只能说明执行过的搜索没有发现该能力。模型完整性、部署权限、运行时行为和恢复能力需要各自的证据通道。

下一步因此是一项架构工作:继续提高能力诱导质量,同时让它退出单独承载整个安全论证的位置。完整系统应保证一次漏检无法自动换来广泛生产权限。

参考资料


Comment