Administrator
Published on 2026-11-05 / 15 Visits
0
0

FlashProve 审计:密码学推理证明能验证什么

通过 API 购买一个大模型,客户端通常只能看到模型名称和回答。名称由服务端返回,回答风格也可以模仿,两者都不足以证明后台实际运行了哪组权重。Anthropic 发布的 FlashProve 提供了更强证据:服务方先承诺一组模型权重,再为具体请求生成密码学证明,让客户检查被覆盖的输出 token 是否来自这组承诺权重的计算。

这项进展解决了一个真实问题,但验收时要拆成三问:承诺对应的是不是采购的模型,被检查回答是否来自承诺的计算,以及整个线上服务是否值得信任。FlashProve 直接回答第二问,为第一问提供稳定标识,对第三问只覆盖其中一段。

第一问:承诺的是不是采购的模型

FlashProve 的离线阶段会生成 commitment ID。后续证明都引用这个 ID,因此服务方无法在同一承诺下随意更换权重而继续生成有效的 exact-match 证明。

commitment ID 本身没有品牌语义。验证器不会自动知道它对应 Llama 4 Maverick、某个内部评测版本,还是一组更小甚至退化的权重。公开仓库明确要求,客户应从可信的背书方取得 commitment ID,渠道还要独立于被检查的服务器。三份公开配置文件也应按同样方式保存和审查。

因此,企业需要先建立一张承诺登记表:

字段 要回答的问题 最小证据
模型归属 哪个主体声明这组承诺对应哪个模型版本 模型方或独立评估方签名
权重与配置 权重来源、量化方式、整数转换、Tokenizer 和公开设置是什么 版本清单、配置哈希、构建记录
生效范围 哪些端点、地区和时间段使用该承诺 路由配置和发布时间
轮换关系 新旧 commitment ID 为什么变化 变更记录、失效时间和重新评测结果

如果 commitment ID、配置、回答和证明都由同一个待审服务器临时发送,验证成功主要说明这些文件互相匹配。只有独立渠道把 ID 绑定到已批准模型,才能把计算身份升级为采购意义上的模型身份。

这与中转站数据供应链审计处理的是相邻问题。路由审计确认谁处理了请求,FlashProve 检查被覆盖 token 是否符合承诺计算。生产环境通常同时需要两类证据。

第二问:证明究竟覆盖了回答的哪一部分

FlashProve 的 exact-match 路径证明的是一个确定性命题:在承诺的整数模型中,给定请求文件里的 prompt 和此前输出,指定位置的 token 是模型的贪心选择。

验收人员至少要核对四个边界。

第一,覆盖位置。 证明只覆盖请求文件指定的 token 范围。短回答也可以作为一个更短前缀通过,因此客户端还要检查覆盖区间、结束 token 和预期长度,不能只看进程退出码。

第二,数值模型。 本次演示使用 Llama 4 Maverick 的公开 4-bit 权重并转成整数计算。线上常见的 FP8、BF16 或其他浮点实现可能在某个位置产生不同的最高分 token。仓库报告过整数实现与 16-bit 模型的实测差异,但这属于经验测量,也没有覆盖对抗性 prompt。

第三,解码规则。 exact match 对应整数模型的 greedy decoding。普通随机采样会自然偏离这条路径。技术报告讨论了 fixed-seed sampling 这一确定化方向,但当前公开 exact-match 请求与定理不能被概括为已经覆盖一般随机采样。

第四,请求边界。 只有写入请求文件的 token 才进入命题。系统提示词、检索内容、服务端护栏、工具调用、格式转换和返回后的二次改写,如果没有被编码进证明关系,就仍需独立核验。

项目还提供 clipped-gap 策略,用于容忍整数模型与现实服务之间的数值差异。它的通过结论是 token 分数落在客户接受的限值内,而不是回答等于模型原始输出。采购验收应把 exact match 与 clipped gap 设为两个不同等级,不能共用一个“已验证”标签。

三个性能数字应该怎样读

Anthropic 的 110 tokens/s、约 19 MB 和 70 至 95 倍 GPU 时间开销经常被放在一起。三者来自同一发布方的特定实验,回答的问题并不相同。

110 tokens/s 是 batch 24 条请求时的稳态 prefill 处理率。每条请求有 1,024 个 token,速率把这些位置全部计入,而计时证明通常只检查 prompt 后的一个 token。仓库给出的同批等待时间约为 221 至 226 秒。它不是用户看到的逐 token 生成速度,也没有包含排队和完整验证流程。

18.78 MB 是这些计时运行中的平均单份证明大小。换模型、上下文、接受策略或安全参数后,文件大小不能直接沿用。

70 至 95 倍是 per-GPU 比较。证明方使用单张 H100、承诺的整数模型和大量主机内存;对照方在另一组运行中用八张 H100 执行同模型的 FP8 vLLM prefill。发布方按每张 GPU 换算后,batch 24 的范围是 66 至 77 倍,在纳入的最高负载下约为 94 倍。数值格式、执行栈、运行日期与硬件组织都不同,因此这个比率适合描述原型量级,不适合直接代入生产容量或成本模型。

截至 2026 年 11 月 5 日,本次中英文搜索看到的第三方内容都在转述 Anthropic 数据,尚未发现完整复跑 400B 模型、证明生成、验证与 vLLM 对照的独立报告。仓库允许有条件的团队在自己的机器上测量同类数据,但也说明原始计时记录和部分基线脚本没有随发布提供。更准确的证据标签是:发布方原型基准,公开代码可用于后续复验,当前缺少独立端到端复现。

第三问:证明通过后,服务是否安全可靠

密码学完整性只说明模型忠实执行了被证明的计算。它不评价计算结果的业务价值。一个回答可以同时满足以下两点:它确实来自承诺模型,同时包含事实错误、危险建议、偏见或越权操作。

FlashProve 本身也不自动证明训练数据来源、能力水平、安全评测、系统提示词、RAG 数据、工具授权、隐私政策、计费准确性和中转链完整性。采购验收需要把这些证据并列,而不是压进“模型已验真”一个标签。

对于 Agent,还有一个时间问题。FlashProve 采用 post-hoc proving:回答先生成,证明在另一套服务器上重算。如果回答已经展示、外发或触发工具,事后发现证明失败只能报警,无法撤销已经发生的副作用。技术报告还指出,攻击者可能在失败被发现前通过篡改回答泄露信息,日志系统若同时被控制,也可能记录正确回答而向用户发送另一份内容。

高影响场景应采用以下顺序:

收到回答和关联标识
    ↓
隔离回答,禁止产生副作用
    ↓
验证 commitment ID、请求 token、覆盖区间和 proof
    ↓
独立执行内容安全、业务规则与授权判断
    ↓
提交工具调用或对外结果

普通聊天可以把证明用于延迟检测。生产写操作、签名、资金和凭证处理则应要求 proof-before-action。

Lean 证明与日常程序之间还有一座桥

FlashProve 同时公开了 Lean 形式化、可执行 Lean verifier、日常使用的 C++ verifier 和 CUDA prover。它们的证据强度不同。

Lean 中对协议的 soundness、completeness 和 zero knowledge 给出了机器检查结果,但这些定理带有明确前提:random oracle model、特定配置、exact-match policy,以及不同命题各自的请求和批处理边界。人仍要审查形式化定义是否表达了真正想要的安全性质。

soundness 与 Lean verifier 建立了形式连接。日常更快的 C++ verifier 通过测试与 Lean 版本对齐,却没有形式等价证明。CUDA prover 和 committer 同样没有被证明等价于 Lean 定义。prover 的错误一般不会让 soundness 自动失效,因为客户只信任 verifier;它仍可能破坏 completeness 或泄露本应隐藏的权重信息。

批处理也是单独边界。公开形式化中的 zero knowledge 结果面向单请求证明,而发布程序按批次运行。技术报告还明确写明,C++ 与 CUDA 可执行代码未被证明等价于 Lean 规范。

仓库将 0.16.0 标为不维护的研究工件,并披露尚无独立安全审计。软件、Lean 证明、文档和测试大部分由 AI 在人类指导下完成。这里最重要的结论不是降低评价,而是明确后续验收对象:形式化 statement、Lean 定义、可执行 verifier、parser、配置、构建链和实际部署集成都需要独立复核。

这与站内的形式化验证证明覆盖合同采用同一条原则:checker 通过只关闭命题明确覆盖的风险。FlashProve 的新增问题是,模型承诺、被检查 token 和现实 API 服务还要逐层对接。

一张表完成采购与安全验收

团队可以把候选方案放进以下清单,不要求一开始就达到最高等级,但每个空白都应保留为开放风险。

验收项 必须保存的证据 失败时处置
承诺身份 可信主体签名的 commitment ID、模型版本、公开配置和生效期 无法确认模型归属时只作研究工件
请求绑定 客户端自己生成的 prompt/reply token、Tokenizer、覆盖范围与结束规则 请求文件来源不明或覆盖不全时拒绝验收
接受策略 exact match 或 clipped gap 及全部参数 策略与风险等级不符时失败关闭
Verifier 来源 源码提交、构建记录、二进制哈希、Lean 抽查与返回码规则 无法复算 verdict 时隔离回答
服务关联 请求 ID、返回字节、proof ID、路由与时间顺序 无法证明 proof 对应实际响应时不执行动作
质量与安全 冻结评测、策略版本、内容审查和工具授权 密码学通过不能覆盖行为门禁失败
独立验证 外部 statement 审计、实现等价核查、攻击测试与基准复跑 缺失时保持受控试验等级

在现阶段,FlashProve 适合进入两类场景。第一类是模型评估和路由审计,用它验证供应方是否持续使用同一承诺计算。第二类是低影响、可等待 proof 的请求,将它作为传统日志、合同、指纹和安全评测之外的强完整性证据。

要把它升级为高影响 Agent 的自动执行门禁,还需要独立安全审计、verifier 实现保障、完整响应覆盖、可信承诺分发和 proof-before-action 集成。发布工件已经让这条路线可以审计,但还没有代替这些工程工作。

结论

FlashProve 的价值不是给模型名称加一个更漂亮的防伪标签,而是把“这段输出来自哪组计算”变成第三方可以检查的命题。它证明的是承诺的整数模型、指定输入和被覆盖 token 之间的关系。

可靠采购还要补齐其余链条:谁把承诺绑定到批准模型,完整回答是否都在覆盖范围内,现实服务有没有改写,质量与安全是否合格,以及日常 verifier 是否忠实实现形式化协议。把这些证据分开保存,密码学证明才能成为可执行的完整性门禁,而不是一个范围模糊的“模型身份证”。

参考资料


Comment