Muir 论文里最容易传播的数字是 1000 万 Token 和 25 MB 状态。把它们放在一起,很容易得到一个过强结论:模型已经能用 25 MB 内存完整记住 1000 万 Token。
论文实际证明的是另一件事。一个 13.4 亿参数的 Muir 模型在三个连续文本流上处理到 1000 万 Token 时,困惑度没有随状态持续累积而恶化。精确查找一条 passkey 的实验只做到 100 万 Token;多跳、多针和真实文档抽取主要在更短窗口评测;吞吐则是 8 张 TPU7x 上的训练结果。
这四类数据都重要,但它们不能互相代替。判断这项工作是否改变长上下文架构,需要先把稳定、召回、读出和吞吐分开。
先检查四张账单
第一张账单是状态稳定性。Muir 把历史压缩到每层固定大小的矩阵状态。论文在三条连续 FineWeb-Edu 流上去掉内部 EOS 重置,让状态连续累积 10,485,760 个目标 Token。动态读出版本保持最低困惑度,没有出现 static readout 在长流上的上扬。
这说明状态没有因为持续写入而明显失稳。它没有说明任意旧信息仍然可寻址。困惑度衡量平均下一 Token 预测,罕见但关键的事实即使已经丢失,对平均值的影响也可能很小。
第二张账单是精确召回。论文把一串七位数藏在上下文不同深度,末尾再询问这串数字。static readout 版本在 100 万 Token 上达到 90.0% 零样本准确率,经过 64K 长度、3 亿多 Token 的短期 cooldown 后达到 99.4%。这是很强的远距单键检索证据,但测试目标仍是一条结构单一的 passkey。
第三张账单是多时距任务。需要连续取回多个值或沿五跳指针链推理时,相关信息分布在不同距离。动态读出版本可以随查询 Token 改变通道权重,在论文的多跳、多针和六项真实文档抽取中更有优势。static readout 在单针任务更强,却无法同时适配多个检索时距。
第四张账单是硬件吞吐。论文在固定 524,288 tokens/step、8 张 TPU7x 和 13.4 亿参数下测试 2K 到 32K 训练长度。Muir 在 4K 与 GDN-2 基本持平,短于 8K 时 Transformer 更快,约 11K 出现交叉,16K 和 32K 时分别达到 Transformer 的 1.64 倍和 2.74 倍。
这张账单不能直接用于 GPU 推理采购。它没有覆盖 decode latency、量化、连续批处理、服务并发和真实线上成本。
固定状态省掉 KV Cache,也取消了逐 Token 地址
标准注意力在推理时保存每个 Token 的 Key 和 Value。缓存随序列增长,历史位置仍然可以被单独访问。论文估算,其对照 Transformer 在 1000 万 Token 时需要 2.1 TB 的 bfloat16 KV Cache。
Muir 的 24 层循环状态合计为 25 MB float32,并且不随序列长度增长。这不是无损压缩。新的 Key-Value 关联不断写进同一组有限通道,旧信息会发生干扰。模型必须控制四个问题:哪些状态衰减,何时擦除旧预测,怎样写入新值,以及查询时如何读取不同时间尺度的状态行。
这与站内讨论的 KV Cache 运行时形成清晰对照。KV Cache 保留 Token 级状态,支付持续增长的内存;Muir 固定内存,把代价转化为学习到的写入与干扰管理。
真正的新意是精度预算
GDN-2 为写入和擦除配置了相近的高秩能力。Muir 的机制分析认为,两者对状态的影响并不对称。
在训练后的模型中,Key 激活与归一化把能量集中到少数通道,Value 写入则会影响全部值通道。论文的干预结果显示,状态对写入扰动的敏感度约为擦除扰动的 13 倍;冻结 write gate 对验证 NLL 的影响,在 GDN-2 和 Muir 中都约为冻结 erase gate 的 14.5 倍。
因此,Muir 压缩 decay 和 erase 的投影秩,把更多参数留给 write、readout 和 FFN。在固定参数预算下,论文配置中的 FFN 最多比 GDN-2 宽 30.4%。这项设计不是简单减少参数,而是把参数投到状态最敏感的接口。
读出还有第二个精度问题。慢衰减状态行持续积累写入,能量会显著高于快衰减行。无权重查询容易被这些高能量行支配,模型只能在写入时加强擦除来降低干扰,结果又缩短了记忆寿命。
matched-filter readout 在查询阶段重新平衡各行贡献,使模型可以减少写入时擦除。论文报告,中位数状态读出能量跨度从 GDN-2 的 14.7 倍降到 9.6 倍,平行擦除率降低 16.6%。这条因果链才是 Muir 的主线:写入精度、行能量、擦除强度和远距召回彼此耦合。
为什么最强结果来自两个版本
static readout 使用固定的通道权重,把更多秩留给 write gate。单针任务只在末尾问一次固定类型的问题,一个稳定滤波器已经足够,所以它能把一条远距关联保留到 100 万 Token。
dynamic readout 把一半 write rank 分给逐 Token 查询门。它可以针对不同查询距离改变通道滤波,适合多跳、多个值和真实文档抽取,也能抑制连续 1000 万 Token 流中的状态漂移。代价是单针写入容量下降,论文中它从 64K 开始衰减。
因此,下面两句话需要分别保留:
- dynamic Muir 在作者协议下完成 1000 万 Token 连续流的困惑度稳定性测试。
- static-readout Muir 在 100 万 Token passkey 上取得 90.0% 零样本和 99.4% cooldown 后准确率。
把二者合并成 1000 万 Token 近乎无损召回,会同时改变长度、任务和模型变体。
工程团队应怎样验收
评估 Muir 或其他线性注意力模型时,至少冻结四组测试。
连续状态测试
使用本业务的长文档或事件流,取消不真实的频繁重置。报告全局 PPL 之外的 tail NLL、状态范数、漂移和异常恢复。生产流如果会跨会话或跨节点,还要测试状态序列化与迁移。
保留与覆盖测试
同时测试单值、多值、不同深度和连续覆盖。要记录早期信息何时丢失,而不只看平均准确率。对 Agent 场景,应把远距事实替换为真实决策输入,例如权限、目标、约束和工具结果。
任务等价测试
让标准注意力、Muir 和混合架构完成相同的抽取、多跳、代码导航或 Agent 决策。正如 上下文压缩需要决策等价,平均预测质量不能证明罕见关键证据仍能驱动相同动作。
部署性能测试
分别测 prefill 与 decode,使用目标 GPU 或加速器、真实 batch、量化方案和服务框架。论文中的 TPU 训练交叉点只能作为待复现假设,不能直接变成产能或成本数字。
Kernel 不是附属实现
线性复杂度只说明运算规模,不能保证数值稳定或硬件利用率。论文指出,朴素 chunkwise 累积衰减前缀时,会在快衰减通道上发生下溢,再因除法形成上溢。其压力测试中,未做 pivot 的 float32 方案让 25% 的 head 出现 NaN。
Muir 使用 boundary-pivoted chunkwise 更新,把相对衰减拆到子块边界,避免直接除以极小的累计前缀。作者还利用宽矩阵单元完成块级三角求解。这一实现使循环模型在 TPU7x 上跨过约 11K 的训练长度后获得吞吐优势。
对实际采用者而言,架构和 kernel 必须作为同一个交付物验收。换到 GPU、不同 chunk size 或推理框架后,论文中的吞吐与稳定性都需要重测。DeepSeek V4.1 的 SWA 有界重放审计也说明,状态架构的收益最终取决于重建、缓存和运行时协议是否一致。
当前证据边界
截至 2026 年 11 月 8 日,Muir 的证据来自详细预印本和 Google Research 发布页。作者训练了 1.66 亿到 13.4 亿参数模型,每个模型使用 1000 亿训练 Token,并公开了机制干预、长流协议和多组附录表格。
论文和 Google Research 页面目前没有链接 Muir 权重、专用代码仓库或外部独立复现。模型规模也远小于当前主流前沿模型。论文没有证明大规模混合架构、GPU 推理或线上 Agent 工作负载中的同等收益。
现在可以相信的结论有三个:固定状态可以在特定协议下稳定跨越远超训练长度的连续文本;读出设计会改变单键保留与多时距适应之间的权衡;对 gate 的参数分配应服从状态敏感度,而不是机械对称。
把 Muir 当作生产替代方案,还需要权重与代码、外部复现、更大规模、混合注意力实验和目标硬件上的推理数据。
常见问题
Muir 是否已经实现 1000 万 Token 上下文?
它在三个连续 1000 万 Token 文本流上保持了困惑度稳定。精确 passkey 只测到 100 万 Token,多跳和真实抽取使用更短长度,所以通用上下文窗口仍未被证明。
25 MB 是否包含全部推理显存?
不包含。25 MB 是 24 层循环状态的 float32 大小。模型权重、激活、卷积状态、运行时 buffer、batch 和服务框架仍需额外内存。
为什么不用一个 readout 同时赢下全部任务?
固定参数预算下,dynamic readout 需要占用部分 write rank。static 版本更适合写住一个远距值,dynamic 版本更适合按不同距离连续读取多个值。论文把这项权衡列为后续研究问题。
Muir 是否比 Transformer 更快?
作者的 TPU7x 训练实验中,约 11K 后更快,32K 时达到 2.74 倍。GPU 推理和生产服务性能仍需单独验证。