语音 Agent 经常需要的是决策,而不是转写:用户是否说完?是否出现了必要术语?正在使用哪种语言?音频是否适合进入下游流程?先返回全文,再让另一个模型推断,会增加第二个失败边界。
更稳的接口先声明决策类型、置信度含义、拒答规则和动作边界。转写仍是重要证据,但不再是语音处理唯一的产物。
先确定类型,再选择模型
为每个音频问题定义输出契约:
| 决策 | 输出类型 | 安全降级 |
|---|---|---|
| 是否出现术语 | 布尔值加校准概率 | 低于阈值时请用户重复或转人工 |
| 使用哪种语言 | 有限选项加置信度 | 保持当前路由并请求确认 |
| 是否说完 | 布尔值或边界分数 | 短暂等待,不能把沉默直接当作同意 |
| 是否换人 | 事件加分数 | 证据不足时保持未分配 |
| 内容风险 | 标签加策略版本 | 隔离或人工复核,不自动执行处罚 |
类型本身就是安全契约。分数只有在阈值、校准集和拒答策略都明确后,才会成为动作输入。
Marimba 说明了什么,没说明什么
2026 年 11 月的 Marimba 论文提出了类型化语音决策接口,使用冻结的 Qwen3-ASR 0.6B 特征。设计把词汇问题、非词汇问题、结束轮次读数和语言识别分开。论文为不同任务报告不同指标,包括 decoder AUROC、Speech Commands 准确率、二元词汇任务的 ECE、说话人切换 AUROC 和结束轮次 AUROC。
这说明了接口专门化的价值,却不能直接保证你的语言、麦克风、口音、延迟预算或呼叫中心人群。论文有些结果来自私有对话集,有些来自公开或明确命名的基准。每个数字都要保留数据集、任务和指标。
仓库和模型卡是实现证据。复制 API 形状前,应核对版本、预处理、检查点和集成假设。接口返回了 probability,也不代表在你的流量上校准良好。
校准是部署属性
如果检测器给一组音频打出 0.8,校准的含义是:在声明的标签定义下,这组样本大约 80% 包含目标事件。校准取决于人群、标注策略、窗口、后处理和运行环境。浮点数格式本身不会带来校准。
使用贴近部署任务的留出校准集。除区分能力外,报告可靠性图或 ECE。若语言、通道、噪声、说话人群体或音频时长影响流程,就按这些分组检查校准。更换编码器、窗口、标签定义或路由策略后重新校准。
允许拒答,胜过强行自信
如果 Agent 可以请求澄清,拒答就是一种合法输出。可以定义三个区间:
score >= accept_threshold -> 执行低风险动作
score <= reject_threshold -> 拒绝、延后或请求重复
其他 -> 复核或再收集一个窗口
阈值要根据误接收、误拒绝、延迟和人工复核的代价设定。只有这些代价对称时,单阈值才合理,而语音流程很少对称。账单指令、会议轮次和语言路由应有不同错误预算。
把决策与转写分开
保留足以重建动作原因的记录:
{
"audio_window_id": "window-17",
"question_type": "turn_complete",
"decision": false,
"score": 0.21,
"calibration_set": "turn-end-2026-11",
"model_version": "...",
"threshold_policy": "voice-turn-v3",
"abstained": false,
"transcript_ref": "redacted://..."
}
下游代码消费类型化决策和策略元数据,转写用于复核。原始音频和个人数据仍按应用保留规则处理。本文给出接口模式,不构成保留录音的授权。
测试失败路由
用合成音频和获得同意的音频一次验证一个边界:窗口边缘截断、多人重叠、代码切换、背景语音包含触发词、部分回答后的沉默、分数超过阈值却脱离校准人群,以及模型或校准策略变更。
每个用例都检查决策、拒答行为、用户可见反馈和审计记录。看起来合理的转写不能算作类型化决策测试通过。
生产契约
把类型化语音决策接入 Agent 动作前,写清五件事:问题定义、输出类型、校准人群、阈值与拒答策略、后续动作。再写清音频缺失、不确定、分布外或校准集失效时的边界行为。
这套设计能避免一个常见误区:把转写质量当成决策质量代理。转写很准确,意图决策仍可能错误;专门检测器的转写不完整,也可能给出有用决策。测量工作流真正消费的对象。
来源与范围
- Amadori,Marimba: A System One Model for Speech,2026 年 11 月。
- Marimba API 仓库 与 模型卡,访问日期 2026-11-17。
- Bayesian VAD,用于对照事件检测与校准问题。
文中基准数字属于 Marimba 论文及其数据集。阈值和 JSON 记录是部署模板,不是本站实测。