大模型返回的 JSON 能解析、字段类型正确,下一步仍然要核对它属于哪份资料、数值是否满足业务规则、是否与独立来源一致。通过这些检查之后,得到的是可交给下一环节的数据,不是直接执行付款、入库或修改记录的授权。
最容易漏掉的情况并不是少一个括号,而是金额填错了,合计却完全对得上。下面用一个只有 Python 标准库的例子,把这种错误变成可重复执行的测试。
先把三个问题分开
阿里云的结构化输出文档区分 JSON Object 与 JSON Schema:前者侧重生成合法 JSON,后者进一步约束结构。具体可用能力要看模型和接口,本文不提供会随版本变化的产品兼容表。
应用程序还有第三个问题:这个对象是否表达了正确的业务事实?
例如资料中的未税金额是 1000 分、税额是 200 分、合计是 1200 分。模型却返回未税 2000 分、税额 200 分、合计 2200 分。字段齐全,类型正常,算术也正确。只有与原始依据核对,才能发现错误。
JSON Schema 的属性、必填项和额外字段规则适合约束对象形状,详见对象规范说明。它们本身不会替你取得独立资料,也不会证明模型挑中了正确的单据。
把验收边界写成能运行的程序
下面是教学用的小型校验器,不是报销、税务或财务系统。它假定同一币种只有未税金额、税额与合计,没有折扣、舍入调整或贷项单等情况。金额用整数分表示。
其中 source 是应用提供的、已经独立确认的参考记录,绝不能把待校验的模型回答复制一份当作它的依据。保存为 validation_example.py 后执行 python3 validation_example.py。
"""Deterministic teaching fixture, not an invoice or accounting system."""
import json
def reject_constant(value):
raise ValueError("non-finite number")
def unique_object(pairs):
out = {}
for key, value in pairs:
if key in out:
raise ValueError("duplicate key")
out[key] = value
return out
def validate(raw, source, response_complete=True):
# source is a trusted fixture supplied by the application, never by the model.
if not response_complete:
return "review:response"
if len(raw.encode("utf-8")) > 4096:
return "reject:size"
try:
obj = json.loads(raw, object_pairs_hook=unique_object,
parse_constant=reject_constant)
except (ValueError, RecursionError):
return "reject:parse"
expected = {"document_id", "currency", "net_cents", "tax_cents", "total_cents"}
if type(obj) is not dict or set(obj) != expected:
return "reject:shape"
if any(type(obj[k]) is not str for k in ("document_id", "currency")):
return "reject:type"
for k in ("net_cents", "tax_cents", "total_cents"):
if type(obj[k]) is not int or not 0 <= obj[k] <= 100000000:
return "reject:type"
if obj["document_id"] != source["document_id"]:
return "review:document"
if obj["currency"] != source["currency"]:
return "review:currency"
if obj["net_cents"] + obj["tax_cents"] != obj["total_cents"]:
return "review:arithmetic"
if any(obj[k] != source[k] for k in expected):
return "review:source"
return "accept:validated-data"
if __name__ == "__main__":
source = dict(document_id="INV-17", currency="USD",
net_cents=1000, tax_cents=200, total_cents=1200)
cases = [
("correct", json.dumps(source), True, "accept:validated-data"),
("wrong document", json.dumps(dict(source, document_id="INV-18")), True, "review:document"),
("wrong currency", json.dumps(dict(source, currency="EUR")), True, "review:currency"),
("wrong arithmetic", json.dumps(dict(source, total_cents=1300)), True, "review:arithmetic"),
("balanced but invented", json.dumps(dict(source, net_cents=2000, total_cents=2200)), True, "review:source"),
("boolean integer", json.dumps(dict(source, tax_cents=True)), True, "reject:type"),
("duplicate key", '{"document_id":"a","document_id":"b"}', True, "reject:parse"),
("non-finite", '{"total_cents":NaN}', True, "reject:parse"),
("truncated", '{"document_id":', False, "review:response"),
("extra key", json.dumps(dict(source, approved=True)), True, "reject:shape"),
("missing key", json.dumps({k:v for k,v in source.items() if k != "currency"}), True, "reject:shape"),
("oversize", " " * 4097, True, "reject:size"),
]
for name, raw, complete, expected in cases:
actual = validate(raw, source, complete)
assert actual == expected, (name, actual, expected)
print(f"{len(cases)} deterministic fixtures passed; no model API called.")
2026 年 11 月 16 日,本例在本地实际执行,输出为:
12 deterministic fixtures passed; no model API called.
这说明固定测试中的校验分支按预期运行。它没有调用模型,不能说明任何模型的抽取准确率,也不构成生产环境验收。本例手写的是一个特定对象的字段与类型规则,不是完整的 JSON Schema 验证器。
最值得保留的测试:数值编错了,但加法没错
balanced but invented 把未税金额和合计一起增加。它会通过加法检查,然后被 review:source 拦下。
这个测试能揭示一个常见的设计漏洞:把“内部一致”当成“来源正确”。当检查者与生成者共用同一份错误信息时,多检查几遍加法也解决不了问题。
其他几个测试对应的边界同样具体:
- 同样格式的另一张单据,进入
review:document。 - 币种改变,进入
review:currency,不自动做汇率换算。 - 布尔值混进金额,进入
reject:type,不进行宽松类型转换。 - 重复字段与
NaN在解析层拒绝,避免解释歧义。 - 模型额外给出
approved=true,也不能新增业务权限。
Python JSON 文档说明了重复键、非有限数值等默认行为,也提醒限制不可信输入的资源消耗。本例用解析钩子和大小限制处理其中一部分;正式服务还需要请求、并发与解析资源限制。
没有标准答案时怎么办?
真实业务并不总有现成的参考记录。因此,这个例子的核心不是要求事先知道所有答案,而是要求明确哪些字段已经有独立依据。
资料抽取可以保留原始文件标识、不可变版本和页码或片段定位。格式规范化应有确定规则,例如统一日期格式;OCR 错误、金额歧义或关键资料缺失,进入复核流程。另一个模型重复同一个结论,不能自动成为事实依据。
也要承认校验器可能误拒绝。原始资料的金额可能含舍入调整,币种也未必使用两位小数。遇到这些合法例外,应增加真实规则和测试,而不是为了提高通过率删掉检查。对分类、摘要等派生字段,则需要另外设计证据要求和代表性评测,不能照搬金额相等判断。
错误分类之后,才讨论要不要重试
| 校验结果 | 下一步 |
|---|---|
| 响应未完成 | 查适配层的拒答、截断或传输状态,先解决具体原因 |
| 格式、字段或类型错误 | 检查接口契约,需要时有限重生成 |
| 单据或币种不符 | 排查资料绑定,继续阻止下游写入 |
| 算术不符 | 检查抽取和实际业务计算规则 |
| 来源不符 | 补证据或复核,不以反复生成代替核实 |
| 数据验收通过 | 进入下一环节,另行检查操作权限与执行安全 |
代码里的 response_complete 只是简化的适配层参数。实际接入应按所用 SDK 分别处理拒答、截断、超时等状态,不能把所有失败都归为 JSON 错误。
本例没有实现重试,也不会写数据库。后续若要让 Agent 付款或修改记录,仍须处理授权、幂等与结果对账。可接着看本站的支付意图与履约回执边界。
上线时留下什么证据
把资料版本、Schema 版本、失败类别与最终处置关联起来。敏感原文按权限和保留周期管理,不要为了调试把整份资料复制进开放日志。
将真实失败逐渐加入固定测试,再另建一组保留样本测量模型抽取表现。校验器测试回答“系统能否拦住这个错误”,模型评测回答“生成结果有多少真正满足任务”,两者不能相互替代。
这条边界建立以后,结构化输出才从“容易被程序读取”,进一步变成“可以解释为什么接受或拒绝的数据”。