Administrator
Published on 2026-11-16 / 5 Visits
0
0

大模型结构化输出怎么校验:用 12 个测试拦住格式正确的错误 JSON

大模型返回的 JSON 能解析、字段类型正确,下一步仍然要核对它属于哪份资料、数值是否满足业务规则、是否与独立来源一致。通过这些检查之后,得到的是可交给下一环节的数据,不是直接执行付款、入库或修改记录的授权。

最容易漏掉的情况并不是少一个括号,而是金额填错了,合计却完全对得上。下面用一个只有 Python 标准库的例子,把这种错误变成可重复执行的测试。

先把三个问题分开

阿里云的结构化输出文档区分 JSON Object 与 JSON Schema:前者侧重生成合法 JSON,后者进一步约束结构。具体可用能力要看模型和接口,本文不提供会随版本变化的产品兼容表。

应用程序还有第三个问题:这个对象是否表达了正确的业务事实?

例如资料中的未税金额是 1000 分、税额是 200 分、合计是 1200 分。模型却返回未税 2000 分、税额 200 分、合计 2200 分。字段齐全,类型正常,算术也正确。只有与原始依据核对,才能发现错误。

JSON Schema 的属性、必填项和额外字段规则适合约束对象形状,详见对象规范说明。它们本身不会替你取得独立资料,也不会证明模型挑中了正确的单据。

把验收边界写成能运行的程序

下面是教学用的小型校验器,不是报销、税务或财务系统。它假定同一币种只有未税金额、税额与合计,没有折扣、舍入调整或贷项单等情况。金额用整数分表示。

其中 source 是应用提供的、已经独立确认的参考记录,绝不能把待校验的模型回答复制一份当作它的依据。保存为 validation_example.py 后执行 python3 validation_example.py。

"""Deterministic teaching fixture, not an invoice or accounting system."""
import json

def reject_constant(value):
    raise ValueError("non-finite number")

def unique_object(pairs):
    out = {}
    for key, value in pairs:
        if key in out:
            raise ValueError("duplicate key")
        out[key] = value
    return out

def validate(raw, source, response_complete=True):
    # source is a trusted fixture supplied by the application, never by the model.
    if not response_complete:
        return "review:response"
    if len(raw.encode("utf-8")) > 4096:
        return "reject:size"
    try:
        obj = json.loads(raw, object_pairs_hook=unique_object,
                         parse_constant=reject_constant)
    except (ValueError, RecursionError):
        return "reject:parse"
    expected = {"document_id", "currency", "net_cents", "tax_cents", "total_cents"}
    if type(obj) is not dict or set(obj) != expected:
        return "reject:shape"
    if any(type(obj[k]) is not str for k in ("document_id", "currency")):
        return "reject:type"
    for k in ("net_cents", "tax_cents", "total_cents"):
        if type(obj[k]) is not int or not 0 <= obj[k] <= 100000000:
            return "reject:type"
    if obj["document_id"] != source["document_id"]:
        return "review:document"
    if obj["currency"] != source["currency"]:
        return "review:currency"
    if obj["net_cents"] + obj["tax_cents"] != obj["total_cents"]:
        return "review:arithmetic"
    if any(obj[k] != source[k] for k in expected):
        return "review:source"
    return "accept:validated-data"

if __name__ == "__main__":
    source = dict(document_id="INV-17", currency="USD",
                  net_cents=1000, tax_cents=200, total_cents=1200)
    cases = [
        ("correct", json.dumps(source), True, "accept:validated-data"),
        ("wrong document", json.dumps(dict(source, document_id="INV-18")), True, "review:document"),
        ("wrong currency", json.dumps(dict(source, currency="EUR")), True, "review:currency"),
        ("wrong arithmetic", json.dumps(dict(source, total_cents=1300)), True, "review:arithmetic"),
        ("balanced but invented", json.dumps(dict(source, net_cents=2000, total_cents=2200)), True, "review:source"),
        ("boolean integer", json.dumps(dict(source, tax_cents=True)), True, "reject:type"),
        ("duplicate key", '{"document_id":"a","document_id":"b"}', True, "reject:parse"),
        ("non-finite", '{"total_cents":NaN}', True, "reject:parse"),
        ("truncated", '{"document_id":', False, "review:response"),
        ("extra key", json.dumps(dict(source, approved=True)), True, "reject:shape"),
        ("missing key", json.dumps({k:v for k,v in source.items() if k != "currency"}), True, "reject:shape"),
        ("oversize", " " * 4097, True, "reject:size"),
    ]
    for name, raw, complete, expected in cases:
        actual = validate(raw, source, complete)
        assert actual == expected, (name, actual, expected)
    print(f"{len(cases)} deterministic fixtures passed; no model API called.")

2026 年 11 月 16 日,本例在本地实际执行,输出为:

12 deterministic fixtures passed; no model API called.

这说明固定测试中的校验分支按预期运行。它没有调用模型,不能说明任何模型的抽取准确率,也不构成生产环境验收。本例手写的是一个特定对象的字段与类型规则,不是完整的 JSON Schema 验证器。

最值得保留的测试:数值编错了,但加法没错

balanced but invented 把未税金额和合计一起增加。它会通过加法检查,然后被 review:source 拦下。

这个测试能揭示一个常见的设计漏洞:把“内部一致”当成“来源正确”。当检查者与生成者共用同一份错误信息时,多检查几遍加法也解决不了问题。

其他几个测试对应的边界同样具体:

  • 同样格式的另一张单据,进入 review:document。
  • 币种改变,进入 review:currency,不自动做汇率换算。
  • 布尔值混进金额,进入 reject:type,不进行宽松类型转换。
  • 重复字段与 NaN 在解析层拒绝,避免解释歧义。
  • 模型额外给出 approved=true,也不能新增业务权限。

Python JSON 文档说明了重复键、非有限数值等默认行为,也提醒限制不可信输入的资源消耗。本例用解析钩子和大小限制处理其中一部分;正式服务还需要请求、并发与解析资源限制。

没有标准答案时怎么办?

真实业务并不总有现成的参考记录。因此,这个例子的核心不是要求事先知道所有答案,而是要求明确哪些字段已经有独立依据。

资料抽取可以保留原始文件标识、不可变版本和页码或片段定位。格式规范化应有确定规则,例如统一日期格式;OCR 错误、金额歧义或关键资料缺失,进入复核流程。另一个模型重复同一个结论,不能自动成为事实依据。

也要承认校验器可能误拒绝。原始资料的金额可能含舍入调整,币种也未必使用两位小数。遇到这些合法例外,应增加真实规则和测试,而不是为了提高通过率删掉检查。对分类、摘要等派生字段,则需要另外设计证据要求和代表性评测,不能照搬金额相等判断。

错误分类之后,才讨论要不要重试

校验结果 下一步
响应未完成 查适配层的拒答、截断或传输状态,先解决具体原因
格式、字段或类型错误 检查接口契约,需要时有限重生成
单据或币种不符 排查资料绑定,继续阻止下游写入
算术不符 检查抽取和实际业务计算规则
来源不符 补证据或复核,不以反复生成代替核实
数据验收通过 进入下一环节,另行检查操作权限与执行安全

代码里的 response_complete 只是简化的适配层参数。实际接入应按所用 SDK 分别处理拒答、截断、超时等状态,不能把所有失败都归为 JSON 错误。

本例没有实现重试,也不会写数据库。后续若要让 Agent 付款或修改记录,仍须处理授权、幂等与结果对账。可接着看本站的支付意图与履约回执边界。

上线时留下什么证据

把资料版本、Schema 版本、失败类别与最终处置关联起来。敏感原文按权限和保留周期管理,不要为了调试把整份资料复制进开放日志。

将真实失败逐渐加入固定测试,再另建一组保留样本测量模型抽取表现。校验器测试回答“系统能否拦住这个错误”,模型评测回答“生成结果有多少真正满足任务”,两者不能相互替代。

这条边界建立以后,结构化输出才从“容易被程序读取”,进一步变成“可以解释为什么接受或拒绝的数据”。


Comment