2026 年 7 月，两组性质完全不同的项目让 AI 更接近真实飞行控制。Anthropic 与 Andon Labs 发布 Project Pilot，让模型为室内找人和跟随任务开发无人机组件；DARPA 则宣布，改装 F-16 已开始由 AI agent 控制飞行的空中测试。
两项结果都不是玩具，也都没有形成完整安全论证。
能力演示回答 AI 能否让飞行器完成某件事，Safety Case 则要回答：某个确定版本能否在限定运行域、已知故障和可验证控制下执行，并把残余风险保持在可接受范围。部署决策存在于两个问题之间。
Drone-Bench 拆开五个困难问题
Project Pilot 使用价格较低的 DJI Tello EDU，在办公室中执行带监控性质的找人和跟随任务，并拆成五个组件：
- Reconstruct：把办公室视频重建为三维模型和二维障碍物图。
- Localize：把当前视角与已知位姿匹配，估算无人机位置。
- Navigate：规划跨房间路径，在有控制噪声时持续重新定位。
- Detect：根据一张参考照片，在视频中找出参与实验并已同意的目标人员。
- Follow：移动时保持目标居中，并维持稳定距离。
这种拆解很有价值。最终成败不会再掩盖问题来自感知、地图、规划还是控制。
它也限制了结论。五项通常隔离评估，下游任务可以获得干净的参考组件，而不是直接接收模型在上游生成的错误产物。部分阶段还会回放路径或模拟真实硬件特性。因此，单项得分测量的是组成能力，并不是五段代码串联后一次真实飞行成功的概率。
最好成绩不等于可靠表现
Andon 使用多次提交和重复 trial，因为系统具有非确定性。Anthropic 报告了三家开发商的 15 个模型，整体能力随时间提升，检测和跟随明显强于重建与定位。
领先的 Claude Fable 5 在除重建外的四个任务上曾超过人类-AI团队基线，但重复模拟的平均表现只在五项中的三项达到基线。Anthropic 把一次最好能力与稳定能力之间的差距估计为约六个月。
这个区别在飞行控制中比文本生成更重要。一次成功、下一次碰撞的系统，不能算作半个安全系统。
失败链也非常具体：重建不准产生错误地图，错误地图继续污染定位和导航，模型随后自信地飞向它以为是门、实际却是墙的位置。检测与跟随即使强于参考组件，也无法抵消上游几何错误。
这是一条物理系统中的精度级联。每个接口除了返回数值，还需要表达来源、不确定性、有效范围和失败状态。
Drone-Bench 没有证明什么
Drone-Bench 提供了有用的能力与滥用信号，公开资料仍无法证明：
- 稳定的端到端自主任务成功率；
- 每飞行小时的碰撞概率；
- 跨建筑、人群、天气和室外条件的表现；
- 失联、传感器降级、低电量和动态障碍下的行为；
- 面对地图、图像、身份或传感器欺骗的鲁棒性；
- geofence、急停与命令授权是否有效；
- 人类能否及时发现并恢复每种危险状态；
- 隐私、合法授权和身份识别公平性。
这些不是给 benchmark 增加的装饰指标，而是不同的安全主张。
VENOM 证明受控试验平台能够工作
DARPA 的 VENOM 计划把一组标准 F-16 改造成可扩展自主系统试验平台。VENOM Autonomy Kit 连接飞控和任务系统，同时不修改飞机核心软件。驾驶舱内的飞行员可以通过开关在传统人工控制与 AI 控制之间切换。
7 月公告表示，项目正在让 AI agent 控制飞行器进行空中测试。它建立在 X-62A VISTA 和 Air Combat Evolution 项目之上。此前测试中，AI 曾在受控战术场景飞行，安全飞行员始终保留独立断开能力。
真正重要的是分层架构：
- 实验 Agent 负责提出飞行控制；
- 已有飞机与仪表层提供受限接口；
- Safety pilot 持续监控；
- 独立开关保留传统控制；
- 仿真、software-in-the-loop、hardware-in-the-loop、地面测试和有人验证先于自主飞行。
这条逐级放行路径比单一 benchmark 得分更接近 Safety Case。
VENOM 还没有公开证明什么
DARPA 没有公开 7 月所用 Agent 的架构、飞行任务、架次与时长、航迹误差、故障率、人工干预次数和接管时间。公告也没有给出传感器丢失、通信中断、GPS 欺骗、电子战或未知交通下的表现。
它更没有表示 Agent 自主选择目标、释放武器、在无人驻舱时飞行、完成多机实飞或取得作战认证。AIR 项目页面把多机、超视距、真实传感器和最终无人平台列为未来目标。
“AI 控制 F-16”是对当前里程碑的准确描述，“已认证的自主战斗机”则不是。
五层飞行安全论证
能力结果和试飞里程碑只有被连接到明确主张后，才能成为发布证据。
第一层：运行域
先定义系统被允许行动的范围：
- 飞行器与载荷配置；
- 速度、高度、天气、能见度和空域；
- 地图质量与传感器可用性；
- 交通密度、通信和导航假设；
- 禁止任务与地理边界。
在一个办公室或一处试验场通过，不能自动外推到边界以外。
第二层：独立安全包线
模型不应成为自身命令是否安全的唯一裁判。独立控制层需要约束速度、高度、姿态、间隔、geofence、执行器范围、电量储备和任务权限。
每条被拒绝的命令和接近边界的事件都要记录。安全不能依赖模型记住 prompt 中的一句话。
第三层：故障与对抗证据
主动注入故障，而不是等待事故：
- 陈旧或矛盾的定位；
- 丢帧与损坏地图；
- 延迟控制与卡死执行器；
- 通信与导航丢失；
- 传感器欺骗与对抗视觉目标；
- 动态障碍与分布变化；
- 资源耗尽与局部软件故障。
除了平均任务分，还要报告尾部和最坏失败。
第四层：人工接管
“Human-on-the-loop”需要量化时间：
- 多快发现危险状态？
- 多快提醒操作员？
- 操作员多久理解现场？
- 人工控制多久真正生效？
- 此时还剩多少安全余量？
如果系统进入不可恢复状态的速度快于人类响应，拥有一个开关仍然不够。
第五层：变更控制与责任
每次飞行都要记录模型、prompt、policy、控制软件、传感器配置、地图和硬件版本。批准工件需要签名，任何变更都要触发回归套件，同时保存可重放 telemetry，并明确谁能启动 Agent、谁对干预负责。
飞行控制与更高后果权限需要在软件、硬件和程序上保持隔离。能够控制飞行，不等于拥有所有连接系统的授权。
一条分阶段证据阶梯
只有上一阶段达标后，才提高真实度：
| 阶段 | 主要证据 | 放行条件 |
|---|---|---|
| 组件仿真 | 重建、定位、检测、规划 | 重复表现稳定 |
| 闭环仿真 | 耦合故障与时序 | 故障下仍守住危险边界 |
| Software-in-the-loop | 真实接口与消息 | 协议和状态转换已验证 |
| Hardware-in-the-loop | 控制器、传感器、执行器 | 命令无法突破安全包线 |
| 受控实飞 | 真实气动与 Safety pilot | 接管与 fail-safe 指标达标 |
| 扩展运行域 | 新条件与对抗案例 | 残余风险仍在阈值内 |
| 运行 canary | 有界真实任务 | 监控和回滚继续有效 |
关键在于放行条件。测试开始前没有定义阈值，完成一个阶段本身不能构成证据。
两个项目如何拼在一起
Drone-Bench 表明前沿模型越来越会编写航空自主系统的组成模块，但稳定的端到端可靠性仍落后于一次最好能力。VENOM 则展示了如何把实验 Agent 放进可观测、受限、可接管的接口，并沿测试阶梯逐步前进。
中间缺少的桥梁是一张“主张、证据、控制”映射：每个危险连接缓解措施，每个措施连接可重复测试，每份残余风险交给明确责任人决策。
这与数学 Agent 的双循环验证协议逻辑一致：探索可以保持开放，但进入可信运行域必须经过独立且更严格的晋升路径。
问题已经不再是 AI 会不会飞，而是什么证据允许这个确定版本继续飞。
常见问题
AI 是否完整自主完成了 Drone-Bench 任务？
该基准通常隔离评估五个组成任务。公开结果没有证明稳定的端到端真实自主飞行成功率。
VENOM F-16 是无人飞行吗？
不是。公告中的测试仍有飞行员在驾驶舱内监控 Agent，并可切回传统控制。
有 Safety pilot 就足够安全吗？
它是重要恢复层，但还需要验证异常发现、提醒、理解、接管时间、控制权限和剩余物理余量。
任务成功之后最重要的指标是什么？
不存在单一指标。危险故障率、干预率、接管时间、安全包线违规和故障注入表现都需要共同提供证据。