选可颂配果酱
成功率从动作模型单独运行的 14% 提升至 90%
Harness
自进化
进化后的 Harness 负责指挥
现成的动作模型负责执行
大规模仿真
驱动自进化
执行
RoboCasa 厨房与 Isaac Sim 餐厅
Harness 指挥
LLM 与 VLM 读场景 拆长任务 监控进展并在卡住时接管
子指令观测与进展动作模型执行
现成的 VLA 逐步执行子任务
大规模 rollout
同一版 Harness 并行运行 N 个任务与多个随机种子
用成功率为这一版打分 通过足够多的 rollout 降低评估噪声
诊断与改写
Coding agent 读取失败轨迹 找到共性问题 直接修改 Harness 代码并产出候选版本
改写规划提示 子任务拆法与接管规则
择优上位
候选与现任在同一批任务上比较 胜出才替换 否则丢弃
保留版本的评估分数只升不降 环境知识逐轮沉淀进代码
胜者成为新 Harness 进入下一轮
推理时如何协作
每一步的输入
- 一句任务指令
- 左相机 右相机 腕部相机
- 机械臂与底盘状态
同一份观测同时输入 Harness 与动作模型
Harness 指挥
LLM 与 VLM 不输出动作
先想后动
开局读取场景 将长任务拆成有序子目标
下发指令
将当前子目标或完整指令交给动作模型执行
零步监控
每个动作块结束时判断完成或停滞 不消耗仿真步
卡住就接管
通过感知定位与闭环技能完成当前步骤 再交还动作模型
指令与子目标动作块边界的执行进展
动作模型执行
VLA Xiaomi-Robotics-1
指令4 帧历史 × 3 相机状态16 步动作块
连续执行 观测历史不被 Harness 的监控打断 切换子目标只需替换指令
官方成功判定出现时立即结束任务 失败才会运行至时长上限
一段任务的时间线
子目标 1
动作模型执行
判定完成后切换子目标
子目标 2
动作模型执行
停滞
判定卡住
交给 Harness 接管
接管
Harness 执行
完成当前步骤后交还
继续
动作模型执行
成功
任务结束
环境知识
随模型迁移
RoboCasa 厨房任务
每 100 次任务的成功数
2
原始 Harness
GPT-5.6 Sol
37
进化后 Harness
GPT-5.6 Sol
83
进化后 Harness
GPT-6 Astra
RoboCasa365
公开榜单第一
2026 年 10 月 13 日榜单71.2%
- 领先 Awomo-0.5I 的百分点
- +6.8
- 领先动作模型单独运行的百分点
- +13.8
- 任务组第一
- 3 / 3
第 6 名Xiaomi-Robotics-1 单独运行
第 1 名同一动作模型加进化后 Harness
总成绩50 题
- 进化后 Harness + Xiaomi-Robotics-1
- 71.2%
- Awomo-0.5I
- 64.4%
- Xiaomi-Robotics-1 单独运行
- 57.4%
原子任务 已见18 题
- 进化后 Harness + Xiaomi-Robotics-1
- 93.9%
- Awomo-0.5I
- 86.5%
- Xiaomi-Robotics-1 单独运行
- 80.2%
组合任务 已见16 题
- 进化后 Harness + Xiaomi-Robotics-1
- 71.2%
- Awomo-0.5I
- 58.8%
- Xiaomi-Robotics-1 单独运行
- 57.1%
组合任务 未见16 题
- 进化后 Harness + Xiaomi-Robotics-1
- 45.6%
- Awomo-0.5I
- 45.2%
- Xiaomi-Robotics-1 单独运行
- 32.1%
厨房任务演示
洗水果
动作模型停在水龙头前 由 Harness 接管完成
装洗碗机
一句指令完成
黄瓜从水槽到盘子
27 秒完成
Real2Sim
餐厅仿真
Isaac Sim 中的三台炒菜机与一台双臂机器人使用和门店相同的接口 几小时跑完门店几个月的尝试
做 1 道菜
连做 3 道菜
餐厅调度自进化
各 batch 均进化 10 轮
比较测试订单集的平均完成时间
100 份测试订单的平均出餐用时减少
30%
人工固定规则
112.2分钟
batch = 500
78.6分钟
稀疏订单集30 份
- 人工固定规则
- 32.5分钟
- batch = 10
- 28.8分钟
- batch = 100
- 26.5分钟
- batch = 500
- 25.3分钟
密集订单集70 份
- 人工固定规则
- 146.3分钟
- batch = 10
- 128.6分钟
- batch = 100
- 110.1分钟
- batch = 500
- 101.5分钟
全部测试集100 份
- 人工固定规则
- 112.2分钟
- batch = 10
- 98.7分钟
- batch = 100
- 85.0分钟
- batch = 500
- 78.6分钟