任务意图
未来画面没有直接表达决策依据
预测物体如何移动有助于学习物理变化 但看到梨就抓茄子还要求理解指令中的逻辑关系 并确定真正的操作目标
显式生成语言子任务 指导动作选择
Next-WAM
世界动作模型
以显式语言推理连接未来预测与连续动作 在 Next-WAM 能力底座上探索真实经验驱动的自进化方案
观看方法讲解WM 的任务决策缺口
典型 WM 与 WAM 路线仍需将未来预测与指令约束 子任务选择及连续控制联系起来
任务进度
语言仅作条件 难以明确跟踪进度
在许多 WAM 中语言用于条件输入 对于补到 5 罐 模型还要表达当前库存与剩余数量 并在达到目标后停止
通过 Reason 与 Act 切换 保留并更新子任务
推理成本
先生成未来再执行会增加计算步骤
部分早期方法先生成视觉轨迹再推导动作 控制链路包含额外生成过程 近期方法已探索将未来预测留在训练阶段
未来视觉提供训练监督 动作推理无需生成未来帧
联合学习
语义 视觉和控制需要不同表征
语言依赖语义抽象 视觉预测关注时空细节 动作要求精确连续控制 完全共享参数可能导致任务间相互干扰
三专家保留独立参数 通过结构化注意力协作
语言 世界与动作
Mixture-of-Transformers 中三类专家保留独立参数 通过结构化联合注意力交换信息 语言子任务直接参与动作生成
- 语言指令 L
- 视觉历史 Oₜ
- 本体状态 Sₜ
理解与推理
结合指令和视觉历史 识别条件并判断当前进度 生成可持续保留的语言子任务
- Rₜ
- 抓取第 4 罐可乐
未来视觉预测
学习当前观测与未来观测的关系 未来图像监督让表征包含环境变化与交互动态
- Yₜ
- 预测未来的视觉观测
连续动作预测
融合语义上下文 当前图像潜变量与本体状态 预测动作块 执行一段后重新观察
- Aₜ
- 接近 抓取 转移 放置
结构化联合注意力
动作可读取语言与当前图像信息 未来图像潜变量对动作的输入被屏蔽
在线执行
- 观察当前状态
- 更新或保留语言子任务
- 预测动作块
- 执行前缀后再观察
返回观察
Reason 触发新子任务生成 Act 使用保留的子任务生成动作 实机动作推理无需生成未来图像
联合训练
真实多模态轨迹
- 文本子任务监督
- 未来图像预测监督
- 连续动作监督
图像与动作专家采用 flow matching 有文本标注的样本加入文本监督 无文本标注则省略该项
从未来预测中学习
以可乐补货为例 未来观测应反映托盘库存从 3 变为 4 再变为 5 拟议自进化方案通过比较预测与真实结果 定位计数 交互与动作偏差 候选改进仍需真实数据与实机复测
生成专家不读取动作 token 因而不能直接作为任意候选动作的反事实模拟器
补货状态示意
当前观测
3罐
补入一罐
4罐
达到目标
5罐
自进化研究方案
在 Next-WAM 底座上拟议新增离线改进回路 围绕语言决策 未来预测和动作质量共同诊断 训练与评估
经验采集
记录指令 视觉历史 生成的语言子任务 动作块 本体状态和真实后续观测 按策略版本关联任务结果与人工干预 原视频用于案例回放
阶段产物
- 多模态轨迹包 L O R A S
- 真实未来观测
- 任务结果与策略版本
偏差诊断
分别定位选错目标 预测不符 动作失败 计数或停止错误 抓取失败不能直接判为语言推理失败 未成功放入的可乐也不能增加库存
阶段产物
- 带证据的问题单
- 错误环节与失败片段
- 改进假设
经验重构
复核语言子任务与成功状态标签 构建条件反转 遮挡 干扰物 不同初始库存和停止条件样本 将训练 开发与测试按场景和轨迹隔离 避免相邻帧泄漏
阶段产物
- 审核后的轨迹与子任务标签
- 难例课程
- 独立测试集
候选更新
在真实轨迹上联合优化语言 未来视觉与动作目标 根据诊断调整难例采样与损失权重 混入旧任务数据并保存候选检查点 该训练配置属于待验证扩展
阶段产物
- 候选模型 θ′
- 训练配置与数据版本
- 改进假设
独立复测
固定场景条件与预算 对比旧版和候选版 分别测量分支准确率 最终成功率 计数与停止 未来预测偏差 人工干预和推理成本 记录重复试验的波动
阶段产物
- 成对评测报告
- 旧任务回归结果
- 采纳或拒绝结论
版本保留
仅采用通过预设验收与回归检查的候选版本 归档数据来源 配置和评测 保留旧版用于回退 新版本进入下一轮任务并继续收集经验
阶段产物
- 可追溯模型版本
- 回退点
- 下一轮采集任务
- 验证后的版本
- 新任务
- 新经验
- 下一轮改进
实机任务与决策规则
无梨无橘子
语言指令
如果有梨或橘子就抓茄子如果两者都没有就抓蘑菇
观察
当前场景中没有梨 也没有橘子
条件判断
梨或橘子存在为假 进入否则分支
子任务
选择蘑菇 执行抓取与转移
- 目标结果
- 抓取蘑菇
有梨或橘子
语言指令
如果有梨或橘子就抓茄子如果两者都没有就抓蘑菇
观察
场景中可见梨和橘子 至少一个条件成立
条件判断
梨存在 OR 橘子存在为真 选择茄子
子任务
梨与橘子是判断线索 抓取目标为茄子
- 目标结果
- 抓取茄子
从 3 罐补到 5 罐
语言指令
把托盘里的可乐补到 5 罐
目标与差额
当前有 3 罐 目标为 5 罐 还需要补入 2 罐
更新进度
先抓第 4 罐 成功放入托盘后库存变为 4
达成目标
再抓第 5 罐 确认库存达到 5 后停止补货
- 目标结果
- 达到 5 罐后停止