取捣棒并捣打
抓起捣棒并对准杯口 通过上下捣打处理杯内柠檬
手打柠檬茶
从取用捣棒 捣打柠檬 到倒料 盖合与双手摇匀 NovaXBot 在真实吧台展示多步骤饮品制作中的分阶段自主执行 整杯连续制作仍在研发推进中
工具 液体与双手协作
- 工具使用
- 取放与捣打
- 液体操作
- 倾倒与混合
- 双臂协作
- 握持与配合
- 过程理解
- 多步骤任务
一杯手打柠檬茶 连接着抓取 施力 倾倒与协作 我们以真实制作任务为载体 探索机器人如何理解操作要求 并将不同动作衔接为有序的过程
从抓取到使用工具
取用捣棒 对准杯口 再完成捣打 机器人需要围绕同一工具 完成不同操作之间的衔接
面对器物与液体
杯具的形态 摆放和液体状态 让饮品制作成为感知与动作协同的真实场景
理解操作的前后关系
相似的吧台画面 可能对应不同的制作阶段 理解已经发生的动作 是衔接后续操作的重要研究方向
分阶段自主执行
机器人在真实吧台分阶段完成工具操作 物料转移 杯盖对位与双手协作 整杯连续制作仍在研发推进中
左手倒料并放回
抓取物料杯 将杯中柠檬片倒入摇杯 再放回杯具
取盖并盖合摇杯
取起杯盖 对准摇杯并完成盖合 展示精细对位与操作衔接
双手握持摇杯
一只手提起摇杯 另一只手配合握持 为摇匀做好准备
双手摇匀
双手协同握持并摇动摇杯 让柠檬与茶汤充分混合
一杯茶的制作流程
| 制作工序 | 操作方式 | 动作内容 |
|---|---|---|
| 取用捣棒 | 右手操作 | 抓取捣棒 将工具移动至操作位置 |
| 捣打柠檬 | 右手操作 | 对准杯口 通过上下捣打处理柠檬 |
| 放回捣棒 | 工具归位 | 捣打结束后 将捣棒移出杯口并归位 |
| 倒入物料 | 左手操作 | 提起物料杯 将柠檬片倒入摇杯 |
| 放回物料杯 | 杯具归位 | 将物料杯放回吧台 为后续操作留出空间 |
| 盖合摇杯 | 精细对位 | 取起杯盖 对准摇杯并完成盖合 |
| 双手摇匀 | 双臂协作 | 双手配合握持摇杯 通过摇动混合饮品 |
| 倾倒茶汤 | 右手操作 | 倾斜摇杯 将茶汤倒入出品杯 |
| 放回摇杯 | 器具归位 | 倒茶结束后 将摇杯放回操作台 |
让感知 动作与任务协同
视觉语言动作模型 VLA
分阶段自主执行
将视觉观察与任务指令转化为机器人动作 支持取用工具 倒料 盖合与摇匀等操作 让感知与双臂双手动作相互配合
世界动作模型 WAM
研发探索
探索结合历史观察 未来画面预测与动作生成 让机器人理解操作过程中的前后关系 为更连贯的多步骤任务提供支持
任务调度 Agent
实验探索
结合场景观察与机器人状态 探索对任务进度的判断与阶段衔接 并在需要时暂停执行或请求人工协助
持续学习体系
真实场景迭代
连接示教采集 模型训练与真机验证 从实际操作中发现需要改进的环节 让学习围绕真实任务持续推进
让机器人理解操作的前后
完成饮品制作 需要知道眼前是什么 也需要理解刚才做过什么 我们正在探索 WAM 世界动作模型 将一段操作中的历史观察 未来预测与动作生成联系起来
这一研究希望帮助机器人区分外观相似 工序不同的场景 逐步衔接更长的操作任务 相关能力仍在研发验证中
前序观察
过程变化
当前状态
后续状态参考
从真实操作中持续学习
机器人能力的积累 来自一次次真实操作 我们将示教 训练与验证连接起来 围绕不同器具 动作与操作状态持续改进模型
示教采集
记录真实制作中的操作经验 让模型学习工具使用 器物交互与双臂配合
数据整理
对操作记录进行整理与复核 为模型学习提供清晰 一致的任务信息
模型学习
围绕实际任务训练与迭代 将示教经验转化为可执行的机器人动作
真机验证
在真实吧台检验执行表现 再将需要改进的环节带回下一轮学习
从一个动作走向完整任务
更连贯的制作流程
继续探索不同工序之间的自主衔接 逐步推进整杯饮品的连续制作
更深入的过程理解
研究机器人对操作历史与任务进度的理解 支持更长的动作序列
更多饮品与操作环境
以手打柠檬茶为起点 探索将已有经验迁移到更多手作饮品与吧台布局