蛋烘糕
从倒油 舀取面糊 到持锅出糕 撒入配料与收尾 连接黏稠面糊 柔软糕体与散粒配料的连续操作
操作场景
面糊会流动 配料会散落 糕体会变形 制作过程不断切换操作对象 也不断切换对工具 落点与双臂配合的要求
一勺黏稠面糊
舀取与倾倒之间 需要控制工具姿态 转移路径和入锅落点 面糊的拖尾与残留也会影响下一步
一勺散粒配料
花生碎与山楂碎从勺中落下 目标从 把工具放到位 变成 让配料落在糕体表面
一片柔软糕体
从锅中取出糕体 需要同时配合锅体姿态 锅铲承托与盘中落点 避免在转移中散开或破损
制作流程
倒油
放回油盒
取勺舀面糊
面糊入锅
放回面糊勺
待熟 持锅取铲
出锅装盘
放回锅
放回锅铲
舀取配料
撒入配料
配料勺归位
Spline 模型研发
面向面糊 柔软糕体和散粒配料 用连续动作曲线组织舀取 倾倒 出锅与加料 研发重点是移动的连贯性与局部操作的精细程度
完整过程共同学习
以完整视频 机器人状态与技能标签组织训练输入 学习操作过程中的视觉和动作关系
相对增量 + B 样条
将连续移动表达为动作曲线 连接舀取 倾倒 持锅与铲取等不同操作
工序语义引导
以技能语义区分工序 根据当前技能生成动作 衔接等待熟化 持锅出糕与装盘加料
连接动作与新观察
通过机器人执行链路输出动作 将新的相机和身体状态作为下一轮输入
观察现场
读取相机画面与机器人状态
保持工序
明确当前在做什么 下一步何时开始
生成短段动作
把任务条件转成可执行的动作或曲线
执行后再观察
使用已经发生的变化更新下一轮输入
恢复策略设计
面糊拖尾
勺子移开时仍有面糊连接
- 观察判断
- 检查面糊流动与勺 锅之间的相对位置
- 执行调整
- 调整停留与离开动作 确认转移完成后再归位
- 保留经验
- 保留不同面糊状态与转移动作 形成专项复测
撒料偏移
配料落点接近糕体边缘
- 观察判断
- 重新确认糕体边界和勺的位置
- 执行调整
- 修正撒料落点 完成后再更换工具
- 保留经验
- 记录偏移条件与配料分布 检查后续策略效果
糕体粘连
出锅时糕体尚未脱离锅面
- 观察判断
- 先确认糕体与锅面的接触 避免直接强拉
- 执行调整
- 调整锅铲承托 状态无法确认时请求人工协助
- 保留经验
- 把粘连状态单独保留 供恢复动作采集与复测
v3 训练数据
- 本次完成步骤
- 12 / 12
- v3 训练轨迹
- 192条
- 同批训练数据
- 601666帧
- 训练技能
- 7
9 月 28 日采集 10 月 5 日整理为 v3 训练包 保留完整视频 将原始制作步骤归并为以下训练技能
| 技能 | 文档所列技能语义 |
|---|---|
| 01 | 倒油并放回油壶 |
| 02 | 加面糊 |
| 03 | 等待熟化 |
| 04 | 左手拿锅 |
| 05 | 右手取铲出糕装盘 |
| 06 | 加配料 |
| 07 | 放回配料勺并回撤 |
保留完整视频
该训练包采用完整视频 零裁剪的记录方式
统一工序语义
将原始逐步标注归并为训练技能 保持不同操作阶段的边界一致
对齐模型训练输入
将完整观察 身体状态与动作整理为自研 spline 可读取的数据
持续积累场景数据
按批次记录轨迹与帧数 为后续训练和效果比较保留依据
研发方向
稳定重复出品
围绕连续制作积累数据 提升不同工序之间的衔接表现
适配更多物料
扩展食材状态 容器规格和摆放变化 打磨操作与恢复能力
拓展厨房工位
复用工具操作 双臂协作和数据流程 逐步扩展到更多餐饮任务