完整备料 刨丝与沥水
从取用土豆与刨丝器 到往复刨丝 捞取沥水 查看完整备料流程
酸辣土豆丝
从整颗土豆的刨丝 沥水 到倒油 投料 翻炒与盛盘 让食材变化 工具切换与双臂协作接成一道菜
刨土豆丝 第一视角
来自九月项目演示 近距离观察土豆与刨丝器接触 往复刨丝及后续转运
操作场景
刨丝改变土豆的形状 浸泡改变食材的抓取方式 翻炒又让锅内状态不断变化 这道家常菜的看点 是机器人如何把不同的接触与操作连续接起来
土豆越削越小
抓稳土豆只是开始 刨丝过程持续改变接触位置 需要同时考虑握持姿态 施力方向与刨丝器的位置
从整块到丝状
散开的湿土豆丝 需要经过捞取 沥水 入碗和转运 操作对象与使用工具随工序一起改变
锅和铲一起工作
锅内食材不断移动 锅铲需要翻动 聚拢并配合出锅 一次到位的抓取 只是整条流程的一部分
制作流程
取土豆与刨丝器
调整接触姿态
往复刨丝
放回土豆和工具
捞取 沥水 入碗
倒油
土豆丝入锅
加入调料
翻炒
盛盘出锅
工具归位
具身操作模型研发
面向多工序厨房任务 将现场观察 工序状态与连续动作连接起来 重点是让机器人在食材和工具发生变化时 仍能围绕同一个制作目标推进
动作与后果一起学
将动作 机器人状态与视觉特征联系起来 学习运动与现场变化的关系
组织连续运动
从搬运容器到接触刨丝器 用连续动作表达衔接大范围移动与局部操作
记住当前子任务
把工具 食材与当前工序放在同一上下文中 将备料 刨丝 转运 翻炒 盛盘与收尾作为不同执行条件
用新观察更新动作
连接模型服务与机器人执行链路 读回相机和身体状态 组织下一轮动作输入
观察现场
读取相机画面与机器人状态
保持工序
明确当前在做什么 下一步何时开始
生成短段动作
把任务条件转成可执行的动作或曲线
执行后再观察
使用已经发生的变化更新下一轮输入
恢复策略设计
接触打滑
刨丝时土豆偏离接触面
- 观察判断
- 先暂停当前往复动作 确认握持与接触状态
- 执行调整
- 重新调整姿态 检查稳定后再继续
- 保留经验
- 保留打滑前后的观察与动作 供恢复数据采集使用
转运有残留
土豆丝仍留在捞取工具中
- 观察判断
- 检查目标容器与工具中的食材分布
- 执行调整
- 调整倾倒或转运动作 避免直接进入下一步
- 保留经验
- 记录残留形态与有效转运方式 供后续复测
出锅偏位
盛盘容器的位置发生变化
- 观察判断
- 重新确认容器位置及当前锅铲状态
- 执行调整
- 更新转移落点 位置不明确时请求人工协助
- 保留经验
- 将变化后的容器位置纳入下一轮测试条件
采集与训练数据
- 本次完成步骤
- 11 / 11
- 原始采集轨迹
- 558条
- 人工筛选保留
- 501条
- 人工筛选剔除
- 57条
9 月 14 日至 9 月 20 日周报记录的历史数据集 覆盖刨丝 转运 投料与锅铲操作 后续补采单独记录
| 数据口径 | 数量 | 版本说明 |
|---|---|---|
| 原始刨丝子集 | 332 条 | 原始 558 条集合的一部分 |
| 原始炒制子集 | 226 条 | 原始 558 条集合的一部分 |
| 人工筛选保留 | 501 条 | unified_aligned_v2 清洗口径 |
| 后续补采来源 | 69 条 | 后续补采批次 单独记录 |
按阶段组织
区分工具取用 接触刨丝 转运和炒制 保留动作边界
对齐观察与动作
把相机 身体状态和动作放回同一条时间线
筛选可用轨迹
检查记录完整性与动作片段 形成可复用的训练集合
用现场问题指导补采
将打滑 残留或转移困难定位到具体阶段 再训练与复测
研发方向
稳定重复出品
围绕连续制作积累数据 提升不同工序之间的衔接表现
适配更多物料
扩展食材状态 容器规格和摆放变化 打磨操作与恢复能力
拓展厨房工位
复用工具操作 双臂协作和数据流程 逐步扩展到更多餐饮任务