传统机器人在复杂多步任务中容易因空间定位不准或时序规划断裂而失败。Action-Sketcher框架通过引入可编辑的视觉草图作为中间表示，将抽象指令转化为具象几何规划，显著提升长时程任务成功率与动态适应能力。
智能速览
提出See-Think-Sketch-Act工作流，首次将视觉草图作为显式推理中间层
在杂乱场景中，对‘清理桌子’类多物体任务的成功率较基线模型提升37.2%
支持实时草图修正，人类可直接修改边界框、箭头等元素调整机器人意图
草图包含点、框、箭头等几何原语，实现语言指令到空间操作的精确对齐
在物体被意外移动的动态场景下，任务鲁棒性提升51.6%，错误累积明显减少
精华内容
当机器人不再黑箱决策，而是先在图像上画出边界框、箭头和关键点，它的‘思考’就变得可见、可调、可验证。
黑箱之困
现有视觉-语言-动作（VLA）模型大多采用端到端映射，指令直接生成动作序列。这种隐式规划在简单任务中尚可，但在‘把最右边的笔插入笔筒，再将可乐瓶放进左边篮子’这类需空间辨识与时序协同的任务中，定位模糊导致错误率高达42.8%。
分层方法虽尝试任务分解，但缺乏全局意图跟踪机制——一旦人类中途说‘先放杯子’，或某物体被挪动，系统无法自适应重规划。
实验显示，标准VLA模型在5步以上任务中的平均成功率不足29%，且失败常呈连锁式崩塌。
草图即计划
Action-Sketcher的核心突破在于用视觉草图为‘思考’赋予形态：模型接收指令后，首先在原始场景图上生成含边界框（目标物体）、箭头（移动方向）、旋转轴标记（姿态调整）的轻量级几何草图。
例如‘清理桌子’被分解为3个子任务，每个对应独立草图；每个草图平均含2.4个标注元素，标注精度达91.3%（IoU>0.7）。
该草图不替代底层策略，而是作为高层指令与低层动作之间的可验证接口，使每一步执行都有明确的空间依据。
人机共编排
系统集成自适应令牌门控机制，允许人类在任意环节介入草图层：用鼠标拖拽箭头可改变放置方向，增删边界框可增减操作对象，甚至涂改某处即可触发局部重规划。
用户实验表明，87%的非专业人员能在30秒内完成一次有效修正，任务恢复成功率从12%跃升至68%。
这种交互不是事后解释，而是事中协同——草图既是输出，也是输入，真正实现人在环路中的意图对齐。
Action-Sketcher没有追求更复杂的神经网络，而是回归智能本质：让规划可见、可控、可修正。它指向一种新范式——机器人的‘理解’不必藏在参数里，而可以落在一张草图上。当家庭服务机器人面对凌乱餐桌，或工业装配臂应对临时变更的工件位置，这种可解释、可干预的执行方式，或许比单纯提升准确率更接近实用化的临界点。下一步，草图能否成为人机协作的通用语义界面？
