机器人把杯子放到桌上,通常可以由一个短时技能完成,主要考验局部感知与精细操控;而制作一杯奶茶,则需要连续完成摆杯、加入配料、倒入牛奶和茶、封盖、插入吸管等13个步骤;如果让机器人整理一个房间,它还需要在不同位置之间移动,并把数十个环节组织成一条连贯的任务链。当任务从几秒延长到数分钟,困难不再只是机器人“能不能抓准物品”,而是在执行过程中持续判断:已经完成了哪些步骤,下一步该做什么,发生局部失败后是否需要重试或回退。
当前多数分层视觉-语言-动作模型(Vision-Language-Action Model, VLA)在子任务边界仍采用一次前向推理:根据当前观测和执行历史,直接输出下一项子任务。模型既不显式地比较备选方案,也不评估这些方案会把环境带到怎样的状态。错误通常要等到真正执行后才被发现,而此时物理世界已经被改变,失败已经难以修正。
为解决这一挑战,上海创智学院罗剑岚老师团队发布 τ₀-VLA:一个由高层决策系统和低层策略生成系统组成的机器人基础模型。其核心思路是在高层决策系统中引入测试时计算:在关键子任务上,模型先提出多个候选决策,再通过世界模型预测各候选子任务对应的视觉状态,由价值模型评估任务进展,并在多步搜索后反思、生成最终执行的子任务;低层策略VLA则负责把该子任务转化为可执行的机器人动作。
长程任务执行成功的关键,不只是完成单个步骤,而在于做出一系列正确的决策。τ₀-VLA将测试时推理用于子任务决策。动作级搜索虽然能够解决局部控制歧义,但时间跨度较短,难以体现任务级后果;纯语言推理能够覆盖更长时间尺度,却往往缺少对候选决策物理后果的显式建模。子任务位于两者之间:它足够稀疏,不必在每个控制周期都进行昂贵搜索;又足够长,能够产生可辨识的环境变化,适合通过世界模型进行后果比较。
据团队在论文中的调研,τ₀-VLA是首个在高层子任务决策层面显式扩展测试时计算的VLA系统。它把测试时算力从“多采样、选一个”进一步用于“推演候选决策会把世界带向哪里”。
τ₀-VLA的长时程评测覆盖四项复杂真实任务:25步的房间清洁、14步的食材准备、22步的番茄炒蛋,以及13步的制作奶茶。任务持续时间从约3至12分钟不等。
在四项长时程任务中,各方法-任务设置均进行10次独立真机试验。保持低层策略、观测和动作接口不变,仅加入高层分解与执行记忆后,τ₀-VLA的平均任务成功率从27.5%提升到45.0%,平均任务进度从80.10%提升到87.85%。在本文实验设置下,这一结果也高于GR00T N1.7、LingBot-VLA和π0.5。
在不使用高层策略的跨本体短任务中,τ₀-VLA在收集衣物上达到10/10成功,在整理化妆台的棉片、睫毛夹和粉扑任务上分别达到10/10、9/10和10/10,显示统一低层策略能够在不同机器人形态和控制接口下执行语言条件操作。
团队进一步比较了三种高层推理方式:Plan Once只进行一次预测;Best-of-N采样多个候选,并用同一世界模型和价值模型做一步筛选;τ₀-VLA的测试时计算则进行多步分支展开,并由反思模型综合后提交决策。
在下一子任务预测中,τ₀-VLA在四项评测任务上均取得最高准确率:制作奶茶为87.3%,书籍整理(分布内测试集)的为88.0%,书籍整理(分布外测试集)为74.0%,房间清洁为87.0%。
更关键的是,开放环节的预测增益能够转化为真实机器人闭环成功率。在保持低层策略不变的条件下,引入测试时计算后,制作奶茶端到端成功次数从5/10提升到7/10,书籍整理从6/10提升到9/10,房间清洁从5/10提升到7/10;三项任务的任务进度也同步提高。
随着测试时计算预算增加,制作奶茶和书籍整理的子任务预测准确率快速上升,随后逐渐趋于饱和。这表明额外计算在低到中等预算区间具有较好的计算-精度权衡,但并非无限增加算力就能获得线性收益。τ₀-VLA的目标不是让机器人“永远慢思考”,而是在真正影响任务走向的节点投入更多计算。
此前,团队在τ₀-WM中将动作生成、未来视频预测和动作后果评估统一起来,让机器人能够在精细操作中“先想象,再执行”。τ₀-VLA沿着同一条研究主线进一步向长时程扩展:如果说τ₀-WM回答的是“这个动作做下去会发生什么”,τ₀-VLA进一步回答“为了完成整个任务,接下来应该做哪件事”。
通过将世界模型、执行记忆和可扩展测试时计算引入子任务边界,τ₀-VLA为机器人从反应式执行走向结果推演的长时程自主操作提供了一条可验证的技术路径。未来,具身基础模型的能力提升或许不仅来自更多参数和更多数据,也来自更合理的推理资源分配:简单决定快速完成,困难决定充分推演;不是只判断一个动作“像不像正确动作”,而是判断它是否真的让现实世界更接近任务目标。
看看新闻记者: 赵一凡
编辑: 赵一凡
责编: 李鹏