什么是视觉-语言-动作（VLA）模型？
VLA 输入摄像头画面和一句指令，直接输出电机指令。它是现在多数人形和机械臂厂商在用的机器人策略。
简短回答： 视觉-语言-动作模型，是在视觉语言模型（能描述图片、回答图片相关问题的那类模型）的基础上继续训练，让它输出机器人动作，而不只是文字。给它一个摄像头画面和一句指令，比如「把杯子放进水槽」，它就生成完成这件事所需的手臂和夹爪指令。
这个概念从哪来
Google DeepMind 在 2023 年 7 月发布 RT-2 时提出了这个说法。RT-2 从一个在网络规模图文数据上预训练的模型出发，再用机器人演示数据联合微调。它把机器人动作写成 token，就像语言模型写字一样。在训练时没见过的场景里，RT-2 的成功率是 62%，上一代 RT-1 是 32%。关键在于：从网络上学到的知识，可以迁移到机器人控制上。
动作是怎么输出的
现在主要有两种做法：
- 把动作当 token。 把连续的电机指令变成离散 token，像生成文字一样逐个生成。RT-2 就是这样做的；π0-FAST 用一种压缩方法（FAST）把动作序列变成更少的 token。
- 把动作当连续输出。 Physical Intelligence 的 π0 用 flow matching（流匹配）：从随机噪声出发，逐步细化成一段平滑的电机指令序列，轨迹频率 50 Hz。π0 基于 PaliGemma 视觉语言模型，训练数据来自 7 种机器人平台、68 种任务。
VLA 为什么难比较
一个 VLA 的分数取决于机器人、任务、摄像头布置和测试方。同一个模型在两个榜单上的分数可能相差很大，而且大多数模型只在一个榜单上测过。我们的 8 个策略榜单数据文章 显示，它们有 6 个不同的第一名。
我们怎么测
我们的机器人策略指数（第二阶段）将按一套公开规程，在真机械臂和仿真中给策略打分，与具身推理模型、世界模型分开评。在此之前，请看 机器人策略页面，仅作参考列出，不做平均。