具身模型分三类,我们自己测。
我们按模型的用途分成三类,每类单独打分,分数都来自我们自己跑的测试。页面下方列出其他公开榜单的结果供参考,但不会平均进我们的分数:每个榜单测的模型和任务都不一样。
具身推理
第一阶段机器人的「眼睛和规划」:看懂场景、判断东西在哪、能怎么操作,再把任务拆成步骤的视觉语言模型。
它能不能看懂场景、规划任务?
- 代表模型
- Gemini Robotics-ER、Cosmos Reason、RoboBrain
- 怎么测
- 不公开的测试题,通过公开 API 和开源权重由我们自己跑
机器人策略
第二阶段直接输出动作的模型(VLA):给它摄像头画面和一句指令,它直接控制机械臂。
它在真机械臂上能不能把活干成?
- 代表模型
- π0.5、GR00T、DM0、LingBot-VLA
- 怎么测
- 同一套任务,在标准机械臂和仿真上与合作实验室一起跑
世界模型
第二阶段预测「机器人这样做之后世界会变成什么样」的模型,用来训练和规划。
它预测的物理过程对不对?
- 代表模型
- Cosmos 3、V-JEPA 2、LTX-2.5、Odyssey-2
- 怎么测
- 开源权重与 API;Genie 3 尚无公开接口
具身推理指数 · v0
候选模型与测试状态
| 模型 | 开发方 | 获取方式 | 分数 | 状态 |
|---|---|---|---|---|
| Gemini Robotics-ER 1.6 (preview) | Google DeepMind | Gemini API · 每百万 token 输入 1 美元 / 输出 5 美元 | — | 未测 |
| Cosmos Reason2 (2B / 8B / 32B) | NVIDIA | 开源权重 · NVIDIA Open Model License | — | 未测 |
| RoboBrain 2.5 (4B / 8B) | BAAI | 开源权重 · Apache-2.0 | — | 未测 |
| 通用前沿多模态模型(基线) | Google, OpenAI, Anthropic, Alibaba | API · 以测试时最新版本为准 | — | 未测 |
完整跑完并给出置信区间后才显示分数 · 测试题不公开,防止被训练
想让你的模型上我们的测试台,或者想测我们还没覆盖的榜单?我们做定制评测。联系我们 →覆盖矩阵
85% 的机器人策略只在一个榜单上有成绩
在 1,224 个有公开仿真成绩的策略中,1,047 个只出现在一个 benchmark 上,出现在三个及以上的只有 23 个;没有一个同时出现在 LIBERO、SimplerEnv、CALVIN、RoboCasa 四个榜上。同一策略在不同论文里的 LIBERO 分数也差很多:π0 在 73 篇论文中从 37.4% 到 96.8%。把这些榜单加权混合,排名主要取决于缺失值怎么补。
| 模型 | RoboChallenge | RoboArena | BEHAVIOR | RoboLab | ArmnetBench | SimFoundry | FlagEval-Robo | LIBERO* | # |
|---|---|---|---|---|---|---|---|---|---|
| π0.5 | 8 | ||||||||
| π0 | 7 | ||||||||
| GR00T N1.6 | 5 | ||||||||
| GR00T N1.7 | 4 | ||||||||
| DreamZero | 5 | ||||||||
| OpenVLA-OFT | 3 | ||||||||
| SmolVLA | 3 | ||||||||
| MolmoAct2 | 4 | ||||||||
| X-VLA | 2 | ||||||||
| LingBot-VLA | 1 | ||||||||
| DM0 | 1 | ||||||||
| Spirit v1.5 / v1.6 | 2 | ||||||||
| Cosmos3 Policy | 2 |
上市 无成绩 榜单未披露
圆点表示该榜单上有公开成绩。*LIBERO 分数为论文自报。RoboArena 收录的是 Spirit v1.6,RoboChallenge v1 收录的是 v1.5。来源:RoboChallenge 与 RoboArena 实时榜单(2026-10-28)、FlagEval-Robo(2026-08)、VLA Leaderboard 数据集(2026-10-01)、AllenAI vla-eval(2026-08-10)。
公开榜单
原力灵机 + Hugging Face 运营推理位置: 提交方托管V2 共 57 个条目
桌面操作真机榜。V2(2026)新增 18 个双臂任务、DOS-W1 平台、零样本测试和完成时间评分,要求单一通用模型。
Table30 V2 成功率,%(官方排名口径);最高得分 56.80
注意。 推理在提交方服务器上运行,平台无法确认实际跑的是哪个模型。运营方原力灵机也做模型:VLA-DM0.5 基于原力灵机的 DM0.5 微调,平台基线是 π0.5。57 个条目里只有 4 个成功率超过 20%。
快照 2026-10-28 · 来源: robochallenge.cn
斯坦福 SVL 运营推理位置: 主办方评估18 支队伍
在 OmniGibson 上跑 BEHAVIOR-1K 的 50 个家务任务。Q-score 对完成的子目标给部分分。
保留测试集 Q-score
注意。 排的是参赛队伍而不是公开模型,很少能和其他榜单对上。
快照 2025 final · 来源: BEHAVIOR leaderboard
NVIDIA SRL 运营推理位置: 平台自跑9
基于 Isaac Sim 5.0 的仿真榜,120 个操作任务,分视觉、流程、关系三个能力维度。
成功率,%
注意。 由 NVIDIA 运营,排名第一的是 NVIDIA 自己的策略。
快照 2026-08-12 · 来源: RoboLab data
智源研究院运营推理位置: 平台自跑24 个多模态模型
多模态模型的具身推理:13 个空间与规划 benchmark 的平均(Where2Place、RoboSpatial、VSI-Bench、ERQA、EgoPlan 等)。
13 项 benchmark 平均分
注意。 数据停在 2025 年 11 月,Gemini Robotics-ER 1.6 等新模型未收录。具身专用的 Cosmos-Reason1-7B 只有 42.11,低于通用模型。这是与我们具身推理指数最接近的公开参照。
快照 2025-11 · 来源: flagevalrobo.baai.ac.cn
FlagEval-Robo
仿真 + 真机智源研究院运营推理位置: 平台自跑,统一后训练仿真 13 个开源模型 · 真机 6 个
仿真榜取 LIBERO、VLA-Arena、ManiSkill、RoboCasa 平均;真机榜用 ATOM-Bench 原子技能与组合任务。
仿真榜:LIBERO、ManiSkill、VLA-Arena、RoboCasa 四项成功率均值,%(DreamZero 只有两项,不参与排名)
真机榜(ATOM-Bench):四个过程成功率(PSR)均值,%,Franka 单臂 + Cobot Magic 双臂
注意。 只测开源模型,所有模型在评测数据上统一后训练。LIBERO 已饱和(多数 94–99%),差距主要来自另外三项。ACoT-VLA 是智元的模型。
快照 2026-08 · 来源: flagevalrobo.baai.ac.cn
7 所高校,DROID 平台推理位置: 提交方托管24 个策略
评测者自选任务,做双盲两两对比,用偏好推出排名。
两两偏好推出的评分(悬停查看 ± 标准差与评测次数);评测少于 20 次的策略不显示
注意。 评分是相对值,评测次数少时误差大:第一名 Spirit v1.6 只有 25 次评测、±106,领先 DreamZero(190 次)并不显著。
快照 2026-10-28 · 来源: robo-arena.github.io
LIBERO
仿真论文自报推理位置: 自报1,607 条结果
四个仿真桌面任务组(Spatial、Object、Goal、Long)。
四组平均成功率,%(自报)
注意。 头部分数已到 97–99%,区分不出强模型;各论文训练数据和协议不同。
快照 2026-09-23 · 来源: AllenAI vla-eval