EmbodiedIndexbeta
联系我们
模型

具身模型分三类,我们自己测。

我们按模型的用途分成三类,每类单独打分,分数都来自我们自己跑的测试。页面下方列出其他公开榜单的结果供参考,但不会平均进我们的分数:每个榜单测的模型和任务都不一样。

具身推理

第一阶段
机器人的「眼睛和规划」:看懂场景、判断东西在哪、能怎么操作,再把任务拆成步骤的视觉语言模型。
它能不能看懂场景、规划任务?
代表模型
Gemini Robotics-ER、Cosmos Reason、RoboBrain
怎么测
不公开的测试题,通过公开 API 和开源权重由我们自己跑

机器人策略

第二阶段
直接输出动作的模型(VLA):给它摄像头画面和一句指令,它直接控制机械臂。
它在真机械臂上能不能把活干成?
代表模型
π0.5、GR00T、DM0、LingBot-VLA
怎么测
同一套任务,在标准机械臂和仿真上与合作实验室一起跑

世界模型

第二阶段
预测「机器人这样做之后世界会变成什么样」的模型,用来训练和规划。
它预测的物理过程对不对?
代表模型
Cosmos 3、V-JEPA 2、LTX-2.5、Odyssey-2
怎么测
开源权重与 API;Genie 3 尚无公开接口
具身推理指数 · v0
候选模型与测试状态
模型开发方获取方式分数状态
Gemini Robotics-ER 1.6 (preview)Google DeepMindGemini API · 每百万 token 输入 1 美元 / 输出 5 美元—未测
Cosmos Reason2 (2B / 8B / 32B)NVIDIA开源权重 · NVIDIA Open Model License—未测
RoboBrain 2.5 (4B / 8B)BAAI开源权重 · Apache-2.0—未测
通用前沿多模态模型(基线)Google, OpenAI, Anthropic, AlibabaAPI · 以测试时最新版本为准—未测
完整跑完并给出置信区间后才显示分数 · 测试题不公开,防止被训练
想让你的模型上我们的测试台,或者想测我们还没覆盖的榜单?我们做定制评测。联系我们 →
覆盖矩阵
85% 的机器人策略只在一个榜单上有成绩
在 1,224 个有公开仿真成绩的策略中,1,047 个只出现在一个 benchmark 上,出现在三个及以上的只有 23 个;没有一个同时出现在 LIBERO、SimplerEnv、CALVIN、RoboCasa 四个榜上。同一策略在不同论文里的 LIBERO 分数也差很多:π0 在 73 篇论文中从 37.4% 到 96.8%。把这些榜单加权混合,排名主要取决于缺失值怎么补。
模型RoboChallengeRoboArenaBEHAVIORRoboLabArmnetBenchSimFoundryFlagEval-RoboLIBERO*#
π0.58
π07
GR00T N1.65
GR00T N1.74
DreamZero5
OpenVLA-OFT3
SmolVLA3
MolmoAct24
X-VLA2
LingBot-VLA1
DM01
Spirit v1.5 / v1.62
Cosmos3 Policy2
上市 无成绩 榜单未披露
圆点表示该榜单上有公开成绩。*LIBERO 分数为论文自报。RoboArena 收录的是 Spirit v1.6,RoboChallenge v1 收录的是 v1.5。来源:RoboChallenge 与 RoboArena 实时榜单(2026-10-28)、FlagEval-Robo(2026-08)、VLA Leaderboard 数据集(2026-10-01)、AllenAI vla-eval(2026-08-10)。

公开榜单

原力灵机 + Hugging Face 运营推理位置: 提交方托管V2 共 57 个条目
桌面操作真机榜。V2(2026)新增 18 个双臂任务、DOS-W1 平台、零样本测试和完成时间评分,要求单一通用模型。
LoopWAM43.33
VLA-DM0.5 (KDDI Research)40.67
ambase (AVerse001)31.67
my16 (Tymtbo)30.67
JV0 (JIIOV)16
mc (mcBrains)15.33
MagicBot14.67
Baseline π0.5 (RoboChallenge)14.33
Table30 V2 成功率,%(官方排名口径);最高得分 56.80
注意。 推理在提交方服务器上运行,平台无法确认实际跑的是哪个模型。运营方原力灵机也做模型:VLA-DM0.5 基于原力灵机的 DM0.5 微调,平台基线是 π0.5。57 个条目里只有 4 个成功率超过 20%。
快照 2026-10-28 · 来源: robochallenge.cn
斯坦福 SVL 运营推理位置: 主办方评估18 支队伍
在 OmniGibson 上跑 BEHAVIOR-1K 的 50 个家务任务。Q-score 对完成的子目标给部分分。
Robot Learning Collective0.26
Comet (NVIDIA)0.251
SimpleAI Robot0.159
The North Star (Huawei)0.12
Embodied Intelligence0.095
保留测试集 Q-score
注意。 排的是参赛队伍而不是公开模型,很少能和其他榜单对上。
快照 2025 final · 来源: BEHAVIOR leaderboard
NVIDIA SRL 运营推理位置: 平台自跑9
基于 Isaac Sim 5.0 的仿真榜,120 个操作任务,分视觉、流程、关系三个能力维度。
Cosmos3 Nano Policy36.8
Phoenix34.4
π0.528
DreamZero25.7
Cosmos3 Edge Policy22.9
π0-FAST15.5
GR00T N1.67.2
π05
成功率,%
注意。 由 NVIDIA 运营,排名第一的是 NVIDIA 自己的策略。
快照 2026-08-12 · 来源: RoboLab data
智源研究院运营推理位置: 平台自跑24 个多模态模型
多模态模型的具身推理:13 个空间与规划 benchmark 的平均(Where2Place、RoboSpatial、VSI-Bench、ERQA、EgoPlan 等)。
GPT-563.73
Qwen3-VL-Plus63.61
Qwen3-VL-235B Instruct63.35
Qwen3-VL-235B Thinking62.81
Doubao-Seed-1.6-vision61.86
Gemini 2.5 Pro60.42
Qwen-VL-Max60.14
Qwen3-VL-30B Thinking58.17
13 项 benchmark 平均分
注意。 数据停在 2025 年 11 月,Gemini Robotics-ER 1.6 等新模型未收录。具身专用的 Cosmos-Reason1-7B 只有 42.11,低于通用模型。这是与我们具身推理指数最接近的公开参照。
快照 2025-11 · 来源: flagevalrobo.baai.ac.cn
论文作者推理位置: 作者自跑5
真实到仿真的策略评估,同时报告真机成功率。
π0.573.1
GR00T N1.757
DreamZero53
π042.3
GR00T N1.624.6
真机平均成功率,%
注意。 单篇论文的一次快照。
快照 2026-09-18 · 来源: arXiv 2606.28276
论文作者推理位置: 作者自跑7
机械臂操作榜,严格成功只计完整完成。
π0.547.6
π035.1
GR00T N1.729.4
Diffusion Policy26.7
ACT19.2
MolmoAct218.9
SmolVLA15
严格成功率,%
注意。 单篇论文的一次快照。
快照 2026-08-29 · 来源: arXiv 2607.24481

FlagEval-Robo

仿真 + 真机
智源研究院运营推理位置: 平台自跑,统一后训练仿真 13 个开源模型 · 真机 6 个
仿真榜取 LIBERO、VLA-Arena、ManiSkill、RoboCasa 平均;真机榜用 ATOM-Bench 原子技能与组合任务。
π0.566.88
GR00T N1.663.21
LingBot-VLA-V263.13
ACoT-VLA61.22
π059.95
GR00T N1.759.34
Qwen-GR00T57.76
LingBot-VLA55.8
仿真榜:LIBERO、ManiSkill、VLA-Arena、RoboCasa 四项成功率均值,%(DreamZero 只有两项,不参与排名)
π0.556.65
Motus45.98
LingBot-VLA-V243.85
LingBot-VLA33.75
GR00T N1.632.55
SmolVLA18.53
真机榜(ATOM-Bench):四个过程成功率(PSR)均值,%,Franka 单臂 + Cobot Magic 双臂
注意。 只测开源模型,所有模型在评测数据上统一后训练。LIBERO 已饱和(多数 94–99%),差距主要来自另外三项。ACoT-VLA 是智元的模型。
快照 2026-08 · 来源: flagevalrobo.baai.ac.cn

RoboArena

真机
7 所高校,DROID 平台推理位置: 提交方托管24 个策略
评测者自选任务,做双盲两两对比,用偏好推出排名。
Spirit v1.61788
DreamZero1735
Apricot1661
π0.5-DROID1608
π0-FAST-DROID1582
G0.5-Droid-AR1559
PaliGemma VQ (DROID)1546
floppy_bagel_525k1546
两两偏好推出的评分(悬停查看 ± 标准差与评测次数);评测少于 20 次的策略不显示
注意。 评分是相对值,评测次数少时误差大:第一名 Spirit v1.6 只有 25 次评测、±106,领先 DreamZero(190 次)并不显著。
快照 2026-10-28 · 来源: robo-arena.github.io

LIBERO

仿真
论文自报推理位置: 自报1,607 条结果
四个仿真桌面任务组(Spatial、Object、Goal、Long)。
SimpleVLA-RL (OFT)99.1
Mixture of Horizons99
VLA-Adapter Pro98.5
ImageWAM98.4
RotVLA98.2
LaRA-VLA97.9
四组平均成功率,%(自报)
注意。 头部分数已到 97–99%,区分不出强模型;各论文训练数据和协议不同。
快照 2026-09-23 · 来源: AllenAI vla-eval