10 月 20 日,NVIDIA GEAR 团队发布并开源机器人数据引擎 Flora(论文《FLORA: An Open Model Suite for Scaling Robotics Data Engines》),把原始机器人视频与人类视频转化为标注数据,已用于训练 GR00T 系列模型。
三个模型分工:Flora-TempSeg 完成视频动作时间分段,预测每个动作的开始/结束时间;Flora-Captioner 为动作区间生成上下文动作描述;Flora-Rewarder 输出过程奖励与结果奖励,支持测试时自定义评分准则(rubric),可对整段或局部执行效果打分。三者覆盖人类手部、机器人夹爪、灵巧手三类画面。“意图-结果”分离设计:失败的抓取仍可标注“正在尝试的动作”,执行质量单独评分,训练管线据此区分有效演示与失误。
规模与成本:依托 512 块 GB300 GPU,Flora 每天可标注 20 万小时视频(标注吞吐口径,非训练时长)。在 WGO-Bench、RoboReward、Robometer 取得 SOTA;与 GPT-6 Astra 相比,标注质量 57.1% 对 53.7%,成本 0.72 美元对 88.49 美元/源视频小时,约 1/125。模型已在 Hugging Face 发布,Captioner 与 Rewarder 为 Qwen3.5-27B 衍生,采用 OneWay Noncommercial License,仅限研发用途。

Flora 标注质量与成本对比(来源:Flora 论文 Figure 3,NVIDIA)
工程视角:视频标注解决语义层,像素中不含关节角、力/力矩、触觉等物理真值。构建高质量机器人数据集仍需动作捕捉(J-Mex V100-R 惯性动捕系统)、动捕数据手套(Manus Metagloves Pro、Metagloves Pro动捕数据手套、manus数据手套)、力反馈手套(SenseGlove Nova、Manus触觉反馈手套)、力矩传感器(Nordbo力矩传感器、BOTA六维力传感器)、触觉传感器(GelSight Mini、视触觉传感器、XELA uSkin触觉传感器)与 3D 相机(ZED双目3D相机、ZED2i、Stereolabs)配套,作为自动标注的校准与真值来源。
|
产品型号 |
核心技术参数 |
独特优势 |
适用平台或接口 |
|
J-Mex V100-R 具身智能惯性动捕系统 |
15 个 9 轴 IMU 传感器;100 Hz 数据输出 |
面向遥操作与 VLA 训练设计;动态姿态校正 |
ROS2 SDK;NVIDIA Jetson 平台 |
|
Manus Metagloves Pro 动捕数据手套 |
25 自由度(DOF);电磁场(EMF)毫米级手部追踪 |
无遮挡、无漂移;可搭配触觉反馈模块 |
MANUS Core SDK;FBX/CSV 导出;ROS;Unity/Unreal |
|
SenseGlove Nova 力反馈数据手套 |
主动式力反馈 + 手部追踪(参数以官方手册为准) |
遥操作与灵巧手控制中的力觉反馈 |
Unity/Unreal;ROS(以官方手册为准) |
|
GelSight Mini 视触觉传感器 |
高分辨率 2D/3D 凝胶触觉成像(参数以官方手册为准) |
人形分辨率触觉;USB 即插即用 |
ROS;Python SDK(以官方手册为准) |
|
Nordbo NRS / BOTA 六维力传感器 |
六维力/力矩测量(参数以官方手册为准) |
力控关节与机器人力控模组 |
协作机械臂接口(以官方手册为准) |
|
XELA uSkin 阵列触觉传感器 |
阵列式柔性触觉(参数以官方手册为准) |
柔性皮肤形态,适配抓取与灵巧操作研究 |
ROS;嵌入式接口(以官方手册为准) |
|
Stereolabs ZED 2i 双目 3D 相机 |
双目视觉 + 深度,IP66 防护(参数以官方手册为准) |
3D 感知与 SLAM 数据同步 |
Stereolabs SDK;ROS;NVIDIA Jetson |
|
产品 |
典型应用场景 |
解决的痛点问题 |
|
J-Mex V100-R 惯性动捕 |
机器人遥操作数据采集、VLA 训练、全身动作真值标定 |
视频标注缺少关节角真值;人工逐帧标注成本高 |
|
Manus Metagloves Pro 数据手套 |
手部精细操作数据、灵巧手遥操作、数字孪生驱动 |
手部动作难以从普通视频还原;毫米级精度难以保证 |
|
SenseGlove Nova 力反馈手套 |
遥操作力觉反馈、VR 装配培训、灵巧手控制 |
操作者无法感知接触力,遥操作成功率低 |
|
GelSight Mini 视触觉传感器 |
触觉感知研究、抓取稳定性评估、滑移检测 |
纯视觉无法获取接触力分布与滑移信息 |
|
Nordbo/BOTA 六维力传感器 |
力控机器人、打磨装配、人机协作 |
缺少力/力矩真值,力控策略难以闭环 |
|
XELA uSkin 阵列触觉传感器 |
电子皮肤、柔性触觉、灵巧手接触感知 |
硬质传感器难以贴合曲面,接触分布采样不足 |
|
Stereolabs ZED 2i 双目相机 |
视觉+深度数据采集、SLAM、场景重建 |
单目视频缺少深度信息,三维真值不足 |
欣佰特可提供上述硬件与 GR00T/Flora 数据管线的集成选型支持,覆盖遥操作数据采集、具身智能数据采集、VLA 后训练、灵巧手研究、ALOHA遥操作机器人复现与部署监控等场景,帮助研发团队把视频自动标注与物理真值采集结合。
更多相关资讯,欢迎关注 “欣佰特科技” ,持续为大家带来 “具身智能领域”前沿技术及应用!详情可邮件咨询sales@cnbestec.com





