Genesis:次の世代の4Dダイナミックワールドとスマートロボットプラットフォームを構築する

Genesis是一个功能强大的多用途物理模拟框架,专为机器人学、具身智能(Embodied AI)和物理智能(Physical AI)设计。英文全称 A Generative World for General-Purpose Robotics & Embodied AI Learning。

该项目的这座机构和大学:

此类生成式学习环境通常有助于加速具身AI的训练过程,通过虚拟世界中复杂而真实的模拟场景,改进AI在现实任务中的性能。Github链接 - https://github.com/Genesis-Embodied-AI/Genesis。

示例

生成4D动态物理世界

Genesis 通过基于大型语言模型(VLM)的生成代理,利用模拟基础架构提供的API作为工具,创建4D动态世界。这些世界不仅能够作为多模态数据的基础数据源,还能生成物理精确和视角一致的视频及其他数据形式。

角色动作生成

Genesis 能够生成复杂的角色动作场景,例如:

  • 场景示例
    • 一只手持棍子的迷你孙悟空在桌面上疾跑3秒,随后跃入空中,在着陆时右手挥动棍子。摄像机从他的面部特写开始,逐步跟随角色并拉远。在孙悟空跳跃到空中最高点时动作暂停几秒,摄像机绕角色360度旋转并缓缓上升,最后动作恢复。
    • 一个中国士兵跳“江南Style”舞蹈。

机器人策略生成

Genesis 致力于通过生成式机器人代理和物理引擎,自动生成机器人在不同场景下的技能策略和示范数据。

  • 机器人任务示例

    • 一个移动的Franka机械臂使用碗和微波炉加热玉米。

    • 一个移动的Franka机械臂将地上的物品全部扔进篮子。

  • 四足机器人示例

    • 不同步态的四足机器人运动(从模拟到现实)。
    • 四足机器人后空翻。

3D完全交互场景生成

Genesis 支持生成完全交互的3D场景,例如:

  • 一个包含客厅(带餐区)、卫生间、书房和卧室的家居室内场景。
  • 一个餐厅内部场景。

开放世界的关节对象生成

Genesis 支持生成开放类别的关节网格资产,涵盖超出人类标注的关节对象类别。详情参见即将发表的论文。

软体机器人模拟

Genesis 支持软体或混合(软体外壳和刚性骨架)机器人模拟。

  • 示例
    • 一个“行走的茶壶”(混合模型)。
    • 一个软体抓取器拾取笔盖(MPM + 刚体)。

语音音频、面部动画及情感生成

Genesis 能够生成与语音、面部动画和情感相关的内容:

  • 示例
    • 面部动画和语音内容:“Genesis 是一个为通用机器人/具身智能/物理AI应用设计的物理平台。”情感从中性转为愤怒,再转为愉快。
    • 支持不同面部角色和情感的泛化。

Genesis 通过广泛的生成功能和跨模态数据支持,为机器人学、AI开发和虚拟场景模拟提供了强大的创新工具。

核心亮点

  1. 通用物理引擎

  • 从零重新设计和构建。
  • 支持模拟各种材料和物理现象。
  • 集成多种物理求解器,并将其统一到一个框架中。
  • 轻量化、高效的机器人模拟

    • 基于 Python,使用体验友好。
    • 性能优化,运行速度极快,资源占用低。
  • 照片级真实感渲染

    • 提供高质量且快速的渲染能力,支持逼真的模拟效果。
  • 生成式数据引擎

    • 物理精确、空间一致的视频
    • 摄像机运动及参数
    • 人类和动物的角色动作
    • 可用于现实世界的机器人操作和运动策略
    • 完全交互的3D场景
    • 开放世界中的关节对象生成
    • 语音音频、面部动画及情感表达
    • 基于自然语言描述,自动生成多模态数据。
    • 数据包括:

    应用场景

    • 机器人学:设计和测试可部署到现实世界的操控与运动策略。
    • AI开发:在真实感丰富、物理逼真的环境中训练具身智能。
    • 数据生成:生成复杂数据集,例如带关节的对象、语音音频、人类表情动画等,用于支持AI训练与评估。

    开源计划

    Genesis 已开源其物理引擎模拟平台,其生成式框架将逐步开放访问。平台还提供详尽的文档、教程和API参考,降低使用门槛。

    性能

    Genesis 是一个高度优化的物理引擎,通过 GPU 加速的并行计算实现卓越性能,并具备以下特点:

    1. 优化的碰撞检测

    • 采用高效算法,减少计算开销,提升碰撞检测速度。
  • 自动休眠机制

    • 对于已收敛或静止的实体自动进入休眠状态,从而加速大规模场景的模拟。
  • 接触岛优化

    • 针对物体接触区域进行优化处理,提升计算效率。

    性能表现

    1. 超高模拟速度

    • 在一个操控场景中(包含一个平面和一个 Franka 机械臂),Genesis 的运行速度达到每秒 4300 万帧,比实时模拟快 43 万倍
  • 大规模模拟的加速

    • 利用自动休眠机制,在处理静态或已稳定状态的实体时显著提高模拟速度(该功能正在测试中,计划在 0.1.1 版本发布)。