Genesis是一个功能强大的多用途物理模拟框架,专为机器人学、具身智能(Embodied AI)和物理智能(Physical AI)设计。英文全称 A Generative World for General-Purpose Robotics & Embodied AI Learning。
该项目的这座机构和大学:
此类生成式学习环境通常有助于加速具身AI的训练过程,通过虚拟世界中复杂而真实的模拟场景,改进AI在现实任务中的性能。Github链接 - https://github.com/Genesis-Embodied-AI/Genesis。
示例
生成4D动态物理世界
Genesis 通过基于大型语言模型(VLM)的生成代理,利用模拟基础架构提供的API作为工具,创建4D动态世界。这些世界不仅能够作为多模态数据的基础数据源,还能生成物理精确和视角一致的视频及其他数据形式。
角色动作生成
Genesis 能够生成复杂的角色动作场景,例如:
场景示例: 一只手持棍子的迷你孙悟空在桌面上疾跑3秒,随后跃入空中,在着陆时右手挥动棍子。摄像机从他的面部特写开始,逐步跟随角色并拉远。在孙悟空跳跃到空中最高点时动作暂停几秒,摄像机绕角色360度旋转并缓缓上升,最后动作恢复。 一个中国士兵跳“江南Style”舞蹈。
机器人策略生成
Genesis 致力于通过生成式机器人代理和物理引擎,自动生成机器人在不同场景下的技能策略和示范数据。
机器人任务示例:
一个移动的Franka机械臂使用碗和微波炉加热玉米。 一个移动的Franka机械臂将地上的物品全部扔进篮子。 四足机器人示例:
不同步态的四足机器人运动(从模拟到现实)。 四足机器人后空翻。
3D完全交互场景生成
Genesis 支持生成完全交互的3D场景,例如:
一个包含客厅(带餐区)、卫生间、书房和卧室的家居室内场景。 一个餐厅内部场景。
开放世界的关节对象生成
Genesis 支持生成开放类别的关节网格资产,涵盖超出人类标注的关节对象类别。详情参见即将发表的论文。
软体机器人模拟
Genesis 支持软体或混合(软体外壳和刚性骨架)机器人模拟。
示例: 一个“行走的茶壶”(混合模型)。 一个软体抓取器拾取笔盖(MPM + 刚体)。
语音音频、面部动画及情感生成
Genesis 能够生成与语音、面部动画和情感相关的内容:
示例: 面部动画和语音内容:“Genesis 是一个为通用机器人/具身智能/物理AI应用设计的物理平台。”情感从中性转为愤怒,再转为愉快。 支持不同面部角色和情感的泛化。
Genesis 通过广泛的生成功能和跨模态数据支持,为机器人学、AI开发和虚拟场景模拟提供了强大的创新工具。
核心亮点
通用物理引擎:
从零重新设计和构建。 支持模拟各种材料和物理现象。 集成多种物理求解器,并将其统一到一个框架中。
轻量化、高效的机器人模拟:
基于 Python,使用体验友好。 性能优化,运行速度极快,资源占用低。
照片级真实感渲染:
提供高质量且快速的渲染能力,支持逼真的模拟效果。
生成式数据引擎:
物理精确、空间一致的视频 摄像机运动及参数 人类和动物的角色动作 可用于现实世界的机器人操作和运动策略 完全交互的3D场景 开放世界中的关节对象生成 语音音频、面部动画及情感表达 基于自然语言描述,自动生成多模态数据。 数据包括:
应用场景
机器人学:设计和测试可部署到现实世界的操控与运动策略。 AI开发:在真实感丰富、物理逼真的环境中训练具身智能。 数据生成:生成复杂数据集,例如带关节的对象、语音音频、人类表情动画等,用于支持AI训练与评估。
开源计划
Genesis 已开源其物理引擎和模拟平台,其生成式框架将逐步开放访问。平台还提供详尽的文档、教程和API参考,降低使用门槛。
性能
Genesis 是一个高度优化的物理引擎,通过 GPU 加速的并行计算实现卓越性能,并具备以下特点:
优化的碰撞检测:
采用高效算法,减少计算开销,提升碰撞检测速度。
自动休眠机制:
对于已收敛或静止的实体自动进入休眠状态,从而加速大规模场景的模拟。
接触岛优化:
针对物体接触区域进行优化处理,提升计算效率。
性能表现
超高模拟速度:
在一个操控场景中(包含一个平面和一个 Franka 机械臂),Genesis 的运行速度达到每秒 4300 万帧,比实时模拟快 43 万倍。
大规模模拟的加速:
利用自动休眠机制,在处理静态或已稳定状态的实体时显著提高模拟速度(该功能正在测试中,计划在 0.1.1 版本发布)。