以前、NVIDIAが作成したCALMを見たことがありますが、今日はMotionGPTを基盤に訓練されたゲーム専用のプロジェクトを紹介します。AnimationGPTは、テキストに基づいて戦闘スタイルのキャラクターアニメーションを生成するプロジェクトです。
生成されたアニメーションはmp4またはbvh形式でダウンロード可能です。
大規模な言語データとモデルを動作生成タスクに導入するために、AnimationGPTではMotionGPTと呼ばれる統合された動作-言語フレームワークが採用されています。具体的には、MotionGPTは人間の動きを離散ベクトル量化し、3D動作を「動作トークン」に変換します。これは言語の単語トークンを生成するプロセスに似ています。この「動作ボキャブラリー」に基づき、動作とテキストを統一的な方法で言語モデリングし、人間の運動を新しい外国語として捉え、モデルの推論を通じて自然言語を最も適切な人間の動作シーケンスに「翻訳」します。
このプロジェクトはMotionGPTを基盤に訓練され、初めての戦闘スタイル向けキャラクター・アニメーションデータセット「CombatMotion」を生成しました。現在のテキストから動作へのデータセットと比較すると、CombatMotionには以下の特徴があります：
ゲームアセット由来です。 戦闘スタイルがあり、アクションゲーム内のアニメーションスタイルが集中しており、動作タイプに偏りがあります。 テキスト注釈がより詳細です。
データセットはここからダウンロードできます⏬：https://drive.google.com/file/d/148AwoovJrnh4F0q_HbU83WCWwFooLSZj/view