昨日、阿里はEchoMimicシリーズの第二版を発表しました——
主な更新点は半身人物アニメーションです。以前に、阿里はEchoMimicV1をリリースしており、私は以前にこれを紹介しました：
GitHubアドレス：https://github.com/antgroup/echomimic_v2
論文アドレス：https://arxiv.org/abs/2411.10061
🚀EchoMimicシリーズの発展プロセス
音声駆動に基づくリアルな肖像アニメーションを実現し、編集可能なキーポイント条件による生き生きとした人物アニメーションを生成します。
これに基づいてさらに向上し、より簡素化され、滑らかで、半身人像アニメーションに対応する効果に焦点を当てています。
🔬方法
研究チームは半身人物アニメーション手法を提案し、以下の革新戦略を導入しました：
以下二つの部分を含みます：
：半身詳細の動作サンプリングを最適化します。 ：表情と肢体動作の表現力を向上させ、同時に条件の冗長性を簡素化します。
半身データが希少である問題を解決するために、頭部肖像データを使用してトレーニングフレームワークを補完します。推論段階では頭部データを無視できるため、アニメーショントレーニングにおける「無料ランチ」を実現します。
異なる段階でそれぞれ運動軌道、詳細、低レベルの品質を誘導し、アニメーションの表現力と一貫性を向上させます。
📊比較分析
姿勢駆動アルゴリズムに基づく比較 音声駆動アルゴリズムに基づく比較