昨日、RunwayはAct-Oneをリリースしました。これは、以前に紹介したGen-3 Alpha内で表現力豊かなキャラクターのパフォーマンスを生成するための最新ツールです。Act-Oneは、ビデオと音声パフォーマンスを入力として使用し、魅力的なアニメーションコンテンツを生成します。
まず効果を見てみましょう。
パフォーマンスの本質を捉える
従来の顔のアニメーション制作プロセスには、モーションキャプチャ装置、複数のビデオリファレンス、手動のフェイスリギングなどの技術を含む複雑なマルチステップワークフローが通常必要です。その目標は、俳優のパフォーマンスをアニメーションパイプラインに適した3Dモデルに変換することです。従来の方法における主要な課題は、リファレンスビデオ内の感情や微妙な表現をデジタルキャラクターに完全に残すことです。
Act-Oneのアプローチは全く異なります。私たちは俳優のパフォーマンスのみに依存する新しいパイプラインを採用しており、追加の機器は不要です。俳優のパフォーマンスは単純なシングルカメラ設定でキャプチャされ、それを使用して生成されたキャラクターにアニメーションを付加します。
アニメーション動作キャプチャ
Act-Oneは様々なリファレンス画像に適用でき、モデルはリアルな表情を保持し、キャラクターの比例が元のビデオ中の人物と異なる場合でも正確にパフォーマンスを変換することができます。この多様性により、革新的なキャラクターデザインとアニメーション制作の新たな可能性が開かれます。
実写撮影
このモデルは映画品質で現実的な出力を生成する点でも優れており、異なるカメラ角度においても高精細な顔のアニメーションを維持します。この機能により、クリエイターは感情豊かで信頼できるキャラクターを設計でき、視聴者とコンテンツの間の感情的なつながりを強化します。
全新的な創作の道
Runwayはまた、Act-Oneがどのようにして多次元で表現力豊かな対話シーンを生成するために使用されるかを探索しています。これは以前の生成ビデオモデルでは非常に挑戦的でした。今では、コンシューマーグレードのカメラと俳優さえあれば、脚本内の異なるキャラクターを読み、演じることで物語ベースのコンテンツを作成できます。
試用 - 待機中
まだ完全に公開されておらず、公式サイトには「coming soon」と書かれています。幸いにも私のRunway Premiumサブスクリプションは継続しているので、公開後すぐに体験したいと思います。
