Runway の Gen-3 Alpha:最新のAIビデオ生成モデル

6月17日、RunwayはGen-3 Alphaを発表し、本日から使用可能となりました。私は特別にプレミアム会員に登録して、試用してみました。

使用体験

Promptの構成には非常に注意が必要で、公式の説明があります:https://help.runwayml.com/hc/en-us/articles/30586818553107-Gen-3-Alpha-Prompting-Guide。

Promptの形式は次の通りです:

[camera movement]: [establishing scene]. [additional details].

まずこれを試してみます:

Low angle static shot: The camera is angled up at a handsome man wearing all orange as he stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

生成速度は悪くない:

効果ビデオ(まだいくつかのバグがある):

モデル紹介

Gen-3 Alpha は、Runwayが新しいインフラ上で大規模なマルチモーダルトレーニングを実施したものです。Gen-2と比較して、Gen-3 Alphaは忠実度、一貫性、および運動性能において大幅な向上を遂げており、汎用的な世界モデルを構築するための重要なステップです。

Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.

Gen-3 Alphaは、ビデオと画像の合同トレーニングを通じて、Runwayのテキストからビデオ、画像からビデオ、テキストから画像のツールをサポートします。既存のMotion Brush、Advanced Camera Controls、Director Modeなどのコントロールモードや、今後導入されるより精密な構造、スタイル、運動を制御するツールもサポートします。

Gen-3 Alphaには、新しい内部視覚審査システムとC2PAトレーサビリティ標準を含む一連の新しい保護機能が搭載されます。

Handheld tracking shot, following a red balloon floating above the ground in an abandoned street.

特徴

  • :Gen-3 Alphaは、高度に記述的で時間のかかる字幕訓練を受けているため、創造的なトランジションやシーン要素の正確なキーフレーム制御が可能です。
A tsunami coming through an alley in Bulgaria, dynamic movement.
  • :Gen-3 Alpha は、豊かな表現力を持つキャラクターを生成することが得意で、幅広い動作、ジェスチャー、感情をカバーし、物語を語る新しい機会を開きます。

  • :Gen-3 Alpha のトレーニングは、研究科学者、エンジニア、アーティストで構成される学際的なチームによって共同で行われました。それはさまざまなスタイルや映画用語を解釈することを目指しています。
View out a window of a giant strange creature walking in a rundown city at night, one single street lamp dimly lighting the area.

業界向けカスタマイズ

Gen-3 シリーズモデルの一部として、Runway は主要なエンターテインメントおよびメディア組織と協力して、Gen-3 モデルのカスタムバージョンを作成しました。Gen-3 モデルのカスタマイズにより、よりスタイルを制御でき、一貫性のあるキャラクターが可能になり、特定のアートやナラティブのニーズに最適化されています。(結局はカスタマイズで稼ぐ必要があるようです。。)