AnimateDiffは、オープンソースプロジェクトであり、特定のファインチューニングを必要とせずに、Text-2-Imageから生成された画像をアニメーション化することができます。
C站点のモデルを使用するだけで、一連のアニメーションを生成できます。
論文リンク：https://arxiv.org/abs/2307.04725
以下がその原理です：
このフレームワークの核心は、テキストベースの画像モデルに新しい初期化されたモーションモデリングモジュールを追加し、その後のビデオクリップ上で訓練を行うことで、合理的なモーション事前情報を抽出することです。訓練が完了すると、このモーションモデリングモジュールを単純に注入するだけで、同じベースモデルから派生したすべてのパーソナライズされたバージョンが、多様で個別のアニメーション画像を生成するテキスト駆動型モデルに即座に変身します。
公式で提供されているGUIを使用してアニメーションを生成できます。
また、それをStable DiffusionのWebUIに埋め込むこともできます。https://github.com/continue-revolution/sd-webui-animatediff
