前半部分でAIによる漫画の絵を共有しました今日はAIで描かれたアニメーションを共有します。つながる感じがします。
いくつかのことができる:
カートゥーン補完 中間フレーム カートゥーンスケッチ補完 中間フレーム リファレンスに基づくスケッチ彩色化 中間のスケッチアニメーション
最後に
疎なスケッチガイダンス 疎なスケッチリファレンス:
最終結果
体験
Huggingface ではデモを実行できます:https://huggingface.co/spaces/Doubiiu/tooncrafter
入力画像:
入力プロンプト:
生成されたビデオ:
入力画像:
入力プロンプト:
生成されたビデオ:
技術的な詳細
ToonCrafter の概要
をディテールガイダンスとして使用します。選択的に、スパーススケッチガイダンスを使用して補完を制御することも可能です。
ディテール注入3Dデコーダーの説明
の中間特徴を注入し、同時に残差学習を通じて、深い層で1フレームとLフレームの特徴を加算します。
例
異なるスケッチガイダンスモードの例:(上部)二等分(n=1)および(下部)ランダム位置。
比較
ToonCrafterとAnimeInterp、EISAI、FILM、SEINEのアニメ補完結果の視覚的比較。