AIでアニメを描く

前半部分でAIによる漫画の絵を共有しました今日はAIで描かれたアニメーションを共有します。つながる感じがします。

いくつかのことができる:

  • カートゥーン補完 中間フレーム

  • カートゥーンスケッチ補完 中間フレーム

  • リファレンスに基づくスケッチ彩色化

    中間のスケッチアニメーション

    最後に

  • 疎なスケッチガイダンス

    疎なスケッチリファレンス:

    最終結果

体験

Huggingface ではデモを実行できます:https://huggingface.co/spaces/Doubiiu/tooncrafter

入力画像:

入力プロンプト:

生成されたビデオ:

入力画像:

入力プロンプト:

生成されたビデオ:

技術的な詳細

ToonCrafter の概要

をディテールガイダンスとして使用します。選択的に、スパーススケッチガイダンスを使用して補完を制御することも可能です。

ディテール注入3Dデコーダーの説明

の中間特徴を注入し、同時に残差学習を通じて、深い層で1フレームとLフレームの特徴を加算します。

異なるスケッチガイダンスモードの例:(上部)二等分(n=1)および(下部)ランダム位置。

比較

ToonCrafterとAnimeInterp、EISAI、FILM、SEINEのアニメ補完結果の視覚的比較。