前半部分でAIによる漫画の絵を共有しました今日はAIで描かれたアニメーションを共有します。つながる感じがします。
いくつかのことができる:
カートゥーン補完 中間フレーム 

カートゥーンスケッチ補完 中間フレーム 

リファレンスに基づくスケッチ彩色化 
中間のスケッチアニメーション

最後に

疎なスケッチガイダンス 
疎なスケッチリファレンス:

最終結果

体験
Huggingface ではデモを実行できます:https://huggingface.co/spaces/Doubiiu/tooncrafter
入力画像:

入力プロンプト:
生成されたビデオ:
入力画像:

入力プロンプト:
生成されたビデオ:
技術的な詳細
ToonCrafter の概要

をディテールガイダンスとして使用します。選択的に、スパーススケッチガイダンスを使用して補完を制御することも可能です。
ディテール注入3Dデコーダーの説明

の中間特徴を注入し、同時に残差学習を通じて、深い層で1フレームとLフレームの特徴を加算します。
例

異なるスケッチガイダンスモードの例:(上部)二等分(n=1)および(下部)ランダム位置。
比較
ToonCrafterとAnimeInterp、EISAI、FILM、SEINEのアニメ補完結果の視覚的比較。
