Diffutoonは、DiffSynth Studioのサブプロジェクトで、実写ビデオをアニメスタイルに変換するために使用されます。このプロジェクトは阿里巴巴と華東師範大学との共同開発であり、Diffutoonは非常に詳細で高解像度かつ長時間のビデオをアニメスタイルでレンダリングすることができます。さらに、追加のブランチを使用することで、プロンプトに基づいてコンテンツを編集することも可能です。
四大機能：
Diffutoonは、Stable Diffusionベースのモデルを利用して、ビデオフレームをアニメスタイルに変換し、原コンテンツの核心的な特徴を維持します。
アニメーションの差分（AnimateDiff）モジュールを統合し、フレーム間の一貫性を向上させ、アニメ動画のスムーズな再生と視覚的な連続性を確保します。
ControlNetモデルを使用してビデオから主要な輪郭情報を抽出し、アニメーション化する過程でこれらの構造的な詳細を維持します。
高解像度ControlNetモデルが彩度とコントラストを強化し、低解像度のビデオでも全体的な視覚品質を改善します。
使用方法：
プロジェクトの公式サイトで直接試すことができます：https://diffu-toon.com/
原理
DiffuToon の全体的なアーキテクチャは二つの部分で構成されています。上部は主にトゥーンシェーディングパイプラインであり、下部はエディットブランチです。エディットブランチは、主トゥーンシェーディングパイプラインで使用される編集信号をカラー動画形式で生成します。
対比
他の方法との視覚的対比において使用された編集プロンプトは、「最高品質、完璧なアニメイラスト、女の子が踊っている、微笑み、ソロ、オレンジのドレス、黒髪、白い靴、青空」です。生成されたビデオの解像度が非常に高いため、以下の拡大された詳細に注目することができます。
