姿勢やプロポーションが変化した線画であっても、正確な再現が可能です。以前に類似のプロジェクトを紹介しました：
孟一浩（Yihao Meng）、欧阳昊（Hao Ouyang）、王漢霖（Hanlin Wang）など、それぞれ香港科技大（HKUST）、アリババの蚂蚁グループ（Ant Group）、南京大学（NJU）、浙江大学（ZJU）、香港大学（HKU）などの大学や企業から参加しています。
概要
動画内での自動線画塗りは、アニメーション制作プロセスの簡略化や人件費削減において重要な意義を持っています。しかし、現在の自動化試みには以下の課題があります：
キャラクターデザインと線画草稿の不一致。 時間的な一貫性の維持が必要。
伝統的な方法は通常、手動で塗られたキーフレームや密集した線画ガイドに依存しており、これにより：
アーティストの負担が増えます。 二値化されていない線画条件による色情報の漏洩が発生します。
新しい手法
を提案し、以下の革新的な解決策を通じて自動塗りを実現します：
塗りプロセスを簡素化します。 および注入モジュールを使用して、参照画像の色情報を正確に線画にマッピングします。 中間フレーム線画の必要性を減らすためにキーフレーム補間を行います。
主要な改善点は次の通りです：
として条件を設定し、色情報の漏洩を防ぎます。 データ拡張技術を導入し、トレーニングの安定性を向上させます。
機能と適用シーン
1. 柔軟な使用
姿勢やプロポーションが大きく変化する場合でも、色の一貫性を保ちます。 
2. 同じ線画、異なる参照図
異なる参照図に基づいて詳細（例えば影や背景）を調整しつつ、キャラクターの同一性を維持します。 
3. スパース入力線画
二段階トレーニング戦略により、開始フレームと終了フレームの線画だけで滑らかで連続的なアニメーションを生成できます。 
4. 多キャラクター対応
複数のキャラクターを自動的に区別し、それぞれに正しい塗りを行い、線画内の姿勢、角度、または相対位置が大幅に変化しても対応します。 
5. 背景スタイル転移
参照図から背景スタイルを転移し、異なるスタイルの背景を生成します。 
制約
参照図に存在しない物体
線画に参照図に存在しない物体が含まれる場合、モデルは適切な色を判断するのが難しく、既存の色情報に基づいて推測するため、塗りが不正確になることがあります。 
キャラクター衣装の違い
線画内のキャラクターの衣装が参照図と異なる場合（ただし同一キャラクターの場合）、モデルは参照図の衣装の配色に基づいて推測するため、一貫性の問題が発生することがあります。 
試用
https://huggingface.co/spaces/fffiloni/AniDoc
技術
AniDocは二段階トレーニング戦略を採用しています。密集線画トレーニング段階では、参照画像と訓練ビデオの各フレームからマッチングするキーポイントペアを明示的に抽出し、点マッピング表現を作成して対応関係を構築します。スパース線画トレーニング段階では、中間フレーム線画を取り除き、開始フレームと終了フレームのマッチングポイントを補間して点軌跡を生成し、これを用いて中間フレームの生成を指導します。
手法比較
AniDocは以下の点で既存の手法を上回っています：
キャラクターの一貫性。 背景への適合性。 時間的な滑らかさ。