）。今日はそれに類似したものを共有します：アリババの蚂蚁グループと香港科技大が共同で開発したCoDeFモデルです。論文リンクはarxiv.org/abs/2308.07926です。興味がある方は詳しく調べてみてください。
CoDeFモデルの核心的な考え
CoDeF、つまりコンテンツ変形場とは、新しいビデオ表現方法を提案しています。主に二つの部分から成り立っています：一つ目は規範的なコンテンツフィールドで、ビデオ内の静的なコンテンツを集める役割を担います。もう一つは時間変形場で、規範画像がビデオの各フレームに変形するプロセスを記録します。この手法は非常に新鮮で、画像処理技術をビデオ領域に拡張している点が特徴的です。
体験感覚
CoDeFモデルは画像を動画に変換する点で優れた性能を発揮し、キーポイント追跡を学習なしで実現することも可能です。特に、水や煙などの非剛体オブジェクトであっても、ビデオフレーム間の一貫性を非常に良く処理できます。
Colab
CoDeFモデルを試してみたい方は、公式で提供されているColabを使用することができます：https://colab.research.google.com/github/camenduru/CoDeF-colab/blob/main/CoDeF_colab.ipynb
効果を見てみる