そして今日は、ボブが別の阿里巴巴のプロジェクト、「Outfit Anyone」を共有しました。
私はHugging Faceで実際に体験してみましたので、あなたもその効果を見てみることができます：https://huggingface.co/spaces/
プロジェクト紹介
仮想試着技術は、ユーザーが実際の服を試着することなく様々なファッションスタイルを試すことができる変革的な技術となっています。しかし、既存の方法では高精細な画像生成や詳細の一貫性において課題があります。ディフュージョンモデルは高品質で現実的な画像を生成する能力を証明していますが、仮想試着のような条件付き生成の場面では依然として制御と一貫性に課題があります。「Outfit Anyone」は、これらの制限を解決するために二重流れ条件付きディフュージョンモデルを活用し、衣服の変形を巧みに処理することでより現実的な結果を生み出します。
研究手法
「Outfit Anyone」の手法の核心は条件付きディフュージョンモデルであり、モデル、衣服、および関連するテキストプロンプトの画像を処理します。ここで、衣服の画像は制御要因として使用されます。内部的には、ネットワークはモデルデータと衣服データをそれぞれ独立して処理する二つの流れに分かれています。これらの流れは融合ネットワーク内で合流し、衣服の詳細をモデルの特徴表現に埋め込むのに役立ちます。
この基盤に基づき、「Outfit Anyone」を開発しました。これは二つの主要なコンポーネントで構成されています。「Zero-shot Try-on Network」は初期の試着画像を生成し、「Post-hoc Refiner」は出力画像内の衣服と肌の質感を強化します。
それでは、さまざまな効果を見てみましょう：
現実世界 単一の衣服 全身コーディネート 奇抜なファッション 多様な体型 アニメキャラクター
プロジェクトの公式サイトでは、「Refiner」を使用前後での効果がさらに示されており、衣服の質感と現実感を大幅に向上させながら、衣服の一貫性を維持していることがわかります。
以前
以後
"Outfit Anyone" + "Animate Anyone"
）を統合する方法が示されました：