南洋理工大学（NTU）は先月、論文「StructLDM: 3D人体生成用の構造化潜在拡散モデル」を発表しました。
モデルのデモ
StructLDMは、多様で一貫した視点の人間モデルを生成でき、異なる階層での制御可能な生成と編集機能をサポートしています。例えば、5つの部分を選択して混合することで組み合わせ生成が可能であり、さらにアイデンティティ交換、局部的な服装編集、3D仮想試着などの部位認識型編集機能もサポートしています。これらの生成および編集機能は特定の服装タイプやマスク条件に依存せず、高い汎用性を持っています。
技術的詳細
StructLDMは、2D画像集合に基づく新しい3D人間生成モデルであり、既存の3D生成対抗ネットワーク（3D GAN）と比較すると、全く新しい設計パラダイムを持っています。このモデルには、構造化された2D潜在空間、構造化された自動デコーダー、そして構造化された潜在拡散モデルという3つの重要な設計が含まれています。
技術の比較
UBCFashionデータセットにおける定性的な結果によると、StructLDMは異なるポーズ/視点、異なる服装スタイル（例えばドレス）や髪型に基づいて、多様で視点の一貫性を持つ人間モデルを生成できます。
コード
現在、コードはオープンソースではありませんが、以下のリンクをフォローすることができます：https://github.com/TaoHuUMD/StructLDM