Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
Animate AnyoneはAlibaba GroupとInstitute for Intelligent Computingが開発した、静止画１枚とボーンにアニメーションの付いてるデータを使用する事で静止画から自動的に誰でもアニメーションが付けれる機能の論文が発表されました。
発表された動画では人物の写真やイラスト画像１枚に対してDriving poseと呼ばれるボーン上のアニメーションの付いてるデータを使用する事で、人物やアニメキャラクターが生き生きと動いている様子が確認出来ます。
画像からビデオへの変換の領域、特にキャラクター アニメーションでは、キャラクターからの詳細情報との時間的な一貫性を維持することが依然として大きな問題となっています。
この論文では、拡散モデルの力を活用し、キャラクター アニメーションに合わせた新しいフレームワークを提案します。参照画像からの複雑な外観特徴の一貫性を維持するために、空間的注意を介して詳細特徴をマージするように ReferenceNet を設計します。
制御性と連続性を確保するために、キャラクターの動きを指示する効率的なポーズ ガイダーを導入し、効果的な時間モデリング アプローチを採用してビデオ フレーム間のスムーズなフレーム間遷移を保証します。
トレーニング データを拡張することで、私たちのアプローチは任意のキャラクターをアニメーション化することができ、他の画像からビデオへの手法と比較してキャラクター アニメーションにおいて優れた結果をもたらします。さらに、ファッションビデオと人間のダンス合成のベンチマークで手法を評価し、最先端の結果を達成しました。
