線画のスケッチ動画と1枚の色の付いた参照画像を用意する事で自動的に線画に色を塗ってアニメーション動画を作成してくれるAniDocのコードがgithubで公開されています。
スケッチ動画のポーズやスケールが異なる場合でも、同じ参照画像を用意する事で同じ塗りを表現する事が可能で、線画に色を塗ってくれるほかに、２枚のスケッチ画像を読み込む事でスムーズなアニメーションを作成する事も出来ます。こちらのデモページでは様々な参考動画を見る事が出来ます。
注意したいのが線画の動画に入っていないキャラクターは色付けが適当にされてしまうのと、服装が参考画像と異なる場合は色が適当に付いてしまう点です。
元のアニメーション動画の素材と大きくポーズが異なる参考画像を読み込む事で、アニメーション動画の素材の色を参考画像と同じ色身に変更してくれる機能はAniDocのhugginfaceから試す事が可能です。
🆕 🔥 AniDoc: Animation Creation Made Easier
It can colorize a sequence of sketches based on a character design reference with high fidelity, even when the sketches significantly differ in pose and scale. Explore more ⬇️ pic.twitter.com/vBu4qYCdvi
— Gradio (@Gradio) December 20, 2024
