Decaf: Monocular Deformation Capture for Face and Hand Interactions
SIGRRAPH Asia 2023で発表されたDecafは、単眼ビデオで撮影すると、マーカー等を使用しなくても、位置ベースのダイナミクスと頭部の不均一な剛性推定のアプローチを使用して、手と顔の動きを3D空間で捉えながら、顔に手が接触した時に顔がリアルに変形する論文を公開しました。
公開された動画では、両手を広げて顔に手を当てると、ほっぺ部分がリアルに凹んで変形している様子が確認出来ていて、VRやARなどのアバターを使用したコミニュケーション時に人が顔を触った時の表情が必要不可欠と説明されています。
コードは近日公開予定となっています。
, please!☕️♂️
A work with S. Shimada, P. Pérez and C. Theobalt at @SA2023Sydney : We are excited to introduce a new approach for non-rigid 3D reconstruction of hands interacting with faces from monocular videos. https://t.co/30WUwtcBtv#SIGGRAPHAsia2023 #HCI #AR #VR pic.twitter.com/Fu29BbSCnn
— Vlad Golyanik (@VGolyanik) September 28, 2023
