Digital Renaissance: NVIDIA Neuralangelo Research Reconstructs 3D Scenes
Neuralangeloは、Nvidiaが開発したニューラル ネットワークを使用してスマートフォン等で撮影した動画を3Dモデルに変換できる技術です。
デモ動画ではNeuralangeloによってミケランジェロの大理石に刻まれている複雑なディテールとテクスチャの3Dモデルが生成されているのが確認出来ます。
作成したモデルは3Dオブジェクトとしてアプリケーションにインポートし、アート、ビデオゲーム開発、ロボット工学などで編集して使用出来るようになります。
屋根板、ガラス板、滑らかな大理石などの複雑なマテリアルのテクスチャを2Dビデオから 3Dアセットに変換するやり方は、従来の方法から大幅に向上しています。 スマートフォンで撮影した映像を使用してプロジェクトに使用できる仮想オブジェクトを作成出来て3D制作が簡単になります。
「このツールにより、開発者は最終的に、小さな彫像であれ巨大な建物であれ、詳細なオブジェクトをビデオ ゲームや産業用デジタル ツインの仮想環境にインポートできるようになります。」と記載されています。
モデルはさまざまな角度から撮影されたオブジェクトや背景の2Dビデオを使用して、視点を捉えたいくつかのフレームを選択します。これはアーティストが奥行き、サイズ、形状の感覚を得るために被写体を複数の側面から検討するのと同じです。
各フレームのカメラ位置が決定されると、NeuralangeloのAIは彫刻家が被写体の形状を削り始めるように、シーンの大まかなラフ形状の3Dモデルを作り、細部を細かく作り上げて綺麗なモデルが完成されます。
3Dスキャナー要らずで手軽に高品質な3Dモデルをスマホで撮影した動画からAI技術を使って作成出来るようになるとは、、、実際に使えるようになるのが楽しみですね。
