TRELLIS.2は、Microsoftが公開した画像から3Dモデルを生成できるAI研究プロジェクトです。
1枚の画像を入力するだけで、メッシュ形状とテクスチャを持った3Dモデルを自動生成できるのが特徴で、ゲームアセットや3Dコンテンツ制作を効率化する事が可能で、公式サイトではデモや技術説明が公開されており、研究用途として誰でも内容を確認することができます。
従来の3D制作では、モデリング・UV展開・テクスチャ作成など多くの工程が必要でしたが、TRELLIS.2では画像を元にAIが立体形状を推定し、3Dモデルを自動生成することができます。Voxelと呼ばれる斬新な「フィールドフリー」ボクセル構造を活用し、複雑なトポロジー、シャープな特徴、そして完全なPBRマテリアルを備えた任意の3Dアセットを再構築・生成する事が出来ます。
NeRFやSDFといった表現方法とは異なる独自の3D表現を採用しており、複雑な形状や細かいディテールの再現性を高めているのが特徴です。さらに、生成されるモデルにはテクスチャ情報も含まれており、PBRマテリアルとして利用できる可能性も示されています。これにより、単なる形状生成だけでなく、より実用的な3Dアセット生成を目指した技術となっています。
画像から3Dを生成するAIは近年急速に進化しており、アーティストの制作補助ツールとしての利用も広がりつつあります。TRELLIS.2もその流れの中で登場した新しい研究で、コンセプト画像から3Dモデルを素早く作成するワークフローを実現する可能性があります。今後はゲーム開発、3D制作、XRコンテンツ制作など様々な分野での応用が期待される技術となっています。
TRELLIS.2はgithubで無料公開されていていますが、ハードウェアについては、24GB以上のメモリを搭載したNVIDIA製GPUが必要でLinuxでのみ動作確認がされています。
