今回は、新しく発売されたInsta360 X6をご提供頂き、360度動画から室内の空間を再現する方法を試してみました。
Insta360アプリの「空間キャプチャー」で撮影した部屋の中を移動してみる方法と、別のソフトでGaussian SplattingのPLYデータを作成して、Blender 5.3に読み込むまでの流れを紹介します。
旅行先で宿泊した部屋などを記録して、後からその場所に戻ったような感覚で見返したり、撮影した空間をCG制作に利用してみたい人にも参考になる内容です。
今回使用したInsta360 X6
Insta360 X6は、本体の前後に搭載された2つのレンズで、周囲をまとめて360度撮影できるカメラです。
Sony製のカスタムセンサーを2基搭載し、最大8K・50fpsの360度動画と、1億2,000万画素の360度写真を撮影可能です。10-bitカラーやI-Log撮影にも対応しているので、撮影後に色味を調整して映像制作に利用する事もできます。
また、手ブレ補正と360度水平維持に対応しており、歩きながらの撮影でも映像の揺れや傾きを抑えられます。撮影後にアプリで好きな方向を選んで通常の動画として切り出せるので、撮影時にカメラを向けていなかった方向も、後から映像として使用できます。
暗い場所での撮影に向けたPureVideoモードや、傷が付いた際に交換できるレンズ、47GBの内蔵ストレージも搭載しています。
Insta360アプリの「空間キャプチャー」を使ってみた
まずは、Insta360アプリに追加された「空間キャプチャー」を使ってみます。
撮影した360度動画から空間を再現して、アプリ内で視点を動かしながら見回す事ができる機能です。
アプリで空間キャプチャーの項目を選択すると、撮影方法が表示されます。
綺麗に作成するためのポイントとして、以下の内容が案内されていました。
- 動画は2分以内に収める
- 明るい室内で撮影する
- 自撮り棒を使い、カメラを胸の前方約50cmの位置で安定させる
- 室内をゆっくり往復するように歩く
- 時間に余裕がある場合は、気になる場所を追加で撮影する
今回はこの案内に沿って、自撮り棒に取り付けたカメラを持ち、室内を歩きながら撮影しました。
撮影後、アプリから対象の動画を選び、空間キャプチャーの生成を開始します。
数分待つと、撮影した部屋の中を移動できるシーンが作成されました。
画面に表示されるコントローラーで視点を動かせるので、通常の360度動画のように周囲を見回すだけでなく、位置を変えながら室内を確認できます。
別の場所でも試してみましたが、奥まった部分へ視点を移動して、部屋の様子を確認する事もできました。
ただし、利用回数には制限があり、今回試した際は、アプリに残りクレジット数が表示されていました。最初に表示されていたのは20クレジットです。
また、今回使用したアプリでは、作成した空間をPLY形式で書き出す項目は確認できませんでした。アプリ内で見返すだけでなく、Blenderなどでも利用できるようになると、さらに活用の幅が広がりそうです。
360 Gaussian ProでPLYデータを作成してBlenderに読み込んでみた
続いて、撮影した360度動画からGaussian Splattingのデータを作成して、Blenderに読み込んでみます。
今回は、Insta360アプリで生成した空間を書き出すのではなく、撮影した動画を「360 Gaussian Pro」で処理して、別途PLYデータを作成しました。
読み込みには、Gaussian Splattingに対応したBlender 5.3のBeta版を使用しています。
撮影した動画を360 Gaussian Proで処理する
360 Gaussian Proは、360度動画などからGaussian Splattingのデータを作成できるWindows用ソフトです。
Insta360で撮影した.insv形式の動画を読み込み、画像の抽出、人物などのマスク処理、カメラ位置の推定、学習までを進められます。
無料版でも14フレームまで試せますが、今回はそれ以上のフレームを使用するため、20ユーロで有料版を購入しました。購入時の日本円では約3,400円でした。
まずはInsta360 X6をパソコンに接続して、撮影した動画データを確認します。
360 Gaussian Proを起動したら、.insv形式の動画を読み込みます。
作業は大きく分けて「Extract」「Masking」「Alignment」「Train」の4つの工程で進めます。
Extract：動画から画像を抽出する
最初に、学習に使用する画像を動画から抽出します。
今回は設定を変更せず、「Run Extract」を押して処理を進めました。
Masking：映り込んだ人物を学習対象から除外する
次に、撮影した映像に映り込んだ自分や、周囲の人物にマスクを設定します。
360度撮影では撮影者自身も映り込むため、その部分を学習対象から除外する事で、人物の周囲に不要なモヤのようなものが生成されるのを抑えられます。
今回は「Object Picker」にチェックを入れ、「Exclude Selected」を選択して、対象フレームの検出を実行しました。その後、映像内の人物を選択します。
選択した人物の部分が赤く表示されたら、右下の「Run Mask」を押します。
今回の動画では、他のフレームに映っている人物にも自動でマスクが適用されました。
Alignment：撮影時のカメラ位置を推定する
続いて、抽出した画像から撮影時のカメラ位置などを推定します。
こちらも今回は設定を変更せず、「Run Alignment」を押して処理を進めました。
Train：Gaussian Splattingのデータを作成する
最後に「Train」で学習を実行します。
今回はここも設定を変更せず、右下の学習開始ボタンを押しました。処理が進むと、撮影した部屋が徐々に再現されていく様子を確認できます。
学習が完了したら、右上にある緑色の「Export」ボタンからPLYデータを書き出します。
作成したPLYデータをBlender 5.3に読み込む
今回使用したBlender 5.3のBeta版では、Gaussian SplattingのPLYデータを読み込めます。
360 Gaussian Proから書き出したPLYデータを読み込むと、撮影した室内をBlender上に表示できました。
1本の短い動画から作成したデータでも、家具の配置や部屋全体の様子が再現されているのが分かります。
ただし、今回の結果では、部分的に色のムラや粒状の粗さが残っていました。視点を変えると崩れて見える箇所もあり、そのまま完成した背景素材として使うには、撮影方法や生成設定を調整する必要がありそうです。
Blender内にCGモデルを配置してみました。今回の表示では、モデルの表面に周囲の木材の色が反射しています。
Insta 360 X6 使ってみた感想
Insta360アプリの空間キャプチャーは、カメラを持ち歩いて撮影した動画から手軽に空間を作成でき、画面上で移動しながら部屋を見返せるのが便利でした。手持ちカメラだと何枚も写真を撮影する必要がある上に、後から「撮影する箇所が足りなかった」という抜けがなく、カメラと棒を持って歩くだけで良いので、だれでも使いやすいのが良いポイントでした。建築の内装確認やロケハンの記録、CG制作時の背景資料など、撮影した空間を仕事で活用する用途にも利用できそうです。
Blenderで利用するには別のソフトでデータを作成する手間があり、今回の結果では表示の粗さも残りました。それでも、自分で撮影した部屋をBlenderに持ち込み、CGモデルと組み合わせられるところまで試す事ができました。
今後Insta 360のアプリ側でPLYデータを書き出せる機能が追加されたら手軽に試せるようになるので、今後に期待したいと思います。
