Googleが簡単なプロンプトまたは画像をアップロードするだけで、フォトリアルでオープンワールドな環境を生成して、そこをキャラクターとなるユーザーが歩く、走る、飛ぶ、運転するなどしてリアルタイムに動けるGenie 3を公開しました。
こちらは実際にユーザーがGenie 3を使用している動画です。
生成された環境内では、ユーザーは 1人称視点・3人称視点を切り替えながら行動でき、
従来の動画生成AIとは異なり、ユーザーの入力に応じて即座に世界が変化するインタラクティブな体験が可能となっています。
Genie 3の最大の特徴は、従来の3Dモデル（メッシュ・ポリゴン・UV・マテリアル）を生成しないという点です。一般的なゲームエンジンや3D制作ツールでは、あらかじめ3D空間やオブジェクトが定義され、カメラ移動やキャラクター操作に応じてレンダラーが毎フレーム描画を行います。
一方、Genie 3では、720p/24fpsを毎フレームAIが予測・生成、ユーザーの操作入力（移動・視点変更など）を反映することで、「操作できる動画」 のような世界体験を実現しています。そのため、生成された世界をBlenderやUnreal Engineに読み込んで編集したり、FBXやglTFとして書き出すことはできません。
Genie 3は、フレームを単にランダム生成しているわけではなく、過去の状態を内部の記憶として保持しています。例えば、さきほど通った道以前に見た建物や地形移動した方向や距離感といった情報を参照することで、1分後に同じ場所を再び訪れた場合でも、環境がある程度一貫して再現される ように処理されます。ただしこれは、正確な3D座標やマップデータを保存しているわけではなく、AI内部の状態として「世界の流れや関係性」を記憶しているという点が特徴です。
実験的なプロトタイプの為に、生成された世界は、現実に忠実に見えなかったり、プロンプトや画像、現実世界の物理法則に常に忠実に従っているわけではない事や、キャラクターがコントロールしにくくなったり、コントロールの遅延が大きくなることがある、生成される制限は60秒と限られています。
現在は、Genie 3は現在アメリカに住むGoogle AI Ultraのサブスクリプション契約しているアメリカ在住の18歳以上の人だけ試す事が可能となっています。
