Metaの新しいAIモデルは、1分以内にテキストを3D画像に変換できます。

MetaのAI画像生成への最新進出は、非常に迅速だ。同社は火曜日に、入力テキストを1分以内に高忠実度の3D画像に変換する「最先端の高速パイプライン」である新しい「3D Gen」モデルを発表した。

さらに、このシステムは、テキストプロンプトを使用して、生成された画像とアーティストが制作した画像の両方に新しいテクスチャとスキンを適用できると言われています。

Meta Gen AI 研究チームの最近の調査によると、3D Gen は高解像度のテクスチャとマテリアル マップの両方を提供するだけでなく、物理ベース レンダリング (PBR) と生成的再テクスチャリング機能もサポートします。

📣 Meta の GenAI による新しい研究で、Meta 3D Gen が紹介されました。これは、1 分未満でテキストから 3D アセットをエンドツーエンドで生成する新しいシステムです。

Meta 3D Gen は、高解像度のテクスチャとマテリアルマップをエンドツーエンドで備えた高品質の 3D アセットを生成できる新しい統合 AI システムです。… pic.twitter.com/rDD5GzNinY

— AI at Meta (@AIatMeta) 2024年7月2日

チームは、Metaの3D AssetGenモデルを用いた初期3Dモデル作成の平均推論時間はわずか30秒と見積もっています。ユーザーはその後、Meta 3D TextureGenを使用して、テキストプロンプトから既存のモデルテクスチャを微調整するか、新しいテクスチャに置き換えることができます。このプロセスには、推論時間がさらに20秒程度しかかからないと同社は見積もっています。

「それぞれの強みを組み合わせることで、3DGenは3Dオブジェクトを3つの方法で同時に表現します。ビュー空間、ボリューム空間、UV（またはテクスチャ）空間です」と研究チームは研究概要に記しています。Metaチームは、3D Genモデルを業界の様々な基準と比較し、テキストプロンプトの忠実度、画質、テクスチャの詳細、アーティファクトなど、様々な要素を比較しました。両モデルの機能を組み合わせることで、統合された2段階プロセスで生成された画像は、1段階プロセスで生成された画像よりも、注釈者によって68%の割合で選択されました。

確かに、この論文で論じられたシステムはまだ開発中であり、一般公開できる状態ではありませんが、この研究が示す技術的進歩は、ゲームや映画の効果から VR アプリケーションまで、さまざまなクリエイティブ分野に変革をもたらす可能性があります。

ユーザーが3D生成コンテンツの作成だけでなく、迅速かつ直感的に編集できるようになれば、こうした分野への参入障壁は劇的に下がる可能性があります。例えば、これがゲーム開発にどのような影響を与えるかは容易に想像できます。