メタムービーゲンがあるのにソラなんて必要ないよ？

Metaは金曜日、第3世代のマルチモーダル動画AI「Movie Gen」を発表した。Movie Genは「カスタム動画とサウンドの制作、既存動画の編集、そしてユーザーの個人的なイメージをユニークな動画に変換する」ことを約束しており、RunwayのGen-3、Kuaishou TechnologyのKling 1.5、OpenAIのSoraといった類似モデルを凌駕する性能を誇ります。

Meta Movie Genは、同社のこれまでの成果、すなわちマルチモーダルなMake-A-Sceneモデル、そしてLlamaの画像基盤モデルを基盤としています。Movie Genは、これらのモデル全て（具体的には、動画生成、パーソナライズされた動画生成、精密な動画編集、そして音声生成）を統合したもので、クリエイターのきめ細かな制御を向上させます。「これらのモデルによって、創造性を加速させる様々な新製品が実現できると期待しています」と、同社は発表記事で述べています。

Movie Genは動画生成において、30Bパラメータモデルを採用しています。このモデルは、16フレーム/秒（fps）という低速ながらも、最大16秒のクリップを出力します。「これらのモデルは、物体の動き、被写体と物体の相互作用、カメラの動きを推論し、様々なコンセプトに対して妥当な動きを学習できます」とMeta氏は述べています。「そのため、この分野で最先端のモデルとなっています。」Movie Genは同じモデルを使用して、静止画からクリエイター向けにパーソナライズされた動画を作成できます。

Metaは、動画生成モデルの派生モデルを採用し、動画とテキストベースの入力の両方を用いて、生成するコンテンツを正確に編集します。要素の追加、削除、置き換えといった局所的な編集だけでなく、新しい映画スタイルの適用といった全体的な編集も可能です。Movie Genは、音声生成において、13Bパラメータの別モデルを採用しています。このモデルは、周囲の背景ノイズ、効果音、楽器の演奏など、最大45秒間の音声を作成し、そのコンテンツを動画と自動的に同期させます。

Metaのホワイトペーパーによると、Movie Genは動画生成の分野で、Gen3、Sora、Kling 1.5といった最先端の動画AIとのA/Bテストで常に勝利を収めました。また、パーソナライズされた動画生成ではID-animator、音声生成ではPika Labs Sound Genを上回りました。さらに、動画編集機能でもGen3を2度目の勝利に導きました。これまでに公開されたデモ動画を見る限り、Movie Genは現在利用可能な無料動画生成ツール群をはるかに凌駕していることがわかります。

同社は、これらのモデルの開発を進める中で「映画製作者やクリエイターと緊密に協力し、彼らのフィードバックを取り入れていく」計画だと述べているが、AIで人間のクリエイターを置き換えるつもりはないとすぐに強調した。「この研究結果を公表するのは、この技術が人々の新しい自己表現を支援し、そうでなければ機会を得られなかった人々に機会を提供できると信じているからです」と同社は述べている。「私たちの願いは、将来いつの日か、誰もがMovie Genを使って芸術的なビジョンを実現し、高解像度の動画と音声を作成できるようになることです。」