Googleの新しいAIはピクセルから音声サウンドトラックを生成

ディープマインドは火曜日、生成AIによるビデオ・トゥ・オーディオ研究の最新成果を公開した。これは、画面上の映像とユーザーの指示を組み合わせ、特定のビデオクリップに同期した音声サウンドスケープを作成するという斬新なシステムだ。

Deep Mindのジェネレーティブオーディオチームはブログ記事で、V2A AIはVeoのようなビデオ生成モデルと組み合わせることができ、画面上のアクションに合わせてサウンドトラック、効果音、さらにはセリフまで作成できると説明しています。さらにDeep Mindは、この新システムは、特定のサウンドの使用を推奨または抑制する肯定的または否定的なプロンプトでモデルを調整することで、「あらゆるビデオ入力に対して無制限の数のサウンドトラック」を生成できると主張しています。

このシステムは、まずビデオ入力をエンコード・圧縮し、その後、拡散モデルを用いて、ユーザーの任意のテキストプロンプトと視覚入力に基づいて、背景ノイズから望ましい音響効果を反復的に調整します。この音響出力は最終的にデコードされ、波形としてエクスポートされ、ビデオ入力と再合成されます。

最も優れている点は、V2Aシステムが自動的に行うため、ユーザーが手動で（つまり面倒な）音声トラックと動画トラックの同期を行う必要がないことです。「動画、音声、そして追加の注釈を使ってトレーニングすることで、当社の技術は特定の音声イベントを様々な視覚シーンと関連付け、注釈やトランスクリプトで提供される情報に反応することを学習します」とDeepMindチームは記しています。

しかし、このシステムはまだ完成していません。例えば、出力音声の品質はビデオ入力の忠実度に依存し、入力にビデオアーティファクトやその他の歪みがあるとシステムが誤作動を起こします。Deep Mindチームによると、音声トラックと会話の同期は依然として課題となっています。

「V2Aは入力されたトランスクリプトから音声を生成し、登場人物の唇の動きと同期させようとします」と研究チームは説明しています。「しかし、ペアリングされたビデオ生成モデルはトランスクリプトに基づいていない可能性があります。これにより不一致が生じ、ビデオモデルがトランスクリプトと一致する口の動きを生成しないため、不自然なリップシンクが生じることがよくあります。」

このシステムは、開発チームが一般公開を検討する前に、「厳格な安全性評価とテスト」を受ける必要があります。このシステムで生成されるすべての動画とサウンドトラックには、Deep MindのSynthIDウォーターマークが付加されます。このシステムは、現在市場に出回っている唯一の音声生成AIではありません。Stability AIは先週、同様の製品をリリースしました。また、ElevenLabsは先月、独自のサウンドエフェクトツールをリリースしました。