Nvidiaの新しいAIモデルは、テキストと音声プロンプトから音楽を作成します

Nvidia は、ユーザーの簡単なテキストや音声プロンプトに基づいて、無数のサウンド、音楽、さらには音声を作成できる新しい生成オーディオ AI モデルをリリースしました。

Fugatto（別名Foundational Generative Audio Transformer Opus 1）と呼ばれるこのモデルは、たとえば、テキストプロンプトのみに基づいてジングルや歌のスニペットを作成したり、既存のトラックに楽器やボーカルを追加または削除したり、声のアクセントと感情の両方を変更したり、「これまでに聞いたことのないサウンドを生成することさえできる」と月曜日の発表投稿に記載されています。

「人間のように音を理解し、生成するモデルを作りたかったのです」と、NVIDIAの応用オーディオ研究マネージャー、ラファエル・ヴァッレ氏は述べた。「Fugattoは、音声合成と変換における教師なしマルチタスク学習がデータとモデルのスケールから生まれる未来への第一歩です。」

同社によると、音楽プロデューサーはこのAIモデルを活用することで、様々な音楽スタイルやアレンジで楽曲のアイデアを迅速にプロトタイプ化し、検証したり、既存の楽曲にエフェクトやレイヤーを追加したりできるという。また、既存の広告キャンペーンの音楽やナレーションをアレンジ・ローカライズしたり、ビデオゲームの音楽をプレイヤーがレベルをプレイする中でリアルタイムに調整したりといった用途にも活用できる。

このモデルは、吠えるようなトランペットやニャーニャー鳴くようなサックスなど、これまで聞いたことのない音を生成することさえ可能です。その際、ComposableARTと呼ばれる技術を用いて、トレーニング中に学習した指示を組み合わせています。

「ユーザーがそれぞれの属性をどの程度重視するかを、主観的、あるいは芸術的に組み合わせられるようにしたかったのです」と、NVIDIAのAI研究者、ローハン・バドラニ氏は発表記事で述べています。「私のテストでは、結果に驚くことが多く、コンピューターサイエンティストであるにもかかわらず、少しアーティストになったような気分になりました。」

Fugattoモデル自体は25億のパラメータを使用し、32基のH100 GPUで学習されました。このようなオーディオAIはますます普及しつつあります。Stability AIは4月に、最大3分間のトラックを生成できる同様のシステムを発表しました。一方、GoogleのV2Aモデルは「あらゆるビデオ入力に対して無制限の数のサウンドトラック」を生成できます。

YouTubeは最近、入力された楽曲とユーザーのテキストプロンプトに基づいて30秒間のサンプルを生成するAI音楽リミキサーをリリースしました。OpenAIもこの分野で実験を行っており、4月にはわずか15秒のサンプルオーディオでユーザーの声とボーカルパターンを完全に複製できるAIツールをリリースしました。