Metaの次のAIモデルは、トレーニングに約10倍の電力を必要とする

フェイスブックの親会社であるメタは、この新興技術が利益を生むようになるまでには何年もかかると予想しているにもかかわらず、人工知能の研究に引き続き多額の投資を行うと、同社幹部は水曜日の第２四半期の決算発表で説明した。

Metaは「今後数年間に必要なコンピューティングクラスターとデータについて計画を立てている」と、CEOのマーク・ザッカーバーグ氏は電話会議で述べた。Metaには「Llama 3のトレーニングに使用した量のほぼ10倍のコンピューティング能力が必要になる」とザッカーバーグ氏は述べ、Llama 4は「来年には業界で最も先進的なモデルになるだろう」と付け加えた。ちなみに、Llama 3モデルは16,384基のNvidia H100 80GB GPUを搭載したクラスターでトレーニングされた。

同社は、野心的な研究開発プロジェクトに資金を提供することに長年慣れ親しんできた。Metaの第2四半期決算によると、同社は2024年に370億ドルから400億ドルの設備投資を見込んでおり、幹部は来年にはその支出が「大幅に」増加すると予想している。「これが数世代先の未来にどのように推移するかを予測するのは難しい」とザッカーバーグ氏は述べた。「しかし現時点では、新たな推論プロジェクトの立ち上げには長いリードタイムがあることを考えると、手遅れになる前に能力を構築するリスクを負うよりも、むしろ必要になる前に能力を構築する方が良いと考えている」

Metaには潤沢な資金がないわけではありません。推定32億7000万人が毎日少なくとも1つのMetaアプリを利用しており、第2四半期の売上高は390億ドル強で、前年比22%増となりました。そのうち約135億ドルの利益は、前年比73%増でした。

しかし、Metaが利益を上げているからといって、AIへの取り組みが利益を生んでいるとは限りません。CFOのスーザン・リー氏は、同社の生成AIは今年収益を生み出さないことを認め、これらの投資からの収益は「より長い期間にわたって得られる」と改めて強調しました。それでも同社は、「AIインフラの互換性を念頭に置き、最適な活用方法を見出すために、キャパシティを柔軟に配分できるよう、引き続きAIインフラの構築を進めています」と述べています。

Li 氏はまた、既存のトレーニング クラスターは推論タスクを実行するために簡単に作り直すことができると指摘しました。テクノロジが成熟し、より多くの人がこれらのモデルを日常的に使い始めると、推論タスクがコンピューティング需要の大部分を占めることが予想されます。

「基盤モデルを進化させるために生成AIの学習能力を拡大していく中で、時間の経過とともにその活用方法を柔軟に選択できるよう、インフラの構築を継続していきます。これにより、学習能力を生成AIの推論や、より価値が高いと予想される場合、コアとなるランキングやレコメンデーションの作業に振り向けることができるようになります」と、彼女は決算説明会で述べた。