研究者たちはAIの最大の難問を解決した

ChatGPT、Gemini、Claude などの今日のチャットボットを動かす大規模な言語モデルは、非常に強力な生成 AI システムであり、非常に多くの電力を消費します。

どうやらそうする必要はないようです。カリフォルニア大学サンタクルーズ校の最近の研究によると、数十億のパラメータを扱う最新のLLMは、パフォーマンスを損なうことなくわずか13ワットの電力で動作できることが示されています。これは100Wの電球とほぼ同じ消費電力で、NVIDIA H100 GPUの700Wの50倍の省電力です。

「私たちは、はるかに低いコストで同等の性能を実現しました。ニューラルネットワークの動作原理を根本的に変えるだけでした」と、論文の筆頭著者であるジェイソン・エシュラギアン氏は述べた。「そして、さらに一歩進んで、カスタムハードウェアを開発しました。」彼らは、ニューラルネットワークの乗算行列を廃止することで、これを実現した。

行列乗算は、今日のLLMを支えるアルゴリズムの基礎です。単語は数値として表現され、行列にまとめられます。そこで単語は重み付けされ、互いに乗算されます。これにより、特定の単語の重要度や、文または段落内の他の単語との関係性に応じて、言語出力が生成されます。

これらの行列は、物理的に独立した数百のGPUに保存され、新しいクエリや操作ごとに取得されます。多数の行列間で乗算する必要があるデータを移動するプロセスには、かなりの電力が消費され、結果としてコストがかかります。

この問題を回避するため、カリフォルニア大学サンタクルーズ校のチームは、行列内の数値を3値状態に強制しました。つまり、すべての数値は-1、0、または+1のいずれかの値を持つようにしたのです。これにより、プロセッサは数値を掛け算するのではなく、単純に合計するだけで済みます。この調整はアルゴリズム自体には影響を与えませんが、ハードウェアコストを大幅に削減します。演算回数の削減後もパフォーマンスを維持するため、チームはシステムに時間ベースの計算を導入しました。これは、ネットワークに事実上「メモリ」を作成することで、削減された演算処理速度を向上させました。

「回路設計者の視点から言えば、膨大なコストがかかる乗算のオーバーヘッドは必要ありません」とエシュラギアン氏は述べた。チームは新しいネットワークをカスタムFPGAハードウェアに実装したが、オープンソースソフトウェアとハ​​ードウェアの微調整によって、既存のモデルにも効率性向上の多くを後付けできると確信している。標準的なGPUでも、メモリ消費量は10分の1に削減され、動作速度は25%向上した。

NvidiaやAMDなどのチップメーカーがGPUプロセッサの性能限界を絶えず押し広げているため、これらのシステムを収容するデータセンターの電力需要（およびそれに伴うコスト）は近年急増しています。コンピューティング能力の向上に伴い、チップが排出する廃熱量も比例して増加しており、この廃熱を完全に放散するには、リソースを大量に消費する液体冷却システムが必要となっています。

アーム社のCEO、ルネ・ハース氏は4月、The Registerに対し、早急に是正措置を取らなければ、10年末までにAIデータセンターが米国の全電力消費量の20～25%を消費する可能性があると警告した。