「世界で最も強力なAIトレーニングシステム」がオンラインになりました

xAIのCEO、イーロン・マスク氏がTwitterで、同社が「世界最強」と称するColossus AIトレーニングクラスターを週末にオンライン化したと発表したことで、AIの覇権をめぐる競争が再び加速している。

今週末、@xAIチームはColossus 100k H100トレーニングクラスターをオンライン化しました。開始から完了まで、なんと122日かかりました。

Colossusは世界で最も強力なAIトレーニングシステムです。さらに、数か月以内に規模が2倍の20万（H200は5万）に拡大する予定です。

素晴らしい…

— イーロン・マスク（@elonmusk）2024年9月2日

「今週末、@xAIチームはColossus 10万台（H100）のトレーニングクラスターをオンラインにしました。開始から完了まで、わずか122日で完了しました。Colossusは世界で最も強力なAIトレーニングシステムです。さらに、数ヶ月以内に規模が倍増し、20万台（H200は5万台）になります。チーム、Nvidia、そして多くのパートナー／サプライヤーの皆様の素晴らしい仕事ぶりです」とマスク氏はXの投稿に記した。

マスク氏の「最強」という主張は、システムに搭載されているGPUの数に基づいています。10万基のNVIDIA H100を搭載したColossusは、これまでに開発されたどのAIシステムよりも大規模であると推定されています。

マスク氏は、業界全体でAI開発の6ヶ月間の「一時停止」を求める公開書簡を執筆した直後、2023年4月に同社のAI開発を加速させるため、数万台のGPUの購入を開始した。同年3月には、同社がAIを活用してTwitterにおける「世論操作を検知・指摘」すると述べたが、GPUスーパーコンピューターは大規模言語モデル（LLM）であるGrokの学習にも活用される可能性が高い。

Grokは、ChatGPT、Gemini、Llama 3.1、Claudeといったライバル製品の成功を受けて、xAIによって2023年に導入されました。同社は8月にアップデート版Grok-2をベータ版としてリリースしました。「Grok-2を導入したことで、私たちはAI開発の最前線に立つことができました」とxAIは最近のブログ投稿で述べています。「私たちは、新しいコンピューティングクラスターを用いて、コアとなる推論機能の向上に注力しています。今後数か月で、さらに多くの開発成果をお伝えする予定です。」

マスク氏はテスラを「AIとロボティクスのリーダー」へと成長させることができると主張しているが、CNBCの最近の報道によると、マスク氏はテスラから非常に需要の高いNVIDIAのGPUの出荷をxAIとTwitterに転用しているとのことだ。そうなれば、テスラの自動運転技術とヒューマノイドロボット「オプティマス」の開発に必要なコンピューティングリソースの導入が遅れる可能性がある。

CNBCが入手した12月のNvidiaのメモには、「イーロンは、テスラではなくX社へのX H100 GPUクラスターの導入を優先し、当初テスラ向けとされていた出荷済みのH100 GPUのうち1万2千個をX社に振り向けた」と記されている。「その代わりに、X社が[1月]と6月に予定していた1万2千個のH100の注文はテスラに振り向けられる。」