AIはすでに停滞しているのか？新たな報告によると、GPT-5は危機に瀕している可能性がある

OpenAI の ChatGPT の次世代 Orion モデルは、年末までに登場すると噂され、また否定されているが、The Information の新しいレポートによると、登場したら期待されていたほどのものではないかもしれないという。

この報告書は、匿名のOpenAI従業員の発言を引用し、OrionモデルがGPT-4の前身モデルと比較して、GPT-4がGPT-3に対して示した改善よりも「はるかに小さい」改善を示したと主張している。また、情報筋は、Orionが「特定のタスクの処理において前身モデル（GPT-4）よりも確実に優れているわけではない」と指摘している。具体的にはコーディングアプリケーションにおいてだが、新しいモデルは文書の要約やメール生成といった一般的な言語処理能力において著しく優れている。

The Informationのレポートは、新モデルの学習に用いる「高品質なテキストデータやその他のデータの供給減少」が、新モデルの学習成果が乏しい主な要因であると指摘しています。つまり、AI業界は学習データのボトルネックに急速に陥っており、X、Facebook、YouTube（後者は2回に分けて）といったソーシャルメディアサイトから容易に入手できるデータ源を既に排除しているのです。そのため、これらの企業は、モデルを現在の能力を超えて進化させるのに役立つような難解なコーディング課題を見つけるのがますます困難になっており、リリース前の学習が遅れています。

訓練効率の低下は、環境面でも商業面でも甚大な影響を及ぼします。最先端の法学修士課程が成長し、パラメータ数がさらに数兆単位に達するにつれ、エネルギー、水、その他の資源の量は今後10年間で6倍に増加すると予想されています。だからこそ、マイクロソフトはスリーマイル島の原発事故の再稼働を試み、AWSは960MWの発電所を買収し、Googleは7基の原子炉の出力を購入しています。これらはすべて、拡大し続けるAIデータセンターに必要な電力を供給するためです。現在の国の電力インフラでは到底追いつかないのです。

TechCrunchの報道によると、OpenAIは適切な学習データの不足を回避するための「基盤チーム」を立ち上げました。この技術には、NVIDIAのNemotronファミリーのモデルが生成できるような合成学習データの使用が含まれる可能性があります。また、チームは学習後のモデルのパフォーマンス向上についても検討しています。

当初はOpenAIのGPT-5のコード名と考えられていたオリオンは、現在では2025年に登場すると予想されている。自治体の電力網に電力を供給せずに、オリオンが動作するのを見るのに十分な電力が確保できるかどうかはまだ分からない。