ChatGPTの最新モデルはパフォーマンスの後退の可能性がある

この分析は、同社がGPT-4oモデルのアップグレードを発表してから24時間も経たないうちに発表された。OpenAIはXの記事で、「モデルのクリエイティブライティング能力はレベルアップしました。より自然で魅力的、そして読者のニーズに合わせたライティングにより、関連性と読みやすさが向上しました」と述べている。「また、アップロードされたファイルの処理能力も向上し、より深い洞察と徹底的な回答を提供しています」。しかし、これらの主張が今後も有効かどうかは疑問視されている。

「昨日、OpenAIのGPT-4oリリースでの独自の評価の実行が完了し、GPT-4oの8月のリリースよりも大幅に低い評価スコアを一貫して測定しています」と、Artificial Analysisは木曜日にX投稿で発表し、モデルのArtificial Analysis品質指数が77から71に低下した（現在はGPT-4o miniと同等）ことを指摘しました。

さらに、GPT-4o の GPQA Diamond ベンチマークでのパフォーマンスは 51% から 39% に低下し、MATH ベンチマークでは 78% から 69% に低下しました。

同時に、研究者たちはモデルの応答速度が2倍以上に向上し、出力トークンが1秒あたり約80トークンから約180トークンに加速したことを発見しました。「OpenAIモデルは、リリース当日に大幅に高速化することが一般的に観測されています（これはOpenAIが導入前にキャパシティをプロビジョニングしているためと考えられます）。しかし、これまで2倍の速度差は観測されていませんでした」と研究者たちは記しています。

待ってください – 新しい GPT-4o は、より小型で、よりインテリジェントでないモデルですか?

昨日、OpenAI の GPT-4o リリースでの独自の評価の実行が完了し、GPT-4o の 8 月のリリースよりも大幅に低い評価スコアを一貫して測定しています。

GPT-4o (11 月) vs GPT-4o (8 月):
➤… pic.twitter.com/gjY2pBFuUv

— 人工分析（@ArtificialAnlys）2024年11月21日

「このデータに基づいて、OpenAIの11月20日版GPT-4oモデルは8月版よりも小さい可能性が高いと結論付けました」と彼らは続けた。「OpenAIは11月20日版の価格を値下げしていないため、開発者の皆様には、慎重なテストを行わずに8月版からワークロードを移行しないことをお勧めします。」

GPT-4oは、既存のGPT-3.5およびGPT-4モデルを上回る性能を持つため、2024年5月に初めてリリースされました。OpenAIによると、GPT-4oは音声、多言語、視覚タスクにおいて最先端のベンチマーク結果を提供しており、リアルタイム翻訳や会話型AIなどの高度なアプリケーションに最適です。