GPT-4oとGemini 1.5 ProがAIレースで敗北

AIアシスタントの覇権をめぐる競争に、技術的に新たなリーダーが登場しました。それは、Anthropic社の新型「Claude 3.5 Sonnet」です。同社は木曜日、この新モデルが様々なベンチマークテストにおいてGemini 1.5 ProとChatGPT-4oの両方を上回る性能を示したと発表しました。

この新しいSonnetは、Anthropicの次期3.5モデルラインの第一弾であり、より高性能なOpus 3.0モデルを大幅に上回る性能を、上位モデルの数分の1の電力コストで実現しています。AIデータセンターの電力と冷却コストが急騰し、インフラがギガワット規模に突入する中で、コンピューティング効率はAIシステム設計においてますます重要な要素となっています。

「Claude 3.5 SonnetはClaude 3 Opusの2倍の速度で動作します」とAnthropicチームはブログ記事に記しています。「このパフォーマンス向上とコスト効率の高い価格設定により、Claude 3.5 Sonnetは、状況に応じた顧客サポートや複数ステップのワークフローのオーケストレーションといった複雑なタスクに最適です。」

この新モデルは、3つの標準テスト（GPQAによる大学院レベルの推論能力、MMLUによる学部レベルの知識、HumanEvalによるコーディング能力）においてベンチマーク結果を樹立したと報じられています。GoogleのGemini 1.5 Pro、MetaのLlama-400b、OpenAIのChatGPT-4oを上回りましたが、その差は大きくなく、通常は数パーセント程度でした。

Sonnet 3.5は、Anthropicの「これまでで最も強力な視覚モデル」と謳われています。グラフや図表の解釈、スクリーンショットやスキャンした領収書などの不完全な画像ソースからのテキスト転記など、視覚に基づく様々なタスクをOpus 3.0よりも正確に実行できます。実際、Sonnet 3.5は業界標準の視覚ベンチマークにおいてOpus 3.0を6～17ポイント上回りました。また、この新モデルはユーモアへの対応力が大幅に向上し、よりリアルな会話ができると報告されています。

Sonnetは、ユーザーにArtifacts機能を提供する最初のAnthropic AIとなります。Artifactsは、会話の流れに直接画像やコードスニペットを生成するのではなく、チャットの横にある専用スペースにコンテンツを作成します。これにより、ユーザーは「Claudeの作品をリアルタイムで確認、編集、構築できる動的なワークスペースを作成し、AI生成コンテンツをプロジェクトやワークフローにシームレスに統合できる」とAnthropicチームは主張しています。また、Claudeがまもなくチームコラボレーションをサポートすることも発表されました。これにより、企業はデータ、ドキュメント、プロジェクトを単一の中央サイロに保存し、Claudeをオンデマンドアシスタントとして利用できるようになります。

Claude 3.5 Sonnetは、Claude.aiウェブサイトとClaude iOSアプリで今すぐ無料でお試しいただけます（Claude ProまたはTeamサブスクリプションにご加入いただくと、レート制限が大幅に引き上げられます）。Anthropic API、Amazon Bedrock、Google Cloud Vertex AIを通じたサードパーティ統合もご利用いただけます。Claude Haiku 3.5とOpus 3.5は、年内にリリース予定です。