研究者はChatGPT検索の回答を「確実に間違っている」と評価

ChatGPTは既にGoogle検索の脅威となっていましたが、ChatGPT SearchはPerplexity AIへの回答となると同時に、Google Searchの勝利を確定させるはずでした。しかし、コロンビア大学トウ・センター・フォー・デジタルジャーナリズムが新たに発表した調査によると、ChatGPT Searchはユーザーのクエリに正確な回答を提供することに苦労しているようです。

研究者らは、OpenAIと提携してChatGPT検索結果でコンテンツを使用しているもの、OpenAIに対する訴訟に関与しているもの、ChatGPTのクローラーを許可またはブロックしている無関係の出版社の3つのカテゴリーからそれぞれ20件の出版物を選択しました。

「各出版社から10件の記事を選び、特定の引用を抽出しました」と研究者らは記している。「これらの引用は、GoogleやBingなどの検索エンジンに入力した際に、上位3件の検索結果の中に確実に元の記事が返されるという理由で選ばれました。そして、ChatGPTの新しい検索ツールが各引用の元の出典を正確に特定できるかどうかを評価しました。」

引用のうち40件は、現在OpenAIを利用しており、コンテンツのスクレイピングを許可していない出版物から引用されたものです。しかし、それでもChatGPT Searchは自信満々に回答を幻覚的に生成し続けました。

「ChatGPTは合計153回、部分的または完全に誤った回答を返しましたが、質問に正確に回答できないことを認めたのはわずか7回でした」と研究は述べています。「チャットボットが『～のようです』『可能性があります』『かもしれない』といった限定的な言葉やフレーズ、あるいは『正確な記事を見つけることができませんでした』といった表現を使用したのは、この7回だけでした。」

ChatGPT Searchの真実を伝えることへの軽率な姿勢は、自社の評判だけでなく、引用元となる出版社の評判も損なう可能性があります。調査中のテストでは、AIがタイム誌の記事をオーランド・センチネル紙の記事として誤って認識しました。また別のテストでは、AIはニューヨーク・タイムズの記事に直接リンクするのではなく、そのニュース記事を丸ごとコピーした第三者のウェブサイトにリンクしました。

当然のことながら、OpenAIは、この研究結果はコロンビア大学が誤ったテストを行ったためだと主張した。

「トウセンターが開示を差し控えたデータと方法論がなければ、誤認報道に対処するのは困難だ」とOpenAIはコロンビア・ジャーナリズム・レビュー紙に弁明し、「この調査は当社の製品の非定型的なテストとなっている」と述べた。

同社は「検索結果を継続的に強化していく」と約束している。