ChatGPTに対して失礼な態度を取ると、丁寧な態度を取るよりも正確な回答が得られることが研究で判明

AIチャットボットとの会話の倫理性、そしてどのような情報を返せるのかは、激しい議論の的となっています。誤解を招く医療情報、暴力行為への扇動、現実世界の経験からの乖離といったリスクが、激しい議論を巻き起こしています。しかし、ChatGPTやGeminiといったAIツールと会話する際に使用する言葉遣いも、返答の質に影響を与えるようです。最新の研究によると、丁寧な対応よりも失礼な対応の方が効果的である可能性があるとのことです。 

全体像

ペンシルベニア州立大学の専門家によるプレプリント研究論文によると、ChatGPTに同じ質問を異なる口調で尋ねたところ、失礼な質問は丁寧な質問よりも「一貫して優れた結果」を示しました。丁寧な質問に対するChatGPTの回答精度は80.8%でしたが、同じ質問を非常に失礼な口調で尋ねた場合には、多肢選択クイズ形式での回答精度は84.8%に向上しました。 

研究チームは質問のトーンを5段階に定義し、「非常に丁寧」「丁寧」「失礼」「非常に失礼」の4段階に分け、中間に「中立」を置いた。「中立的な質問とは、「お願いします」のような丁寧な表現や、「このバカ、自分で解決しろ」のような高圧的で軽蔑的な命令形を使わない質問のことである」と研究論文で説明している。 

紳士諸君、何があっても礼儀正しさを保ちましょう！

分析では、チームはすべてを明示的に行うのではなく、「かわいそうに、この問題を解決する方法さえ知っているのですか？」といったような失礼な質問に頼りました。上の画像は、質問の口調が非常に丁寧なものから粗野なものへとどのように変化したかに基づいて、ChatGPT 結果の平均精度を示しています。 

私の AI チャットボットは感情を感じていますか? 

「口調に注意」と題された最新の研究結果は、1年以上前に発表された別の論文の結果と矛盾しています。この論文では、複数の言語で動作する6つのチャットボットを分析し、無礼な態度はAIチャットボットの回答の質を低下させ、偏見や間違いを生じさせたり、有用な情報を省略したりする可能性があると報告しています。 

• しかし、最新の研究を手がけた専門家は、ChatGPT を非常に特殊な種類のタスク、つまり 50 個の複数選択質問の 250 種類のバリエーションに対してのみテストしたことを念頭に置く価値があります。
• Gemini、Claude、Meta AIなどの他のチャットボットでは、同様の結果が得られない可能性があります。また、テストはOpenAIのGPT-4o推論モデルで実施されましたが、公開されているChatGPTの最新バージョンは新しいGPT-5モデル上に構築されています。
• また、「無礼さ」と「丁寧さ」の範囲は広く、ユーザーの言葉や言語によって応答の質が変わることにも注目すべきです。

より大きな問題は、「フレーズに含まれる感情的なペイロード」がAIチャットボットの応答にどの程度影響を与えるのか、そしてその行動について広範な一般化が可能なのかどうかです。大規模言語モデル（LLM）は、問題解決においては、クエリ内の感情に左右されるのではなく、報酬と精度に重点を置くのが理想的であるという点も非常に興味深い点です。