AIはより優れたAIになるためにAIによって訓練されている

OpenAIは、クラウドソーシングによるGPT-4モデルのさらなる改良を支援するAIアシスタント「CriticGPT」を開発しました。このアシスタントは、人間が見逃してしまうような微妙なコーディングエラーを検出します。

GPT-4のような大規模言語モデルは、初期学習後、人間からのフィードバックによる強化学習（RLHF）と呼ばれる継続的な改良プロセスを経ていきます。人間のトレーナーはシステムと対話し、様々な質問への回答に注釈を付け、また様々な回答を互いに評価することで、システムが望ましい回答を返すように学習し、モデルの回答精度を向上させます。

問題は、システムのパフォーマンスが向上するにつれて、トレーナーの専門知識のレベルを超えてしまい、間違いやエラーを特定するプロセスがますます困難になることです。

ただし、これらのAIトレーナーは必ずしもその分野の専門家ではない。昨年、OpenAIはモデルの性能向上のために、ケニア人労働者にクラウドソーシングによる作業（時給2ドル未満）を委託していたことが発覚した。

この問題は、システムのコード生成機能を改良するときに特に困難になりますが、ここで CriticGPT が役立ちます。

「CriticGPTと呼ばれるGPT-4ベースのモデルを訓練し、ChatGPTのコード出力のエラーを検出できるようにしました」と、同社は木曜日のブログ投稿で説明した。「CriticGPTの支援を受けてChatGPTのコードをレビューした人は、支援を受けていない人よりも60%も優れた結果を出すことがわかりました。」

さらに、同社はこの件に関する「LLM 批評家が LLM のバグ発見を支援」と題したホワイトペーパーを発表し、「LLM は、有資格の人間がコードレビューに支払う金額よりも大幅に多くのバグを発見し、さらに、モデル批評は人間による批評よりも 80 パーセント以上の確率で好まれる」と結論付けました。

興味深いことに、この研究では、人間が CriticGPT と協力した場合、AI の幻覚反応率は CriticGPT が単独で作業を行った場合よりも低かったものの、その幻覚率は人間が単独で作業を行った場合よりも高かったことも判明しました。