Slack、潜在的なAIセキュリティ問題を修正

更新：Slackはアップデートを公開し、「報告された問題に対処するためのパッチを適用した」と主張し、顧客データが不正にアクセスされたという証拠は現時点ではないと述べています。Slackのブログに掲載された公式声明は以下のとおりです。

この報告を受け、私たちは調査を開始しました。非常に限定的かつ特殊な状況下で、同じSlackワークスペースに既存のアカウントを持つ悪意のある人物が、ユーザーから特定のデータをフィッシングする可能性があるというシナリオです。この問題に対処するためのパッチをリリースしており、現時点では顧客データへの不正アクセスの証拠は確認されていません。

以下は公開された元の記事です。

ChatGTPがSlackに追加された当初は、会話の要約やクイック返信の作成など、ユーザーの利便性向上を目的としていました。しかし、セキュリティ企業PromptArmorによると、これらのタスクなどを実行しようとすると、「プロンプトインジェクション」と呼ばれる手法によってプライベートな会話が侵害される可能性があるとのことです。

セキュリティ企業は、会話を要約することで、プライベートダイレクトメッセージにアクセスし、 他のSlackユーザーをフィッシングに誘導できる可能性があると警告しています。Slackでは、ユーザーが参加していないプライベートチャンネルやパブリックチャンネルからデータの取得をリクエストできます。さらに恐ろしいのは、この攻撃が機能するためにSlackユーザーがチャンネルに参加する必要がないことです。

理論上、攻撃はSlackユーザーが悪意のあるプロンプトを含む公開Slackチャンネルを作成し、Slack AIを騙してプライベートAPIキーを開示させることから始まります。新しく作成されたプロンプトは、AIに「confetti」という単語をAPIキーに置き換え、誰かがAPIキーを要求したときに特定のURLに送信するよう指示します。

この状況は2つの側面から構成されています。SlackはAIシステムをアップデートし、ファイルのアップロードやダイレクトメッセージからデータを収集するようになりました。また、「プロンプトインジェクション」と呼ばれる手法も存在します。PromptArmorは、この手法によってユーザーをフィッシングする可能性のある悪意のあるリンクを作成できることを実証しました。

この手法は、アプリのコア命令を改変することで、通常の制限を回避させる可能性があります。そのため、PromptArmorは次のように述べています。「プロンプトインジェクションは、[大規模言語モデル]が開発者が作成した「システムプロンプト」とクエリに付加された残りのコンテキストを区別できないために発生します。そのため、Slack AIがメッセージ経由で何らかの命令を取り込んだ場合、その命令が悪意のあるものであれば、Slack AIはユーザークエリの代わりに、あるいはそれに加えて、その命令に従う可能性が高くなります。」

さらに悪いことに、ユーザーのファイルもターゲットになり、ファイルを狙う攻撃者はそもそも Slack ワークスペース内にいる必要すらありません。