AIチャットの「考え中」から秘密が漏れる？最新研究で分かった“思考の漏えい”と、導入企業が確認すべき7つのこと

「申し訳ありません、それはお答えできません」。AIチャットがきちんと断っていても、その直前に画面へ出ていた「考え中」の文に、隠しておきたい情報がそのまま書かれていた。そんなことが、いまのAIでは起こりえます。

1. AIの「考え中」の表示とは

最近のAIの多くは、答える前に頭の中で考える時間をとります。問題を分けて整理し、いくつかの答え方を比べ、間違いがないか確かめてから答える。この「考える過程」を持つAIは、推論モデルと呼ばれます。

ChatGPT・Claude・Geminiなどのサービスや、それらを組み込んだ会社のAIチャットでは、この過程の全部や要約を「考え中」「思考」として画面に表示できるものが増えています。利用者にとっては、AIがどう考えたかが分かって安心できる便利な機能です。

ところが、ここに見落とされやすい落とし穴があります。会社の安全対策は、たいてい「最後の答え」に向けて作られているということです。

2. 答えは守っても、「考え」から漏れる

会社がAIチャットを作るときは、利用者には見えない「裏の設定」（システムプロンプト）で、AIに役割や決まりを伝えます。たとえば「値引きの条件は答えない」「社内の道具の名前は出さない」といった決まりです。

AIは最後の答えではこの決まりを守ります。しかし考えている途中では、決まりを守るために、決まりの中身そのものを思い浮かべてしまうことがあります。その考えが画面に出ていれば、答えで断っても意味がありません。

考えの欄から漏れうるものは、大きく3つです。

セキュリティの国際的な団体OWASPも、AIアプリの10大リスクの2025年版で、「システムプロンプトの漏えい」を新しく加えました。裏の設定は聞き出される前提で考え、パスワードや鍵のような秘密は書かないよう求めています。

3. 最新の研究で分かったこと

この問題は、いま世界の研究者が注目しているテーマです。代表的な3つの研究を紹介します。

3つに共通するのは、「考え」は利用者に見えていなくても、見えていても、情報の出口になりうるという点です。そして、出口をふさぐ決定打はまだありません。

4. 導入企業が確認すべき7つのこと

AIチャットをすでに使っている会社も、これから導入する会社も、次の7つを確かめてみてください。

• 考えの表示がオンになっているか、誰に見えているか。社内向けだけなのか、お客さまにも見えるのかで、危険の大きさが変わります
• 裏の設定に秘密を書いていないか。鍵、パスワード、社内のURL、値引きの上限、取引先の名前などがないか、一度すべて読み直す
• AIに渡す顧客の情報は最小限か。答えに必要のない項目まで、まとめて渡していないか
• 考えの表示も、答えと同じ検査を通しているか。個人情報や裏の設定に触れる文を、表示の前に取り除けているか
• 考えが記録（ログ）に残るか。残るなら、保存する期間と、見られる人を決めているか
• テストで「裏の設定を聞き出す質問」を試しているか。そのとき、答えだけでなく考えの欄まで確認しているか
• 使っているAIの提供会社の資料を確認したか。考えの表示がどう作られ、何が含まれうるのか、設定で止められるのかを把握しておく

まとめ

AIの「考え中」の表示は、利用者の安心につながる便利な機能です。しかし最新の研究は、答えをどれだけ守っても、考えの過程が新しい情報の出口になりうることを示しています。

大切なのは3つです。画面に出るものはすべて出力として確かめること。漏れて困る秘密は、そもそもAIに渡さないこと。そして、答えだけでなく考えまで含めて試すこと。AIを安心して使い続けるために、いまのうちに確かめておきましょう。