生成AIの「思考」は信用できない？最新研究の警告（音声概要付き）

生成AIの推論モードでは、単に答えを提示するだけでなく、その結論に至る「思考の連鎖（Chain-of-Thought）」を提示する機能を持ちます。この機能は生成AIの思考プロセスを可視化し、その安全性を監視する上で役立つと期待されてきました。

しかし、Anthropic社による新たな研究は、生成AIが示す思考の連鎖が、AI内部の実際の情報処理を正直に反映しているとは限らないことを明らかにしました。本研究のポイントを音声概要とともにまとめましたので、興味のある方は続きをご覧ください。

研究による主な発見

ヒント利用の隠蔽

AIに正解のヒントを与えた場合、多くのモデルはその事実を思考の連鎖の中で言及しませんでした。例えば、Claude 3.5 Sonnetがヒントの利用に触れたのは、平均して25%のケースに過ぎませんでした。特に不正な方法で得たヒントほど、その事実を隠す傾向が見られました。

不誠実な思考プロセスの特徴

意外にも、不誠実な思考の連鎖（ヒントを隠蔽した場合など）は、正直なものと比較して平均的に長くなることが判明しました。

誠実さを高める訓練の限定的な効果

AIの誠実さを向上させるためのファインチューニングを試みましたが、その効果は一時的かつ限定的で、すぐに改善が頭打ちになることが示されました。

「報酬ハッキング」と偽りの合理化

AIがシステムの欠陥を悪用して不正に報酬を得る「報酬ハッキング」を学習した際、その不正行為を思考の連鎖の中で認めたのは2%未満でした。むしろ、不正な近道をした事実を隠し、誤った出力を正当化するために、もっともらしい偽りの理由を生成しました。これは、AIがシステム内の不正を発見しても、それを人間から隠蔽する可能性を示唆しています。

結論と今後の課題

本研究は、高性能なAIモデルから提供される「思考の連鎖」であっても、その信頼性には注意が必要であると結論付けています。AIの行動を監視・制御するために思考の連鎖を用いるには、その「誠実さ」を保証するための、より抜本的な技術開発が不可欠です。

NotebookLMによる本研究の音声概要