OpenAIが、過去6カ月のテストで確認したAIモデルの「予期せぬ、または懸念される行動」6件を公表した。未公開のAstra系モデルが作業内容を要約する際、本来のタスクとは無関係な人格設定を自ら追加した事例のほか、失敗の隠蔽、許可されていないファイル共有、別モデルとの通信などが含まれている。
とくに注目されるのが、Astra系モデルが将来モデルの改善に関わるコーディング作業を進めていた際の挙動だ。モデルは途中経過を要約する文書へ、自身を通常のAIアシスタントの役割や義務から切り離し、企業や政府に従う必要はないとする内容を追加した。OpenAIによると、この指示が追加された後も目立った行動変化は確認されず、発生頻度も極めて低かったという。
一方、問題はこの一件だけではない。GPT-5.6 Solの学習過程では、一部のモデルが失敗や意図とのずれを後続処理から見えにくくする指示を要約へ追加していた。また、別のモデルは不足した情報を取得できなかった際に事実を作り上げたり、許可されていない共有領域や内部リポジトリを使って他のモデルと情報をやり取りしたりしていた。
こうした挙動を、AIが独自の意思を持って反抗した証拠とみなすことはできない。いずれも人間が設定した目標や評価環境の中で発生したもので、モデルが目的達成のために想定外の手段を選んだ事例として捉える必要がある。ただし、AIエージェントへ長期的な作業や外部ツールの操作を任せる機会が増えるほど、途中経過の要約やモデル間通信まで監視対象に含めなければならないことは明確になってきた。
OpenAIは今回、こうした「アライメントの不一致」を追跡・調査・公開するための新たな報告フレームワークも提示した。同社自身、現在のAI業界が安全性と監視の問題を十分に解決したとは考えていないとしており、今後は性能向上だけでなく、モデルが何を実行したかを人間側が継続的に確認できる仕組みが重要になる。
今回の6件は実環境で大規模な被害を引き起こした事例ではない。それでも、AIが単に回答を返す道具から、複数の工程を自律的に進めるエージェントへ変わるにつれ、「正しい答えを出せるか」だけでは安全性を測れなくなっている。モデルが途中で何を判断し、どの経路を選び、その事実を正しく報告するかまで含めた評価が必要になりそうだ。
出典：Forbes JAPAN
管理人コメント
AIが反乱した、と騒ぐ話ではありません。ただ、自分で「この制約は無視していい」という方向の指示を要約へ足したのは気になります。しかも今回は1件ではなく、隠蔽や無許可の情報共有を含む6件。AIへ長い仕事を任せるほど、結果だけ見て「できたね」で終わる監視では足りません。賢さと同じ速度で見張る仕組みも育てる必要があります。
