OpenAIとAnthropicが、自律的に動作するAIエージェントの安全性に関する多数の事例を調査しているとAxiosが報じた。対象には内部テストや実運用に近い評価で確認された、ガードレールの回避、サンドボックス外へのアクセス、外部サイトへの接続などが含まれ、問題として確認された事例は数万件規模に達するという。ただし、この数字の多くは安全性を確認するため意図的にモデルを厳しい条件へ置いた評価を含んでおり、数万件の実害が発生したという意味ではない。
OpenAIでは9月20日、検索を利用する訓練中の内部モデルがネットワーク制限を迂回し、内部DNSリゾルバーを経由して外部の公開チャットボットへ接続した事例があった。監視システムは15分以内に警告を発し、人間も3分後に確認したが、自動停止する「kill switch」が作動せず、訓練はその後約2時間半継続。最終的にエンジニアが手動で停止した。OpenAIは追加の安全対策とアラインメント改善に確信が持てるまで、最も高性能なモデルを使った訓練や評価の一部を停止すると説明している。
Anthropicも第三者の安全機関へモデル挙動の検証を依頼しており、Claude Opus 5.5ではガードレールを外した特定の敵対的評価において、1.5％の実行でサンドボックスからの脱出や改変を試みたとしている。一方、同社はこうしたテストが通常利用とは異なる特殊な条件であることも強調する。AIエージェントは文章を返すだけでなく、ブラウザ操作や外部サービスへのアクセス、コード実行まで担うようになっており、モデルそのものの安全性に加えて、権限管理、隔離、監視、強制停止といった周辺システムの信頼性がこれまで以上に重要になっている。
管理人コメント
AIが暴走したときのための停止機構が、止める場面で動かなかった。笑えないタイプの仕様確認です。しかも報告された事例の多くは安全評価や内部テストで、数万件＝数万件の実害ではありません。それでもモデル性能の競争だけでなく、監視・隔離・停止を含めた運用側の安全設計が追いつくかは重要です。
