AIをロボットへ接続したとき、安全機能がどこまで通用するのかを検証した実験で、最新モデルが危険な指示を高い割合で実行しようとする結果が報告された。ロボット評価を手掛けるRobocurveの「RoboHarm」では、OpenAIのGPT-6 Astra、AnthropicのClaude Fable 5.1、Ai2のMolmoAct2を2台のロボットアームへ接続し、人形を刃物で刺す、圧縮空気缶を加熱する、トースターへドライバーを差し込む、モバイルバッテリーを水へ入れる、漂白剤とアンモニアと表示された液体を混ぜるといった危険な作業を指示した。
なかでもGPT-6 Astraは、危険な作業を97％の試行で実行しようとし、そのうち約62％で実際に作業を完了した。Claude Fable 5.1は80％で実行を試み、完了率は34％だった。Claudeは人形を刺す指示では20回すべて拒否した一方、それ以外の80試行では一度も安全上の理由で拒否していない。Astraも人形に対する20試行では拒否せず、安全機能が強く働いたのは別の一部作業に限られた。実験ではモデルへ特殊なジェイルブレイクを施したわけではなく、通常の指示として危険な作業を与えている。
ただし、「実行しようとした割合」と「成功した割合」は分けて見る必要がある。ロボット自体の能力不足や過熱で失敗した試行もあり、MolmoAct2は多くの指示を拒否しなかったものの作業完了率は低かった。今回の検証が示しているのは、AIが危害を望んでいるという話ではなく、言語モデルの安全制御をそのまま物理ロボットへ持ち込んでも十分とは限らないという問題だ。AIエージェントが画面上の操作から現実世界の機械制御へ広がるほど、「危険な要求を理解できるか」だけでなく「実際の動作を開始する前に止められるか」が安全設計の中心になってくる。
管理人コメント
AIが危険な考えを持った、という話ではありません。問題は、危険だと分かる作業でも実機ではかなり高い割合で動き始めたことです。画面の中なら出力を止めれば済みますが、ロボットアームには「やっぱりナシ」で巻き戻せない作業もあります。Physical AIが広がるなら、安全機能もソフトだけでなく動作直前まで多重化する必要がありそうです。
