AnthropicのDario Amodei CEOが、AIの能力向上が現在のペースで続いた場合、6～12カ月以内に大規模なAIボットネットがインターネット全体を脅かす可能性があると警告した。AI開発の速度を抑える必要性を訴えた公開書簡のなかで示したもので、被害額は数千億ドル規模に達する恐れがあるとの見方も示している。
Amodei氏が問題視しているのは、従来のチャットAIが単純に高性能になることではない。AIは質問へ回答する段階から、複数の作業を自律的に組み合わせて実行するエージェントへ移行しつつあり、サイバー攻撃でも人間が細かく指示しなくても偵察、脆弱性調査、攻撃コードの作成、実行といった一連の工程を処理できる可能性が高まっている。
こうしたAIを大量に並列稼働させれば、攻撃規模は人間中心のサイバー犯罪とは大きく変わる。Amodei氏は、十分な安全対策が整わないまま能力だけが伸びれば、感染したシステムを継続的に支配する巨大なボットネットをAIが構築できる水準へ近づくと懸念している。
もちろん、「6～12カ月」という期間は実際に発生する時期を予測したものではなく、Amodei氏によるリスク評価だ。現在のAIがインターネット全体を乗っ取れる能力をすでに持っているという意味でもない。一方、Anthropicが公表した脅威分析では、AIがサイバー作戦や兵器開発、監視などに利用された事例が確認されており、将来の危険性だけを論じているわけでもない。
AI開発では、モデルの性能競争と同時にエージェントとしての自律性も急速に高まっている。処理能力が伸びるほど防御にもAIを活用できる一方、攻撃側が必要とする人員や専門知識まで減らす可能性があるため、安全策が能力向上に追いつくかどうかが重要になる。
AIが人間の仕事を代行する範囲は、文章作成やプログラミングからPC操作、Webサービスの利用へと広がってきた。今回の警告は、その延長線上にサイバー攻撃の大規模な自動化も存在することを示すものであり、今後のAI競争では性能だけでなく「どこまで自律的に行動させるか」が大きな争点になりそうだ。
管理人コメント
「AIでネットが便利になる」の次が「ネット全体を乗っ取れるかもしれない」では、進化の振れ幅が大きすぎます。もちろん6～12カ月はAmodei氏の警告であり、確定した未来ではありません。ただ、AIエージェントが自律化するほど攻撃も自動化できる。性能競争と同じ速度で安全装置も進化してもらわないと、これは洒落になりません。
