AnthropicでAIの安全性を研究するEvan Hubinger氏が、AIによって今後10年以内に全人類が死亡する可能性を「10％を超える」と考えていることを明らかにした。これは統計モデルから導かれた予測値ではなく同氏個人のリスク評価だが、最先端AIを開発する企業の内部研究者が、超知能AIの制御に重大な不確実性が残っていると公言した点が注目される。
発言のきっかけとなったのは、OpenAIとAnthropicの両社で事前学習研究に携わってきたJacob Coxon氏のAnthropic退職だった。Coxon氏は、両社が自己改善型の超知能を目指して競争する一方、その危険性に十分責任を持っていないと批判し、「人命を賭けている」との認識を示した。
Coxon氏は将来のAIについて、単に現在のチャットAIを高性能化した存在ではなく、サイバー攻撃能力や研究開発能力を大幅に高め、現実世界の権限やリソースを獲得できるシステムへ発展する可能性を指摘している。これに対してHubinger氏はCoxon氏の問題提起に同意し、AIによる人類滅亡リスクを10年以内で10％超と見積もっていると説明した。
さらにHubinger氏は、Anthropicが安全性確保に取り組んでいるとしながらも、超知能AIのアライメント問題を解決する明確な計画はまだなく、解決へ順調に進んでいるとも言えないとの認識を示している。AIアライメントとは、AIの目的や行動を人間の意図や価値観と一致させ、能力が高まった後も人間が望まない行動を取らせないための研究分野である。
今回の発言だけで、AIが近い将来に人類を滅ぼすと結論づけることはできない。ただし、最先端モデルの能力向上が続く一方で、その制御方法は依然として確立されていないという認識を、開発現場の研究者自身が示していることは重要だ。今後のAI開発では性能やコストだけでなく、自律性の拡大と安全性をどこまで両立できるかが大きな論点になっていく。
管理人コメント
数字だけ見ればかなり刺激的ですが、重要なのは「10％」そのものより、最先端AIを作っている側が制御方法の未完成を認めていることです。性能は毎月のように伸びるのに、安全装置はまだ建設中。今後のAIニュースはベンチマークだけでなく、自律化とアライメントをセットで見たほうがよさそうです。
