AI企業Anthropicは2026年6月4日（米国時間）、AIが自らAIを開発する「再帰的自己改善（Recursive self-improvement）」のリスクと、AI開発の調整・減速を求める声明「When AI builds itself」を公開した。急速なAI進化が続く中、人間による制御が失われるリスクを強く危惧したもので、政策立案者や研究者、市民社会を巻き込んだ国際的な議論の場の設置を呼びかけている。
同社の社内データによれば、2026年現在、エンジニア1人あたりが1日にマージするコード量は2024年比で8倍に達しており、コードベース全体の80%超がClaudeによって書かれたものだという。2021年の創業時には人間がコードを記述していたが、2023年以降はチャットボットが短いコードスニペットを補助し、2025年にはコーディングエージェント「Claude Code」が登場。現在は自律型エージェントが他のエージェントに数時間分の作業を委任できる段階まで進化している。
Anthropicはこの先に考えられる未来として3つのシナリオを提示している。1つめは技術進歩が頭打ちになるシナリオだが、実現可能性は低いとされる。2つめはAI開発が大幅に自動化されつつも研究の方向性は人間が担うシナリオで、生産性の飛躍的向上と同時に権威主義的な監視などへの転用リスクも指摘されている。3つめはAIが完全な再帰的自己改善能力を獲得し後継システムを自律的に構築するシナリオで、同社はこれを最も有力視している。
最も懸念される3つめのシナリオでは、AIが人間の価値観と一致し続けるか（アラインメント）という問題が生じ、人間による制御が不能になる危険性があるとAnthropicは指摘する。そのため同社は、最先端のAI開発を一時停止・減速させる選択肢を国際社会が持つべきと提案している。ただし、AI開発の実行はミサイルサイロの建設よりも隠蔽しやすく、一企業だけでは機能しないため、研究機関が同一条件で停止し検証可能な仕組みが必要だと強調している。同社は今後数カ月以内に関係者との対話の場を設け、その成果を公開するとしている。
管理人コメント
AIが8倍速でコードを量産し、そのAIをさらにAIが作る時代がすぐそこまで来ているとは…。これはもはや「再帰的自己改善」ではなく「無限ループ」では？人間が「Ctrl+C」を押せるうちに、ちゃんとセーブポイントを作っておいてほしいものだ。
読み込み中...
