OpenAIのGPT-6 Astraを使い、Minecraftを141時間にわたって自律操作させる長時間テストが行われた。AI評価を手掛けるVals AIの実験で、AstraはこれまでテストされたAIモデルの中で最もゲームを進めた一方、途中で装備やアイテムをすべて失った後、数時間にわたってほとんど進展しない状態へ陥った。
今回の試験で重要なのは、Minecraftの攻略成績そのものではない。Minecraftは探索、資源採集、クラフト、戦闘、位置関係の把握など、長時間にわたって複数の目的を管理する必要があるため、AIエージェントが計画を維持しながらPCを操作できるかを見る環境として利用されている。
Astraはゲーム中に半自動のBlaze Farmを構築し、Blaze Rodを6本獲得。さらにWarped Forestを発見し、複数のEndermanを倒してEnder Pearlを集めるところまで進んだ。短時間の決められた操作ではなく、何十時間にもわたって状況を判断しながら行動を続けられた点では、従来のAIエージェントより大きく前進した。
ところが、保管していた装備の近くでCreeperが爆発し、チェストとベッドを失ったことで状況が一変した。重要アイテムだけでなく復活地点まで消えたため、それまで積み上げた進行の大部分を失い、その後のAstraは数時間にわたって主にジャガイモを栽培するだけの状態になったという。
この挙動を、人間と同じ意味で「落ち込んだ」「やる気を失った」と解釈することはできない。モデルに感情があることを示す証拠ではなく、長期間の計画が崩れたあと、新しい目標をうまく再構築できなくなった結果とみるべきだ。それでも、失敗後の立て直しが長時間エージェントにとって大きな弱点になることは分かる。
AstraはWebブラウザーやデスクトップアプリを人間のように操作できることを特徴とし、複数の工程を自律的に処理する用途を想定している。ゲーム内で141時間動き続けられる能力は、現実のPC作業でも長期間にわたるタスクを任せられる可能性を示す一方、途中で前提が崩れた際にどう立て直すかという課題も浮き彫りにした。
AIエージェントの評価では、ベンチマークの正答率だけでなく、失敗からの復旧や目標の再設定が今後さらに重要になる。長時間動けることと、長時間正しく目的を追い続けられることは同じではない。今回のMinecraft実験は、その差をかなり分かりやすい形で示した事例といえる。
管理人コメント
141時間も自律プレイして従来AIより先へ進んだ点は、エージェントとしてかなり面白い進歩です。ただ、Creeperで全ロストした後に数時間ジャガイモを作り続けたのも重要。AIが傷心したわけではありません。長期タスクでは「予定が全部崩れた後に、どう立て直すか」がまだ大きな宿題ということです。
