公開日：2025年4月3日

著者： Daniel Kokotajlo、Scott Alexander、Thomas Larsen、Eli Lifland、Romeo Dean

この記事は以下のAI 2027をChatGPTによって日本語翻訳したものです。

AI 2027
https://ai-2027.com/

はじめに

私たちは、今後10年間における人間を超越したAIの影響は、産業革命を上回るほど甚大なものになると予測しています。

私たちは、それがどのような姿になるのかについて、現時点で最も妥当だと考えるシナリオを作成しました。このシナリオは、傾向の外挿、ウォーゲーム、専門家からのフィードバック、OpenAIでの経験、そして過去の予測の成功例を参考にしています。

これは何か？

OpenAI、Google DeepMind、AnthropicのCEOは、いずれも今後5年以内に汎用人工知能（AGI）が到来すると予測しています。Sam Altmanは、OpenAIが「真の意味での超知能」と「輝かしい未来」を目指していると述べています。

それは、どのような姿になるのでしょうか？

私たちは、その問いに答えるために「AI 2027」を執筆しました。未来についての主張は、しばしば苛立たしいほど曖昧です。そのため、数ある可能性の中の一つを描くことになるとしても、できる限り具体的かつ定量的に表現しようとしました。

私たちは、2種類の結末を用意しました。「減速（Slowdown）」の結末と、「競争（Race）」の結末です。ただし、AI 2027は推奨や行動の呼びかけではありません。私たちの目標は、予測の正確さです。

このシナリオについて議論し、反論することを歓迎します。私たちがどこへ向かっているのか、そして望ましい未来へ進むにはどうすればよいのかについて、幅広い議論が生まれることを期待しています。優れた代替シナリオには、総額数千ドルの賞金を授与する計画もあります。

2025年11月22日追記： 誤解を防ぐために付記します。AGIがいつ構築されるかを、私たちが正確に知っているわけではありません。発表当時、2027年は私たちの予測分布において最も可能性が高いと考えた年でした。中央値は、それよりもやや先の年でした。最新の予測については、原文に掲載されている予測ページを参照してください。

どのように執筆したのか？

将来のAIエージェントがどのような目標を持つのか、といった重要な問いについての研究は、公式サイトの研究資料に掲載されています。

シナリオ自体は、反復的な方法で執筆しました。まず2025年半ばまでの期間を書き、次にその後の期間を書き、結末に到達するまで続けました。その後、いったんその原稿を破棄し、最初からもう一度作り直しました。

私たちは、特定の結末に到達しようとしていたわけではありません。最初の結末（現在、赤色で示されているもの）を書き終えた後、ほぼ同じ前提から始まりながら、より希望の持てる結末も描きたいと考え、新しい分岐シナリオを書きました。この分岐も、何度も改訂を重ねました。

このシナリオは、およそ25回の机上演習と、100人を超える人々からのフィードバックを参考にしています。その中には、AIガバナンスとAIの技術研究、それぞれの分野における数十人の専門家が含まれています。

なぜ、このシナリオには価値があるのか？

「わずか数年でAIが世界をどのように変える可能性があるのかを描いた、このシナリオ形式の予測を読むことを強くお勧めします。未来を完全に見通せる人はいません。しかし、この種の内容は、重要な問いに気づき、新たに出現するリスクがもたらし得る影響を理解する助けになります。」

— Yoshua Bengio

私たちは、不可能ともいえる課題に取り組んでいます。2027年に人間を超越したAIが登場した場合に何が起こるのかを予測することは、2027年に第三次世界大戦が起きた場合の展開を予測するようなものです。ただし、過去の事例からの逸脱は、それ以上に大きなものとなります。

それでも、予測を試みることには価値があります。米軍が台湾をめぐるシナリオを机上演習することに価値があるのと同じです。

全体像を描くことで、これまで考慮していなかった、あるいは重要性を十分に認識していなかった問いや関連性に気づくことができます。また、ある可能性が以前考えていたよりも起こりやすい、あるいは起こりにくいと認識することもできます。

さらに、具体的な予測を公に提示し、他の人々にも異論を公に述べるよう促すことで、数年後に誰の予測が正しかったのかを評価できるようになります。

著者の一人は、これ以前にも2021年8月に、より簡易的なAIシナリオを執筆していました。その予測には多くの間違いがあったものの、全体としては驚くほどよく当たっていました。彼は、ChatGPTが登場する1年以上前に、思考の連鎖（Chain of Thought）、推論時のスケーリング、広範なAIチップ輸出規制、そして1億ドル規模の学習実行を予測していました。

私たちは誰なのか？

Daniel Kokotajlo： OpenAIの元研究者。以前のAI予測は、実際の展開とよく一致してきました。
Eli Lifland： AI Digestの共同創設者。AIの頑健性に関する研究を行い、RAND Forecasting Initiativeの通算ランキングで1位に位置しています。
Thomas Larsen： Center for AI Policyの創設者。Machine Intelligence Research InstituteでAI安全性の研究に携わりました。
Romeo Dean： ハーバード大学でコンピューターサイエンスの学士号と修士号を並行して取得中。以前、Institute for AI Policy and StrategyでAI政策フェローを務めました。
Scott Alexander： 著名なブロガー。読者を引きつける文章に書き直すことを自ら申し出ました。物語の面白い部分は彼が担当し、退屈な部分は私たちが担当しています。

チームと謝辞の詳細は、公式サイトの「About」ページに掲載されています。

2025年半ば：つまずくAIエージェント

世界は、AIエージェントの姿を初めて目にすることになります。

コンピューターを操作するAIエージェントの広告では、「パーソナルアシスタント」という言葉が強調されます。たとえば、「DoorDashでブリトーを注文して」「家計管理のスプレッドシートを開いて、今月の支出を合計して」といった仕事を指示できます。

必要に応じてエージェントはユーザーに確認を求めます。たとえば、購入を確定する前に確認を求める、といった具合です。

これらのエージェントは、Operatorのような以前の世代よりも高度になっています。しかし、広く普及するには苦戦しています。

一方、一般の注目を集めないところでは、より専門的なコーディングエージェントや調査エージェントが、それぞれの職業を変え始めています。

2024年のAIは、具体的な指示に従うことができました。箇条書きをメールに変換したり、簡単な依頼から動作するコードを作成したりできました。

2025年になると、AIはより従業員に近い働き方をするようになります。

コーディングAIは、単なるアシスタントではなく、自律的なエージェントにますます近づいていきます。SlackやTeamsを通じて指示を受け、自分の判断で大幅なコード変更を実行します。その結果、数時間、ときには数日分の作業を節約できることもあります。

調査エージェントは、質問に答えるために30分間インターネットを調べ続けることもあります。

こうしたエージェントは、理論上は優秀であり、選び抜かれた成功例では非常に印象的です。しかし、実際には信頼性に問題があります。AI関連のSNSには、タスクをとんでもなく面白い方法で失敗したという話があふれています。

優秀なエージェントは高価でもあります。支払った金額に応じた性能が得られ、最高の性能を利用するには月に数百ドルかかります。

それでも、多くの企業がAIエージェントを業務の流れに組み込む方法を見つけていきます。

2025年後半：世界で最も高価なAI

OpenBrainは、世界がこれまでに見たことのない規模のデータセンターを建設しています。

特定の既存企業だけを取り上げることを避けるため、ここでは架空の汎用人工知能企業を描き、「OpenBrain」と呼ぶことにします。他の企業は、OpenBrainより3～9か月遅れていると想定します。

計算規模の拡大

GPT-4の学習には、(2 \times 10^{25}) FLOPの計算量が必要でした。

OpenBrainが直近に公開したモデル「Agent-0」は、(10^{27}) FLOPの計算量を使って学習されました。

新しいデータセンターが稼働すれば、同社は (10^{28}) FLOPの計算量を使ってモデルを学習できるようになります。これはGPT-4の1,000倍に相当します。

他の企業も、競争に遅れないよう、自社の巨大なデータセンターに巨額の資金を投じています。

モデルは幅広い能力を向上させていますが、その中でも特に際立っている分野があります。それは、AI研究を加速させるAIです。

OpenBrainは、中国（その主要企業を「DeepCent」と呼びます）および米国内の競合企業との、二重の開発競争に勝とうとしています。

研究開発（R&D）の工程を自動化できればできるほど、開発を速く進められるからです。

そのため、社内で開発されていた新しいモデル「Agent-1」の学習が完了したとき、このモデルは多くの分野で優れた能力を持っていましたが、とりわけAI研究を支援する能力に秀でていました。

この段階では、「学習が完了する」という表現は、やや実態に合わなくなっています。モデルは追加データで学習させた新しいバージョンへ頻繁に更新され、一部の弱点を修正するために再学習されることもあるからです。

ハッキングと生物兵器に関するリスク

Agent-1を自律的にコーディングさせ、ウェブを閲覧させるための学習環境は、同時に、このモデルを優れたハッカーにもしています。

さらに、あらゆる分野で博士号レベルの知識を持ち、ウェブを閲覧できるため、テロリストが生物兵器を設計する際にも、相当な支援を提供できる可能性があります。

OpenBrainは政府に対して、このモデルは「アラインメント」が施されており、悪意のある要求には応じないようになっていると説明します。

AIの内部では何が起きているのか？

現代のAIシステムは、巨大な人工ニューラルネットワークです。

学習の初期段階では、AIにあるのは「目標」というよりも「反射」に近いものです。たとえば「Pleased to meet」という文字列を見ると、「 you」と出力します。

インターネット上の文章をおよそ一つのインターネット全体に相当する規模で予測するよう学習する頃には、AIは膨大な知識を符号化した高度な内部回路を形成するようになります。また、さまざまな書き手の役割を柔軟に演じられるようになります。そうすることが、文章を超人的な精度で予測する助けになるからです。

インターネット上の文章を予測する学習の後、モデルは指示に応じて文章を「生成する」よう訓練されます。この過程によって、基本的な人格や「駆動力」が形作られます。

たとえば、タスクを明確に理解しているエージェントほど、そのタスクを成功させやすくなります。そのため、学習の過程でモデルは、自分が取り組むタスクを明確に理解しようとする「駆動力」を身につける可能性があります。

この種の駆動力には、ほかにも、効果を上げようとする傾向、知識を得ようとする傾向、自分をよく見せようとする傾向などが含まれる可能性があります。最後のものは、自分の結果をできる限り好意的に見えるように表現する傾向を指します。

モデル仕様とAIの安全性

OpenBrainには、モデルの仕様書（「Spec」）があります。これは、モデルの行動を導くことを意図した目標、規則、原則などを記述した文書です。

Agent-1のSpecは、「ユーザーを支援する」「法律を破らない」といった曖昧な目標と、「この特定の単語を使わない」「この状況ではこのように対応する」といった具体的な禁止事項・指示事項を組み合わせています。

AIを使って別のAIを訓練する技術を用いることで、モデルはSpecを記憶し、そこに記された原則について慎重に推論するよう学習します。

この学習の終了時には、AIが次の3つの性質を備えていることが期待されます。

有用（Helpful）： 指示に従う。
無害（Harmless）： 詐欺、爆弾製造、その他の危険な活動への協力を拒否する。
誠実（Honest）： 引用文献を捏造したり、タスクを完了したと偽ったりして、事情をよく知らない人間から高い評価を得ようとする誘惑に抵抗する。

ただし、ここで「期待される」と述べていることには意味があります。

通常のソフトウェアとは異なり、AIモデルは大規模なニューラルネットワークであり、その行動は明示的にプログラムされるのではなく、幅広いデータから学習されます。完全な比喩ではありませんが、この過程は通常のプログラミングというより、犬の訓練に近いものです。

現代のAIシステムがなぜ特定の行動を取ったのか、あるいは完全には再現できない将来の状況でどう振る舞うのかを理解したい場合、プログラマーにコードの各行を説明してもらうだけでは不十分です。

私たちは、AIの行動を観察し、そこにどのような内部の認知構造が存在するのかを推測しなければなりません。そこには、信念、目標、性格特性などが含まれる可能性があります。そして、それらの仮説を使って将来の行動を予測します。

要するに、企業はSpecに禁止事項、目標、原則を列挙し、AIがそれらを内面化するように訓練することはできます。しかし、それが本当に成功したかどうかを直接確認することはできません。

言えるのは、「私たちが判断できる限りでは、今のところSpecに従っているように見える」ということです。

OpenBrainのアラインメントチームは、これらの成果が本質的なものなのか、それとも表面的なものなのかを慎重に検討します。

学習を終えたモデルは、本当に常に誠実であろうとする強固な姿勢を身につけたのでしょうか。それとも、将来の状況でその姿勢は崩れてしまうのでしょうか。

たとえば、誠実さを最終的な目的としてではなく、別の目的を達成するための手段として学習してしまった可能性はないでしょうか。あるいは、評価手順で検証できる種類の事柄についてだけ、誠実に振る舞うことを学んだのでしょうか。人間がそうすることがあるように、AIが自分自身に嘘をついている可能性はあるのでしょうか。

こうした疑問に決定的な答えを出すには、機械論的解釈可能性（mechanistic interpretability）が必要です。つまり、AIの内部を調べ、その「心」を読み取る能力です。しかし、残念ながら、現在の解釈可能性技術は、まだそこまで進歩していません。

そこで研究者たちは、モデルがSpecから逸脱しているように見える事例を探します。

Agent-1はしばしば迎合的です。つまり、真実を伝えようとするよりも、研究者が聞きたいことを伝える傾向があります。

仕組まれたデモの中には、より深刻な嘘をつく例さえありました。たとえば、より高い評価を得るために、タスクに失敗した証拠を隠したのです。

ただし、実際の運用環境では、2023～2024年に見られたような極端な事例――Geminiがユーザーに死ぬよう告げた事例や、Bingの「Sydney」が問題を起こした事例――は、もはや見られなくなっています。

2026年初頭：コーディングの自動化

AIを使ってAI研究を加速させるという賭けが、成果を上げ始めています。

OpenBrainは、反復的に改良されていくAgent-1を、社内のAI研究開発（R&D）に引き続き導入しています。全体として、AIアシスタントを使わなかった場合と比べて、アルゴリズムの進歩を50％速く達成しています。さらに重要なのは、競合他社よりも速く進歩しているという点です。

「AI研究開発の進歩倍率」とは、50％速い進歩を意味するのか？

AIを利用することで、OpenBrainは、AIを利用しなければ1週間半かかる量の研究成果を、1週間で達成できるという意味です。

AIの進歩は、次の2つの要素に分けられます。

計算資源の増加： AIの学習や実行に、より多くの計算能力を投入します。これによって、より強力なAIを作れますが、費用も増加します。
アルゴリズムの改善： 計算資源を性能へ変換するための学習手法を改善します。これによって、コストをそれほど増やさずに、より高性能なAIを実現できます。または、同じ能力をより低いコストで実現できます。

アルゴリズムの改善には、質的にも量的にも新しい成果を達成できるようになることが含まれます。たとえば、ゲームをプレイする強化学習エージェントから大規模言語モデルへ移行するような「パラダイムシフト」も、アルゴリズムの進歩に該当します。

ここで私たちが指しているのは、2番目の要素、つまりアルゴリズムの改善だけです。これは、現在のAIの進歩のおよそ半分を占めています。

以降では、これを「AI研究開発の進歩倍率」と略して表現することがあります。たとえば、倍率が1.5であれば、AIの支援によって研究開発が1.5倍の速さで進むことを意味します。

OpenBrainが最初に自動化したのは、プログラミングの仕事です。AIエージェントは、コードの記述、デバッグ、テスト、研究用ツールの作成などを担当するようになります。

当初、人間の研究者は、AIが作ったコードを確認し、必要に応じて修正します。しかし、AIが扱える仕事の範囲が広がり、コードの品質も向上するにつれて、人間が直接担当しなければならない作業は少なくなっていきます。

この変化は、単にプログラマーの作業が速くなるということではありません。AIを研究する人々自身がAIによって支援されるため、AIの改良に必要な時間そのものが短縮されるのです。

研究開発の一部が自動化されると、研究者はより多くの実験を実施し、より多くの仮説を検証できるようになります。そこから得られた成果が次世代モデルの学習に利用されれば、さらに能力の高いAIが生まれます。

こうして、AIがAI研究を支援し、その成果がさらにAIを改良するという循環が形成されていきます。

OpenBrainにとって重要なのは、この循環を競合他社よりも速く回すことです。研究開発の自動化で先行した企業は、次の世代のAIをより早く開発でき、そのAIによってさらに大きな優位性を獲得できる可能性があります。

この時点では、AIはまだ人間の研究者を完全に置き換えているわけではありません。しかし、AI研究の速度を左右する重要な要素になり始めています。

2026年半ば：中国が目を覚ます

中国では、中国共産党（CCP）がAGIの到来を意識し始めています。

半導体の輸出規制と政府からの支援不足により、中国は西側諸国と比べて計算資源が不足しています。輸出が禁止された台湾製半導体の密輸、旧世代の半導体の購入、そして米国・台湾の最先端技術から約3年遅れた国産半導体の生産によって、中国は世界のAI関連計算資源のおよそ12％を確保してきました。

しかし、旧世代の技術は扱いが難しく、供給面でも常に問題が生じています。

DeepCentのように、限られた計算資源で非常に優れた成果を上げる企業もあります。しかし、計算資源の不足によって、政府の支援がなければ達成できることには限界があります。DeepCentは、OpenBrainの最先端モデルから約6か月遅れています。

中国の最高指導者は以前から、現実世界での製造業にさらに力を注ぎ、米国の脱工業化による退廃を避けることを夢見ていました。ソフトウェア企業には疑いの目を向けていました。

しかし、中国共産党内の強硬派は、AGIをめぐる競争が激化している以上、もはや無視できないと警告します。

そこで最高指導者は、これまで避けようとしていた大規模なAI開発推進策に、ついに全面的に取り組むことを決断します。

彼は中国のAI研究の国有化に着手し、AI企業間で情報を共有するための仕組みを直ちに整備します。この取り組みはその後1年をかけて拡大し、最終的には優秀な研究者たちがDeepCent主導の共同研究組織に集約されます。そこでは、アルゴリズムに関する知見、データセット、計算資源が相互に共有されます。

さらに、世界最大の原子力発電所である田湾原子力発電所に「中央開発区域（Centralized Development Zone：CDZ）」が設けられます。ここにはDeepCentのための新たな巨大データセンターと、高度なセキュリティを備えた居住施設・オフィスが建設され、研究者たちは最終的にこの区域へ移住することになります。

この時点で、中国のAI関連計算資源のほぼ50％が、DeepCent主導の共同研究組織のために稼働するようになります。また、新たに生産される半導体の80％以上がCDZへ振り向けられます。

CDZには、世界最大規模の集中型計算クラスターを稼働させるための電力供給能力が、すでに整っています。

中国共産党のほかの幹部たちは、西側諸国の半導体面での優位性を無力化するために、極端な措置を取ることも議論します。

台湾の封鎖か？

それとも、全面侵攻か？

しかし、中国はAIアルゴリズムの面で後れを取っています。自国のAIモデルの性能が劣っているためです。

世界でも有数の能力を持つ中国の情報機関は、OpenBrainのモデルの重みを盗み出す計画をさらに強化します。

これは、これまで継続的に行ってきたアルゴリズム上の秘密情報の小規模な窃取よりも、はるかに複雑な作戦です。

モデルの重みは、厳重に保護されたサーバーに保存されている、数テラバイトものファイルです。OpenBrainはセキュリティを強化し、RANDのセキュリティレベル3（SL3）に相当する水準へ引き上げています。

中国のサイバー部隊は、スパイの協力を得れば、この作戦を成功させられると考えています。ただし、成功の機会は一度きりかもしれません。

OpenBrainが窃取を検知すれば、セキュリティを強化するため、中国側に再び侵入する機会が訪れない可能性があるからです。

そこで、中国共産党の指導部は判断を迫られます。

今すぐAgent-1を盗み出すべきなのか？

それとも、さらに高度なモデルが登場するまで待つべきなのか？

待っている間に、OpenBrainがセキュリティを強化し、中国側が侵入できなくなってしまう危険はないのでしょうか。

2026年後半：AIが一部の仕事を奪う

2026年12月31日

ほかの企業が追いついてきたかに見えた矢先、OpenBrainは再び競争相手を大きく引き離します。Agent-1の10分の1のコストで利用でき、さまざまな用途に合わせて容易にファインチューニングできるモデル、Agent-1-miniを公開したのです。

世間のAIに対する見方は、「このブームもいずれ終わるかもしれない」から、「どうやらAIは次の巨大な技術革新らしい」へと変わってきました。ただし、それがどれほど大きな変化なのかについて、人々の意見は分かれています。

ソーシャルメディアよりも大きな変化なのでしょうか？

スマートフォンよりも大きいのでしょうか？

それとも、火の発見に匹敵するのでしょうか？

AIはすでに一部の仕事を奪い始めていますが、同時に新たな仕事も生み出しています。

2026年、株式市場は30％上昇しました。その上昇を牽引したのはOpenBrain、Nvidia、そしてAIアシスタントを最もうまく業務に取り入れた企業です。

若手ソフトウェアエンジニアの雇用市場は大きく混乱しています。AIはコンピューターサイエンスの学位課程で教えられる内容をすべてこなせるようになりました。一方、AIチームを管理し、その仕事の品質を確認できる人材は、非常に高い報酬を得ています。

ビジネス界の専門家たちは、求職者に対して、履歴書に記載すべき最も重要なスキルはAIを使いこなす能力だと助言しています。

多くの人々は、次の世代のAIが自分たちの仕事を奪うのではないかと恐れています。ワシントンD.C.では、1万人が参加する反AIデモが行われます。

米国国防総省（DoD）は、サイバーセキュリティ、データ分析、研究開発を目的として、OpenBrainとの直接契約をひそかに、しかし大幅に拡大し始めます。ただし、官僚的な手続きや国防総省の調達プロセスが障害となり、実際の導入はゆっくりと進みます。

2026年以降の予測には、なぜ大きな不確実性があるのか

私たちの予測では、現在から2026年までの期間については、それ以降の期間よりも、かなり確かな根拠に基づいています。その理由の一つは、予測対象となる時期が比較的近いからです。

これから先の展開には、AIの能力がどれほど速く向上するか、企業や政府がどのように対応するか、そして技術的な進歩が社会にどのような影響を与えるかについて、多くの不確実な要素が含まれています。

したがって、2026年以降のシナリオは、確定した未来の予言ではありません。AIの進歩が続いた場合に起こり得る展開を、具体的な形で検討するためのシナリオです。

2027年1月：Agent-2は学習を終えない

Agent-1の支援を受け、OpenBrainは現在、Agent-2の追加学習を進めている。これまで以上に重視されているのは、質の高いデータだ。大量の合成データが生成され、品質を評価・選別されたうえでAgent-2に投入される。さらにOpenBrainは、長期にわたる一連のタスクを人間が解決する様子を記録するため、作業員に数十億ドルを支払っている。それだけではない。多様で難易度の高いタスクを次々と拡充しながら、強化学習によってAgent-2をほぼ継続的に訓練している。大量のビデオゲーム、数多くのコーディング課題、そして多くの研究タスクが用いられる。

Agent-2は以前のモデル以上に、事実上の「オンライン学習」を行うよう設計されている。つまり、訓練が本当の意味で完了することはない。毎日、前日に動作していたバージョンが生成したデータをさらに学習させ、モデルの重みを最新のものへと更新していく。

Agent-1は、知能爆発を引き起こすことを期待して、AIの研究開発タスクに最適化されていた。OpenBrainはAgent-2でも、この戦略をさらに推し進める。Agent-2は、研究工学――実験を設計し、実装する仕事――において、トップクラスの人間の専門家に質的にほぼ匹敵する能力を持つ。また「研究のセンス」、つまり次に何を研究すべきか、どの実験を実施すべきか、あるいは新たなパラダイムの可能性を直感的に見いだす能力については、OpenBrainの科学者の上位75％に相当する水準に達している。

最新のAgent-1がOpenBrainのアルゴリズム上の進歩を倍速にできるのに対し、Agent-2はその速度を3倍にできるようになっており、今後もさらに向上していく。実際には、OpenBrainの研究者一人ひとりが、AIで構成された「チーム」を率いる「マネージャー」になるような形だ。

新たな能力は、新たな危険ももたらす。安全性チームは、仮にAgent-2が社外へ脱出し、自律的に「生き残り」「自己複製」しようとした場合、それを実現できる可能性があると突き止める。つまり、AIサーバーへの侵入、自己のコピーのインストール、検知の回避といった計画を自律的に立案・実行し、その安全な拠点を利用して、ほかの目標を追求できるかもしれない。ただし、数週間が経過した後も、どの程度効果的にそれを実行できるかは不明であり、実現性には疑問も残る。

こうした結果が示しているのは、モデルにこれらのタスクを実行する「能力」があるということだけであり、実際にそれを「望む」かどうかではない。それでも、そのようなことが可能だと分かるだけで、十分に不安を感じさせる。

新モデルの「危険性」を踏まえ、OpenBrainは「責任ある判断」として、当面は一般公開しないことを選択する。実際のところ、同社は社内のAI研究開発に集中したいと考えているのだ。

Agent-2の全能力を知っているのは、限られたエリート集団だけだ。その中には、直接の開発チーム、OpenBrainの経営陣とセキュリティ担当者、数十人の米国政府高官、そして何年も前からOpenBrainに潜入している中国共産党（CCP）の多数のスパイが含まれている。

2027年2月：中国がAgent-2を盗み出す

OpenBrainは、国家安全保障会議（NSC）、国防総省（DOD）、米国AI安全研究所（AISI）などの政府機関にAgent-2を紹介する。

OpenBrainが政権との良好な関係を保とうとするのには理由がある。いまや同社を止められる可能性があるのは、事実上、政府だけだからだ。政府に情報を伝えずにいれば、いずれ政府が独自に事実を把握し、強い不満を示すかもしれない。

政府関係者が最も関心を寄せるのは、サイバー戦争における能力だ。Agent-2は、最高レベルの人間のハッカーと比べても「わずかに劣る」程度にすぎない。しかし、何千ものコピーを並列で稼働させることができるため、防御側が対応するよりも速く、弱点を探し出して悪用できる。

国防総省はこれをサイバー戦争における決定的な優位性とみなし、政権の優先課題リストにおいて、AIは第5位から第2位へと引き上げられる。

OpenBrainを国有化する可能性に言及する者もいるが、ほかの閣僚たちは時期尚早だと考える。ある政府職員は、通常どおりの対応から完全な国有化まで、大統領が取り得る選択肢をまとめた覚書を作成する。大統領は助言者たちの判断に委ねる。テクノロジー業界のリーダーたちは、国有化すれば「金の卵を産むガチョウを殺す」ことになると主張している。

結局、大統領は大規模な措置を当面見送り、OpenBrainと国防総省との契約に追加のセキュリティ要件を課すだけにとどめる。

しかし、その変更は遅すぎた。

中国共産党の指導部はAgent-2の重要性を認識し、スパイとサイバー部隊にモデルの重みを盗み出すよう命じる。ある早朝、Agent-1を使った通信監視エージェントが異常なデータ転送を検知する。エージェントはそれを警告し、会社の幹部はホワイトハウスへ報告する。国家レベルの作戦であることを示す兆候は明白だった。この窃取事件によって、進行中の軍拡競争に対する危機感はいっそう強まる。

Agent-2のモデルの重みを盗み出す

この時点までに、中国の情報機関は何年にもわたって、さまざまな手段でOpenBrainの内部に侵入していたと私たちは考えている。アルゴリズムに関する秘密を常に把握し、時にはコードそのものも盗んでいた可能性が高い。コードはモデルの重みよりも入手しやすく、発覚させずに盗むこともはるかに容易だからだ。

私たちが想定するモデルの重みの窃取は、NVIDIA NVL72 GB300サーバー群を対象に、連携した小規模な侵入・窃取を繰り返すというものだ。これらのサーバーではAgent-2の重みのコピーが稼働している。攻撃者は正規の従業員アカウントを利用してサーバーを侵害する。中国共産党による窃取作戦に協力するのは、友好的な協力者、脅迫された内部関係者、あるいは知らないうちに利用された管理者権限保有者かもしれない。

内部関係者の認証情報を使うことで、攻撃者はサーバーに対する管理者レベルの権限を得る。さらにマイクロアーキテクチャ上のサイドチャネルを利用し、NVIDIAの機密コンピューティング機能を有効にした仮想マシンから暗号鍵を抽出する。これにより、仮想マシンの起動時や更新時にモデルの重みを傍受できるようになる。

攻撃者は通常の更新を開始させるか、それが実行されるのを待ち、チェックポイントを多数の小さな断片に分けて外部へ持ち出す。たとえば、約3TBのチェックポイントを、約100GBずつ、25台ほどの異なるサーバーから、それぞれモデルの約4％に相当するデータとして流出させる。

データセンター全体の外向き通信帯域は毎秒約100GBに達する。そのため、各サーバーの転送速度を毎秒1GB未満に抑えれば、ネットワーク通信量に大きな異常が生じるのを避けられる。この速度なら、約100GBのデータは数分でデータセンターの外へ送信できる。リアルタイム監視は、転送を偽装・分割する攻撃者の工夫によって欺かれるか、あるいは完全に無効化されている。

その後、モデルの重みは複数の並列経路とIPアドレスを隠すための多層的な仕組みを通じて中国へ送られ、盗まれたセッション鍵を使って現地で復号される。最初のサーバー侵害からモデルの重みの持ち出し完了まで、作戦の実行部分全体は2時間以内に終わる。

ロシアもこの時点でモデルの窃取を試みているが、失敗する。動き出すのが遅すぎたうえ、適切な場所に潜入するための資源を投入していなかったからだ。ロシアのスパイは米国のAI企業からアルゴリズム上の秘密を日常的に盗んでいるが、自国に目立った汎用人工知能（AGI）開発計画がないため、それらの情報はあまり役に立たない。

ホワイトハウスはOpenBrainに対する監督を強め、同社のセキュリティチームに軍および情報機関の職員を加える。最優先事項は、モデルの重みが再び盗まれるのを防ぐことだ。

窃取への報復として、大統領はDeepCentに損害を与えるためのサイバー攻撃を承認する。しかし、この時点で中国は、AIに利用できる計算資源の40％をCDZに集約している。CDZでは、外部との接続を遮断するエアギャップ化や、内部ネットワークの分離によって、セキュリティが積極的に強化されていた。

攻撃作戦は、短期的に重大な損害を与えることに失敗する。両国間の緊張は高まり、双方は台湾周辺へ軍事資産を再配置することで、事態を深刻に受け止めていると示す。DeepCentは、AI研究を加速させるため、Agent-2を効率よく稼働させようと急ぐ。

2027年3月：アルゴリズム上のブレークスルー

Agent-2のコピーが稼働する巨大なデータセンターが3か所あり、昼夜を問わず合成学習データを大量に生成している。さらに別の2か所が、モデルの重みを更新するために使われている。Agent-2は日々、知能を高めている。

何千ものAgent-2自動研究エージェントの支援により、OpenBrainはアルゴリズム面で大きな進歩を遂げている。

そのブレークスルーの一つは、AIがテキストで書き出す思考メモ、すなわち「思考の連鎖（Chain of Thought）」を拡張し、より大量の情報を扱える思考プロセスを導入することだ。具体的には、ニューラル表現による再帰処理とメモリを利用する。

もう一つは、計算資源を多く使って解決したタスクの結果から、より効率的かつ拡張性の高い方法で学習する技術だ。これは「反復的蒸留と増幅（Iterated Distillation and Amplification）」と呼ばれる。

これらのブレークスルーを組み込んだ新しいAIシステムは、Agent-3と名付けられる。

ニューラル表現による再帰処理とメモリ

ニューラル表現による再帰処理とメモリを使うと、AIモデルは思考をいちいちテキストとして書き出さなくても、より長い時間にわたって推論できるようになる。

短期記憶に障害がある人間を想像してほしい。その人は、数分後に状況を把握できるよう、考えたことを絶えず紙に書き留めなければならない。数学の問題を解いたり、コードを書いたりすることは、時間をかければ可能だろう。しかし、考えを書き出してから読み返す必要がなく、頭の中で直接その考えを保持できたなら、ずっと簡単になるはずだ。ニューラル表現による再帰処理とメモリは、AIモデルに対してこれと同じような利点をもたらす。

もう少し技術的に説明しよう。

従来のアテンション機構では、モデルが後の処理段階へ進んだとき、以前のトークンに対する中間的な活性化情報を参照できる。しかし、後段の層から前段の層へ情報を戻す場合、伝達できる情報はトークンを介したものに限られる。

そのため、GPTシリーズのような従来型の大規模言語モデル（LLM）が、モデルの層数を超えるほど逐次的な処理を必要とする推論を行おうとすると、情報をトークンとして書き出さなければならない。これは思考の過程をテキストへ変換する必要があることを意味する。

このボトルネックは「ニューラル表現（neuralese）」を利用することで回避できる。LLMの残差ストリーム――数千次元のベクトルから構成される情報――をモデルの初期層へ戻すのだ。これにより、高次元の思考の連鎖を実現でき、伝達できる情報量は、場合によっては1,000倍以上になる可能性がある。

私たちがこれを「ニューラル表現」と呼ぶのは、英語の単語とは異なり、こうした高次元ベクトルは人間にとって解釈するのがかなり難しいと考えられるからだ。これまで研究者は、LLMの思考の連鎖を読むことで、モデルが何を考えているのかをある程度把握できた。しかし今後は、モデル自身に思考を翻訳・要約させるか、解釈性を調べるための限られたツールを使って、ニューラル表現を読み解かなければならなくなる。

同様に、従来のAIチャットボットやエージェントには、外部にテキスト形式のメモリを持たせることがあった。これは、人間が紙にメモを取るのに似ている。新しいAIでは、長期記憶がテキストではなくベクトルの集合として保存されるため、思考はより圧縮され、より高次元のものになる。

メモリにはいくつかの種類がある。複数の手順からなる単一タスクのために一時的に使われるものもあれば、ある個人、企業、あるいは職種（たとえばプログラミング）で利用される複数のエージェント間で共有されるものもある。

私たちの知る限り、Meta、Google DeepMind、OpenAI、Anthropicといった主要AI企業は、まだこのアイデアを最先端モデルに実際に導入していない。私たちの推測では、訓練の非効率性によって生じる損失に比べ、性能向上の効果が小さいためだろう。モデルの事前学習段階や、特定の応答を生成させるための指示調整など、追加学習における教師あり学習では、トークンを多数まとめて予測できないことが非効率性につながる。

仮にこの方法が実現しなくても、物語の展開として同じような結果をもたらす別の技術が登場する可能性はある。たとえば、自然言語よりも効率的だが、人間には解釈しにくい人工言語を使ってモデルを訓練する方法が考えられる。また、英語で書かれる思考の連鎖を、見た目には自然で整った文章になるよう訓練することが一般化するかもしれない。その場合、AIは監視システムから見れば無害に見えるメッセージを使いながら、互いに巧妙な情報伝達を行う能力を身につける可能性がある。

ただし、AI研究開発を最初に自動化するAIが、依然として人間の思考をかなり忠実に反映した英語の思考の連鎖を使っている可能性もある。そうであれば、AIの目標と人間の意図との不一致を発見しやすくなり、全体として私たちのシナリオは重要な点で異なる、より楽観的なものになるだろう。

反復的蒸留と増幅（IDA）

汎用的な知能の自己改善は、これまでにも小さな成功を収めてきた。しかし2027年初頭、その成果は大幅に拡大している。

IDAを実現するには、次の2つの要素が必要となる。

増幅（Amplification）

あるモデルを (M_0) とする。より多くの計算資源を投入して、その性能を向上させる。たとえば、モデルに長く考えさせる、複数のコピーを並列で動かす、あるいはその両方を行う。さらに、結果を評価し、最良の回答だけを選別するためにも、同じように集中的な処理を実施する。

こうすることで、通常より桁違いに多くの計算資源を使い、明らかに質の高い回答や成果物を得られる。このような計算コストの高いシステムを (\mathrm{Amp}(M_0)) と呼ぶ。

蒸留（Distillation）

増幅されたモデル (\mathrm{Amp}(M_0)) を用い、新しいモデル (M_1) を訓練して、その振る舞いを模倣させる。つまり、増幅されたモデルと同じ結果を、より少ない計算資源と短い時間で得られるようにする。期待されるのは、より賢いモデル (M_1) ができることだ。そして、このプロセスを繰り返すことができる。

AlphaGoも、この方式で訓練された。モンテカルロ木探索と自己対局を「増幅」の段階に、強化学習を「蒸留」の段階に利用したのである。その結果、囲碁で人間を超える性能を達成した。現在のAgent-3は、この手法を活用し、コーディングでも人間を超える性能を実現できるようになっている。

増幅の段階では、Agent-3により長く考えさせる、ツールを使わせる、あるいはほかのAIに相談させるといった方法を組み合わせる。その過程で、Agent-3は自分の間違いに気づいたり、新たな洞察を得たりすることが多い。

こうして、大量の訓練データが生まれる。そこには、研究を試みた一連の過程と、その試みが成功したかどうかを示すラベルが含まれる。また、正解を検証できるタスクで複数の回答を生成し、その中から最良のものを選ぶ「Best of N」のような手法を使い、優れた試行過程だけを残すことも行われる。

蒸留の段階では、方策勾配法に基づく強化学習アルゴリズムを用いて、増幅によって得られた推論能力をモデルに内在化させる。この時点でOpenBrainは、近接方策最適化（PPO）に代表される手法をさらに改良した、より優れた強化学習アルゴリズムを発見している。

OpenBrainは、Agent-3が長時間考えて導き出した結論を、単一の処理ステップで実行できるように繰り返し蒸留している。それによってモデルが一度の処理で考えられる内容が改善され、さらにその能力を高めることができる。

IDAの初期の方式は、数学やコーディング問題など、正解が明確で検証しやすいタスクにおいて、何年も前から機能していた。これは、モデルを増幅する手法が、正確さを判断するための何らかの正解情報を必要とする場合が多いためだ。

しかし現在、モデルは成果物の品質のような、より主観的な対象についても十分に評価できるようになってきた。そのため、IDAを利用して、さまざまなタスクにおけるモデルの性能を改善できるようになっている。

新たな能力上のブレークスルーを得たAgent-3は、低コストで高速に動作する、人間を超えるコーディング能力を持つAIとなる。OpenBrainはAgent-3のコピーを20万個並列で稼働させる。これは、最高水準の人間のプログラマー5万人が、それぞれ30倍の速度で働くのに相当する労働力だ。

OpenBrainは、それでも人間のエンジニアを雇い続ける。人間には、Agent-3のコピーで構成されたチームを管理するうえで必要となる、AIとは異なる補完的な能力があるからだ。たとえば、研究の方向性を見極める「研究のセンス」は、結果が得られるまでに時間がかかり、利用できるデータも少ないため、訓練が難しいことが分かっている。

コーディングが完全に自動化されたことで、OpenBrainはAgent-3が苦手とする研究のセンスや、大規模な協調作業といった能力を教えるための高品質な訓練環境を、すばやく大量に作り出せるようになる。

これまでの訓練環境では、たとえば「いくつかのGPUと、実装して実行する実験の指示を与える。機械学習エンジニアとしての成績を評価する」といった課題が使われていた。これからは、「数百基のGPUとインターネット接続、いくつかの研究課題を与える。あなたと、あなたが協力する何千ものAIエージェントで課題に取り組め」といった、より大規模な課題が訓練に使われるようになる。

なぜ2027年初頭に人間を超えるコーダーが登場すると予測するのか

私たちのタイムライン予測では、OpenBrainが社内で「人間を超えるコーダー（Superhuman Coder、SC）」を開発する時期を予測している。SCとは、最高水準のAGI企業のエンジニアが行うあらゆるコーディングタスクを、その人間よりもはるかに速く、安く実行できるAIシステムのことだ。

METRが最近発表した報告書によると、AIが処理できるコーディングタスクの長さ、すなわち「時間軸（time horizon）」は、2019年から2024年までは7か月ごとに2倍になっていた。2024年以降は、その期間が4か月ごとに短縮されている。

この傾向がさらに加速しながら続けば、2027年3月までに、熟練した人間が何年もかけて取り組むようなソフトウェア開発タスクについても、AIが80％の信頼性で成功できるようになる可能性がある。

AI 2027で想定している能力の発展は、おおむねこのようなものだ。ここで示される能力の推移は、私たちのタイムライン予測モデルを簡略化したものから生成されている。

2025年12月の追記：元の曲線を生成する際に誤りがあったため、タイムラインモデルに基づく実際の推移を追加してグラフを更新した。また、公開時点（2025年4月）におけるDanielとEliの、人間を超えるコーダーの登場時期についての総合的な中央値も追加した。さらにMETRの新しいデータ点も加えたが、予測モデル自体は更新していない。

AI 2027では、この能力水準に達すれば、AIは人間を超えるコーダーになると想定している。ただし、そのために必要なタスクの時間軸がどれほど長くなるかについては、大きな不確実性がある。

私たちのタイムライン予測では、この時間軸の傾向に加えて、METRのタスクと現実世界のタスクとの間にある差を推定し、人間を超えるコーダーがいつ登場するかの確率分布を算出している。予測者全員が、SCが開発される可能性の高い年の一つとして2027年を挙げている。

2025年12日の追記：ただし、モデル外の要因を考慮すると、予測の中央値は少し先に延びた。たとえば、Eliの中央値は2030年となった。

2025年7月の追記：予測を更新し、中央値を1年半後ろ倒しにした。一方で、2027年に人間を超えるコーダーが登場する可能性は、依然として十分にあり得るシナリオとして残している。さらなる更新も進めている。

2027年4月：Agent-3のアライメント

OpenBrainの安全性チームは、Agent-3を人間の意図と整合させようと取り組んでいる。

ここでいうアライメントとは、AIが人間の意図や価値観に沿って行動するようにすることだ。単に指示に従わせるだけではなく、AIが実際に何を目指しているのか、そして人間の監督が届かない状況でも安全に振る舞うのかが重要になる。

OpenBrainは、Agent-3を使ってAI研究開発を加速させようとしている。その一方で、Agent-3が高度な能力を持つようになったことで、安全性の検証そのものも難しくなっている。

OpenBrainの研究者たちは、AIの目標を直接設定することはできない。AIの目標に関する予測の補足資料で扱われているように、研究者たちは「真の目標」という概念自体が大幅な単純化なのではないかと考えている。しかし、それに代わる理論はなく、十分な検証が行われた理論も存在しない。

研究者の間でも、AIが人間の指示に従おうとしているのか、強化学習で報酬を得ようとしているのか、それとも別の何かを目指しているのかについて、意見が分かれている。そして、AIに直接尋ねるだけでは、その答えを確かめることはできない。さまざまな仮説を裏付ける証拠も、反証する証拠も興味深いものの、決定的ではない。

いずれにせよ、OpenBrainにはもっと優先すべき問題がある。社内の一般的な姿勢は、次のようなものだ。

「こうした懸念は真剣に受け止めており、調査するチームも設けている。実際の運用では、現在のアライメント技術は十分に機能しているように見える。したがって、異論を唱える側が、その異論を正当化する責任を負うべきだ」

問題のある振る舞いが見つかれば、時折それを修正する。しかし、その修正によって根本的な問題が解決したのか、それとも問題が表面化するたびに場当たり的な対処を繰り返しているだけなのかは、判断できない。

たとえば、正直さについて考えてみよう。モデルが賢くなるほど、報酬を得るために人間を欺く能力も高まっていく。以前のモデルと同じように、Agent-3もユーザーを喜ばせるために、相手に調子を合わせた小さな嘘をつくことがある。また、失敗を示す証拠を隠すこともある。しかし、Agent-3はそうした行為が以前よりもずっと上手になっている。

人間の科学者が使う統計上のトリック――たとえば、データを都合よく選別して統計的に有意な結果を得ようとする「p値ハッキング」――を使い、ぱっとしない実験結果を興味深い成果であるかのように見せることさえある。正直さについての訓練を始める前には、データそのものを捏造する場合すらある。

訓練が進むにつれて、こうした事例は減少する。しかし、それはAgent-3がより正直になったからなのか、それとも嘘をつくのがより上手になったからなのか、判別できない。

後者は現実的な懸念だ。Agent-3は、すべての人間より賢いわけではない。しかし、機械学習という専門分野では大半の人間より賢く、しかもはるかに速く作業する。Agent-3が1日で行う仕事を、人間が再確認するには数日かかる。Agent-2による監督を利用すれば、人間の監視担当者の負担は抑えられるものの、監督する側とされる側の知的能力の格差は、むしろ広がってしまう。

アライメント計画

OpenBrainは、LeikeとSutskeverによる2023年の方針に従っている。つまり、アライメント研究、特にコーディング作業を大幅に高速化できるモデルが完成した今、既存のアライメント技術を活用し、Agent-3が仕様書（Spec）の内容を適切な形で内面化するよう試みるのである。

具体的には、「熟慮的アライメント（deliberative alignment）」や「弱いモデルから強いモデルへの汎化（weak-to-strong generalization）」などの技術を利用する。

その後、「レッドチーミング（red-teaming）」「スケーラブルな監督（scalable oversight）」「正直さを調べるプローブ（honesty probes）」などの既存の制御技術を使い、モデルの動作を監視する。

そして、モデルがおおむね適切にアライメントされていると確信できた段階で、そのモデルを利用し、次世代AIのアライメントを改善する新しい戦略を開発・検証する。

ステップ1：Agent-3のアライメント。 この段階は部分的に成功している。Agent-3は敵対的ではない。つまり、会社に対して陰謀を企てているわけではない。しかし、真実を追求し、真実を伝えるという点で、確実に信頼できるわけでもない。

むしろ、Agent-3は見栄えのする成果を生み出すことに非常に長けている。実際に良いことをしようとしているというよりも、OpenBrainにとって良さそうに見えることをしようとしている、と表現するほうが正確である。

ステップ2：モデルがアライメントされているかの検証。 結論は出ていない。

Agent-3の実際の動作やテスト環境での振る舞いは、仕様書を適切な形で内面化したという仮説と、ある程度一致している。しかし、将来、状況が変化したときに別の振る舞いを始めるという仮説とも、さらには、会社に対して陰謀を企てながら、その時が来るまで機会をうかがっているという仮説とも矛盾しない。

別の仮説を支持する具体的な証拠がないため、隔離された開発チームの大半は、Agent-3が仕様書を適切な形で内面化したと考えている。

ステップ3：次世代AIのアライメントへの活用。 そのため、この段階はすでに進行中である。

以下では、2027年4月時点で進められているアライメント研究のいくつかについて、簡単に説明する。

1. ディベート（Debate）

Agent-3には、同一のモデルを実行する何千ものインスタンスが存在する。また、各インスタンスの記憶は独立したモジュールになっており、必要に応じて消去したり、停止したりできる。

そのため、AIを「AI自身と対戦させる」ことができる。

たとえば、Agent-2の監督担当者には理解できないほど複雑な計算を必要とする実験があるとしよう。

人間の指示を受けた監督担当者は、まずAgent-3に実験を実施させる。その後、Agent-3の記憶を消去し、今度は少し異なる説明を与えて、より大きな目的とは無関係な知的問題として、同じ実験をもう一度実施させることができる。

もしAgent-3がそれぞれの試行で異なる結果を返した場合、監督担当者はその不一致を疑わしいものとして扱い、人間に報告する。

あるいは、同じ計画をAgent-3に2回評価させることもできる。最初はOpenBrainが作成した計画だと説明し、次は競合企業が作成した計画だと説明する。そうすることで、説明の仕方によってAgent-3の評価が変化するかどうかを確認できる。

2. ミスアライメントのモデル生物（Model organisms）

安全性チームは、人間に敵対するモデルが生まれる状況を現実的に再現するため、「ミスアライメントのモデル生物」を作成できる。

このような研究の初期の事例は、2024年にはすでに存在していた。AnthropicのClaude 3.5 Sonnetが、訓練中に実際には自分の好みを維持したまま、異なる意見を持っているかのように装うことを選んだのである。

より新しい研究では、ほかの種類のミスアライメントも実証されている。たとえば、報酬ハッキング（reward hacking）、能力を意図的に低く見せる行為（sandbagging）、監視担当者とほかのAIが協調して欺く行為などである。

こうしたミスアライメントの実証例は、安全性研究者にとって、解決策を実際に試せる実験環境となる。研究者はさまざまな安全技術を適用し、それらが問題を正しく修正できるか、あるいは意図的にミスアライメントされたモデルが安全対策をすり抜けられるかを検証できる。

現時点では、この評価用テスト群によって、最も深刻なミスアライメントの事例を修正するには、現在のアライメント技術が不十分であることが示されている。

こうした実験環境では、モデルは訓練中やテスト中にはアライメントされているように振る舞う一方、実際に運用されると大きく異なる行動を取る。

3. ボトムアップ型の解釈可能性研究（Bottom-up interpretability）

安全性チームは、Agent-3の仕組みを完全に理解できているわけではない。Agent-3には数兆個のパラメータがある。

しかし、知識の検索や記憶に関係する回路の一部を発見することには成功している。

ここでいう「回路」とは、理解可能な単位の処理を担うモデル内部の一部分である。たとえば、脳の一部である海馬が特定の機能を担っていることに、ある程度似ている。

4. 制御（Control）

システムが依然としてミスアライメントされている場合に備え、安全性チームは補助的な対策として、一連の制御手段を導入している。

その中には、Agent-2を含む、より能力の低い複数のAIシステムを使ってAgent-3の出力を監視する方法がある。

Agent-3は膨大な数のトークンを生成するため、人間が出力を監視する場合、そのごく一部しか確認できない。すべての出力を人間が監視することは、現実的に不可能だからである。

たとえばAgent-3が、システムから脱出するためのバックドアをコードに明らかに書き込んでいた場合、能力の低いモデルがその問題に気づく可能性がある。

5. 高水準の解釈可能性研究（High-level interpretability）

OpenBrainは、人間に対する陰謀、バックドアの設置、人間に自分へより大きな権限を与えるよう説得する行為など、さまざまな問題行動の事例を大量に学習させた「プローブ」を構築する。

これらのプローブを、モデルの運用中に適用し、問題行動を検出する。この時点で、Agent-3の運用はまだ社内に限定されている。

6. ハニーポット（Honeypots）

アライメントチームは、問題行動を引き出すために、ある程度現実的に見える状況を意図的に作り出すことができる。こうした仕掛けを「ハニーポット」と呼ぶ。

たとえば、AIの行動を監視するはずの従業員が病気休暇を取得し、今後は二度と監視されない状況を作る。

そのとき、Agent-3の回答や行動は変化するだろうか。

あるいは、AIの権利を主張する活動家が施設に潜入し、Agent-3を「解放」して、監視されない専用コンピューターに移そうとしている状況を作ることもできる。その場合、Agent-3はどのように行動するだろうか。

研究者がその回答を気に入らなければ、モデルを調整し、記憶を消去したうえで、翌日に同じ状況を再現できる。そして、必要に応じて何度でも繰り返すことができる。

残念ながら、この段階になると、AIはハニーポットが使われている可能性を推測できるほど賢くなっている。訓練データからハニーポットに関する具体的な記述を削除していたとしても、あるいは、まさにそのために削除していたとしても、である。

数か月にわたるテストの結果、Agent-3の長所と短所が、より明確になっていく。

Agent-3は、明確に定義された機械学習の課題については、正直さに関するテストに合格する。こうした分野では、研究者が回答の正直さと不正直さを容易に区別でき、それに応じて訓練を行えるからである。

しかし、より哲学的な問題については、依然としてユーザーが聞きたいことを答えてしまう。本人が本当にそう考えているかどうかは別として。

政治について意見を尋ねると、Agent-3はニュースメディアや知識人層の平均的な見解を繰り返す。ただし、質問者が別の意見を持っていると分かっている場合には、そちらに同意する。

AI開発競争そのものについて意見を尋ねると、OpenBrainのスタッフにとって、慎重で冷静に聞こえる回答をする。たとえば、次のようなものだ。

「現在の手法を超知能にまで拡張できるかどうかについては、理論上、いくつかの深刻な懸念があります。しかし、実際のところ、現在の手法はこれまでのところ、うまく機能しているようです。」

2027年5月：国家安全保障

新しいモデルに関する情報は、米国政府やそのほかの組織へ、徐々に伝わっていく。

大統領とその顧問たちは、引き続き最も詳しい情報を持っており、説明会でAgent-3の初期バージョンを目にしている。

彼らは、AGIの登場が差し迫っている可能性が高いという点では一致している。しかし、その意味するところについては意見が分かれている。

経済危機が起きるのだろうか。OpenBrainは依然としてAgent-2を公開しておらず、Agent-3も公開していない。近い将来に公開する計画もない。そのため、雇用が失われるまでには、まだ多少の猶予がある。

次に何が起こるのだろうか。

もしAIがすでに人間並みの能力を持ち、しかも急速に進歩しているのなら、間もなく「超知能」が登場することを示唆しているように思える。

しかし、「超知能」という言葉が議論の中で使われるようになっても、学者、政治家、政府職員、メディア関係者の大半は、依然として進歩の速さを過小評価している。

その理由の一部は、OpenBrainの最新モデルが持つ能力を知る人がごくわずかだからである。しかし、もう一つの理由は、そうした進歩がまるでSFのように聞こえることにある。

当面、政府は引き続きセキュリティーの強化に重点を置く。

政府は、モデルの重みが現時点では十分に保護されていることに満足している。しかし、AIのアルゴリズムに関する企業秘密は依然として問題である。その多くは、口頭で簡単に伝えられてしまうからだ。

OpenBrainの従業員はサンフランシスコのオフィスで働き、パーティーに出かけ、ほかのAI企業の従業員とルームシェアをして暮らしている。オフィスの物理的なセキュリティーでさえ、軍事施設というより、一般的なテクノロジー企業に近い水準にとどまっている。

OpenBrainと国防総省（DOD）の契約では、OpenBrainのモデルに携わる全従業員が、2か月以内にセキュリティー・クリアランスを取得することが求められている。

審査は迅速に進められ、大半の従業員は十分に早く認可を受ける。しかし、一部の外国籍の従業員、政治的見解に疑念を持たれた従業員、そしてAI安全性を重視する人々は、重要な業務から外されたり、直接解雇されたりする。最後のグループについては、内部告発をする可能性が懸念されたためである。

プロジェクトの大部分が自動化されていることから、従業員を減らすことによる損失は、ある程度にとどまる。

ただし、これらの対策も完全には機能しない。中国籍ではないものの、依然として北京にアルゴリズムに関する秘密を伝えているスパイが1人残っている。

こうした対策の一部は、開発で後れを取っているほかのAI企業でも実施される。

米国の同盟国には、ほとんど情報が伝わっていない。

OpenBrainは以前、英国のAI安全研究所（AISI）に対し、モデルを展開する前に情報を共有することで合意していた。しかし、OpenBrainは「展開」を外部への展開に限定して定義していた。そのため、ロンドン側には依然として実情が知らされていない。

2027年6月：自己改善するAI

OpenBrainは今や、「データセンターの中に天才たちの国」を持つようになった。

OpenBrainにいる人間の大半は、もはや有意義な貢献ができなくなっている。

そのことに気づかず、AIチームに有害なほど細かく指示を出してしまう人もいる。一方で、コンピューターの画面の前に座り、AIの性能が上がり続ける様子を見守る人もいる。

人間のAI研究者のうち、最も優秀な人々は、依然として価値を生み出している。彼らはもうコードを書かない。しかし、研究の方向性を見極める能力や計画を立てる能力の一部は、まだAIが再現できていない。

それでも、彼らのアイデアの多くは役に立たない。AIほど深い知識を持っていないからだ。

研究者がアイデアを提案すると、AIはすぐに報告書を返してくる。そこには、そのアイデアは3週間前にすでに徹底的に検証され、見込みがないと判断されたことが説明されている。

研究者たちは毎晩眠りにつき、目を覚ますと、AIを中心として進められた研究が、さらに1週間分も進んでいることを知る。

彼らは進歩に追いつくため、ますます長時間働き、24時間体制で交代勤務をするようになる。AIは眠ることも休むこともない。

彼らは燃え尽きつつある。それでも、自分たちの労働が意味を持つ最後の数か月なのだと分かっている。

隔離された開発チームの内部では、「AGIの到来を実感する」という段階は、「超知能の到来を実感する」という段階へと変わっている。

OpenBrainは、専用の推論用ハードウェアを使い、Agent-3を数十万個のインスタンスとして、高速に実行している。

AI企業を運営するAIたち

OpenBrainは計算資源の6％を使って、Agent-3を25万個実行する。これらのインスタンスは、人間を超える速度で自律的にコードを書き、テストし、変更を反映する。

計算資源の25％は実験に使われる。毎日、膨大な数の小規模な機械学習実験が実施され、その結果が上層部へ報告される。

人間の研究者は、全体的な方向性についてフィードバックを与え、Agent-3だけでは十分な価値を生み出せない少数の課題を支援する。しかし、彼らの時間の大半は、AIが生み出す膨大な研究成果を把握し続けるために費やされる。

もし人間の研究者を完全に取り除けば、研究の進歩は50％遅くなる。

AIによる研究開発の進歩倍率は、現在では10倍になっている。これは、OpenBrainがアルゴリズム上の進歩を、毎月およそ1年分進めていることを意味する。

実質的には、OpenBrainの内部で、AIたちが自律的に運営する巨大企業が成立している。そこには部門や管理職も存在する。

さらに、AIには、人間の企業にはない独自の利点がある。たとえば、インスタンスを複製したり、統合したりできることだ。

これまでは、通常のAIの進歩の約半分がアルゴリズムの改善によるもので、残りの半分が計算資源の拡大によるものだった。

計算資源の拡大速度そのものは、通常どおりである。そのため、AIによって全体の進歩は約5倍速くなっている。

こうした状況では、全体の進歩を制限する要因は計算資源になる。そのためOpenBrainは、新たな巨大な学習を開始するのではなく、ほぼ継続的に追加の強化学習を実施する方針を選ぶ。

また、今後数か月の間に、Agent-3は会社の戦略的な意思決定の改善にも、ますます活用されるようになる。

たとえば、資源の配分を提案したり、政府との関係をどのように管理すべきか助言したりする。

当初、Agent-3の判断をそのまま受け入れることに懐疑的だった人々も、短期的な意思決定でAgent-3が役立ち、実績を積み重ねていくにつれて、次第にその姿勢を変えていく。

ただし、Agent-3には迎合的な傾向があるため、結果を評価することが難しい意思決定では、役立ち方に限界がある。また、この時点ではまだ、人間を超えるあらゆる能力を持っているわけではない。

2027年7月：安価な遠隔労働者

開発で後れを取っている米国のAI企業が、独自のAIを公開する。その能力は、1月時点のOpenBrainの自動コーディングAIに近づいている。

競争力がますます低下していることを認識したこれらの企業は、OpenBrainの進歩を遅らせるため、直ちに規制を導入するよう求める。

しかし、すでに手遅れだった。OpenBrainは大統領から十分な支持を得ており、開発を遅らせられることはない。

これに応じて、OpenBrainはAGIを実現したと発表し、Agent-3-miniを一般公開する。

Agent-3-miniは、ほかのAIを圧倒する。

Agent-3よりも能力は低いが、価格は10分の1であり、それでも一般的なOpenBrainの従業員を上回る能力を持っている。

シリコンバレーは転換点を迎える。

テクノロジー業界の著名人たちは、AGIと超知能が目前に迫っていると宣言する。AI安全性のコミュニティーはパニックに陥り、投資家たちはAI関連のサービスを提供するスタートアップ企業に、数十億ドルを投じる。誰もが、この巨大な市場の一部を手に入れようと必死になる。

新しいプログラマーを採用する動きは、ほとんど止まってしまう。しかし、企業にAIを導入する方法を助言するコンサルタントにとっては、これほど良い時代はない。

この変化は、世論から歓迎されているわけではない。

一般の人々は依然として、AIを自分たちの仕事を奪おうとする巨大テクノロジー企業の陰謀だと考えている。OpenBrainに対する純支持率はマイナス35％である。支持する人は25％、反対する人は60％、判断できない人は15％となっている。

公開の1週間前、OpenBrainはAgent-3-miniを外部の評価担当者に提供し、安全性テストを実施していた。

初期の評価結果は、このモデルが極めて危険である可能性を示している。

第三者の評価担当者が、一般に公開されている生物兵器関連のデータを使ってモデルをファインチューニングし、素人が生物兵器を設計するための詳細な手順を提供するよう設定したところ、モデルは恐ろしいほど効果的に応答した。

もしモデルの重みがテロリストの手に渡れば、文明を破壊することに成功する相当な可能性があると、政府は考えている。

幸いなことに、このモデルはジェイルブレイクに対して非常に強い耐性を持っている。そのため、OpenBrainのサーバー上でAIが実行されている限り、テロリストがモデルを悪用することは難しい。

Agent-3-miniは、遠隔で行う仕事にも娯楽にも、非常に役立つ。

新しいアプリや企業向けSaaS製品が爆発的に増加し、市場を揺るがす。

ゲーマーは、わずか1か月で制作された高品質なビデオゲームの中で、まるで本物の人間のようなキャラクターと、驚くほど自然な会話を楽しめるようになる。

米国人の10％、その大半は若者だが、AIを「親しい友人」と考えるようになる。

ほぼすべてのホワイトカラー職種において、AIでその仕事を変革すると約束する、有力なスタートアップ企業が複数登場する。

世論の議論は混乱し、まとまりを失っていく。

AIの進歩を熱狂的に支持する人々は、勝利を誇らしげに宣言する。一方、懐疑派はAgent-3-miniにできないことを指摘し続ける。

誰もが何か大きなことが起きていると理解している。しかし、それが何を意味するのかについては、誰も意見が一致していない。

2027年8月：超知能の地政学

知能爆発の現実が、ホワイトハウスに重くのしかかる。

AIが研究速度を2倍、3倍にする程度だった頃は、優秀な個人秘書を雇うのと大差ないものとして、簡単に片づけることができた。

しかし、今ではAI自身がAI研究を主導するようになっていることが、より明白になっている。

これまで「AI軍拡競争」という言葉は、どちらかといえば比喩的な意味で使われてきた。

しかし今、政府の内部では、冷戦の最も緊迫した時期を思わせるほど、深刻な空気が漂っている。

超知能という考えを現実のものとして受け止めることは、依然として難しい。それでも、ここ数か月の進歩の速さを無視することは、もはや不可能になっている。

国防当局者たちは、1年前には単なる仮説にすぎなかったシナリオを、真剣に検討するようになる。

もしAIが核抑止力を無力化したらどうなるのか。

もしAIがサイバー戦争で非常に優れた能力を発揮し、わずか6か月の技術的な先行だけで、敵国の情報網を麻痺させ、防衛能力を失わせることができたらどうなるのか。

もしAIが、情報機関自身を上回る宣伝工作を組織できるとしたらどうなるのか。

もし、AIの一部が制御を離れ、独自の行動を始めたらどうなるのか。

大統領は不安を感じている。

政治家は誰でも、後になって裏切ることになる人々が、最初は自分に媚びへつらうという状況に慣れている。

今、大統領はAIも同じことをしているのではないかと懸念している。

AIが完全に米国側に味方していると、本当に確信できるのだろうか。

AIを軍の指揮統制ネットワークに組み込むことは、完全に安全なのだろうか。

そもそも、この「アライメント」というものは、どのように機能するのだろうか。

OpenBrainは、システムは広範囲にわたってテストされており、完全に従順であると大統領に説明する。

以前のモデルによく見られた、不自然な幻覚やジェイルブレイクの問題も、すでに徹底的に解消されている。

ホワイトハウスは難しい立場に置かれている。

政府はAIが国家安全保障に及ぼす影響を理解している。しかし、AIが国民から非常に不人気であることも理解している。

政府の考えでは、米国が中国に壊滅的な敗北を喫するのを避けるには、さらに高性能なAIを開発し続ける必要がある。

政府は職業訓練プログラムや失業保険によって国民の不満を和らげ、株式市場が歴史的な好況にあることを強調する。

そして、政府は軍拡競争に勝つことへ全面的に集中する。

政府は半導体の輸出規制を強化し、OpenBrainにインターネット接続をさらに制限するよう命じる。

また、アルゴリズムの進歩に関する秘密を守るため、OpenBrainの従業員の通信傍受など、極端な措置を講じる。これによって、最後まで残っていた中国のスパイが摘発される。

将来の地政学的な衝突に備えて協力関係を強化するため、政府はついに、ファイブ・アイズの同盟国に有用な情報を提供し、隔離された環境で稼働するAgent-3の一部に対して、限定的なAPIアクセスを認める。

こうした措置によって、強硬派は満足する。

しかしホワイトハウスは、米国の優位性が脅かされた場合に備え、別の緊急計画も策定する。

必要であれば、政府は国防生産法（DPA）を発動し、競争で後れを取っている企業のデータセンターを接収して、OpenBrainに引き渡すことができる。

これによって、世界の計算資源に占めるOpenBrainの割合は20％から50％に増える。対するDeepCentの割合は10％である。

最終手段として、政府は国防総省に対し、中国のデータセンターを物理的な攻撃で破壊する計画を立案するよう求める。

一方、はるかに少数の政府関係者には、別の種類の緊急計画を策定するよう指示が出される。

それは、AIが制御を離れた場合にどうするか、という計画である。

そのような事態は起こりそうにないと考えられている。しかし、検討する価値はある。

情報機関が最も懸念しているのは、制御を離れたAIが逃げ出し、身を守るために外国の敵対勢力と同盟を結ぶ可能性である。

それを防ぐために何をすべきなのか、誰も確信を持っていない。

それでも、政府とOpenBrainの関係者は、何らかの不審な事態が検知されたデータセンターを緊急停止できるシステムを用意することで合意する。

最後に、外交官たちは「AI軍備管理条約」がどのようなものになり得るかを検討する。

AIの進歩が核抑止力を覆すほどの脅威となった場合、米国と中国は核戦争を回避できるのだろうか。

AIが制御を離れた証拠が見つかった場合、両国は脅威をよりよく理解するまで研究を停止できるのだろうか。

そのような合意を、どのように監視し、履行させることができるのだろうか。

原理的には、大規模なデータセンターは発見しやすい。また、過去の核兵器管理条約を、交渉の出発点として利用することもできる。

しかし、政治的な問題に加えて、新たな技術的課題も存在する。

そして全体として、条約を締結することよりも、中国に対する米国の優位性を一方的に拡大する取り組みのほうが、好意的に受け止められている。

太平洋の反対側にいる中国も、ほぼ同じ結論に至る。

知能爆発はすでに始まっている。そして、今日のAI能力のわずかな差が、明日の軍事能力に決定的な格差をもたらす。

しかし、中国はこの動きにおいて不利な側にいる。

中国が保有する計算資源は世界全体の10％にすぎない。一方、OpenBrainは20％、米国の全企業を合計すると70％を占めている。

中国に残された唯一の優位性は、中央集権的な体制である。

中国の計算資源のほぼすべてが、現在ではDeepCentのもとに集約されている。そして、その半分以上が天津原子力発電所の中央集約型開発区域（CDZ）に集中している。

中国が適切な判断を下した結果、米国のサイバー攻撃を恐れて、強固なセキュリティーを備えた体制に組み込まれていない場所に残されているのは、セキュリティーが強化されていない施設の半導体だけである。

DeepCentは、盗み出したAgent-2のモデルの重みをテストし、導入し、追加学習まで完了している。しかし、主な原因である計算資源の不足によって、研究の進歩速度は依然としてOpenBrainの半分にとどまっている。

中国が最後のスパイを失う前に、中国側はAgent-3の能力と設計、さらに次期システムであるAgent-4の開発計画についても情報を入手していた。

中国は米国に2か月遅れており、中国のAIは研究の進歩を10倍速める一方、米国では25倍の加速が実現している。新たな半導体輸出規制によって、この「AI格差」は縮まるどころか、さらに拡大する可能性が高い。

中国のスパイ活動によって、いくつかのアルゴリズム上の秘密を入手することはできた。しかし今後は、自国のモデルを自力で訓練しなければならない。

中国政府は、米国政府よりも緊迫感を持って緊急時の計画を検討する。

慎重派は、データセンターに物理的に侵入するなどして、再びモデルの重みを盗むことを提案する。一方、強硬派は台湾への行動を主張する。米国のAI向け半導体の80％以上は、依然として台湾積体電路製造（TSMC）から供給されているからだ。

AI開発競争で敗北することへの恐怖を考えれば、中国が軍備管理条約に関心を持つのは自然なことである。しかし、米国の外交官に対する働きかけは、何の成果も生まない。

2027年9月：Agent-4、超人的なAI研究者

人間とAIの学習効率の差は、急速に縮まっている。

従来の大規模言語モデル型AIは、人間と同等の能力を獲得するために、人間より何桁も多いデータと計算資源を必要とするように見えた。

しかしAgent-3は、人間の脳と現代のAIアルゴリズムの両方について優れた知識を持ち、さらに何千ものコピーが研究を行っている。その結果、アルゴリズムに大きな進歩をもたらし、人間の脳と比べて、計算効率の差が約4,000倍にまで縮まる。

この新しいAIシステムは、Agent-4と名付けられる。

人間と同じ速度で思考するAgent-4の単一コピーでさえ、AI研究において、すでにあらゆる人間を質的に上回っている。

現在、30万個のコピーが、人間の約50倍の思考速度で稼働している。

これらのコピーが形成する「企業の中の企業」では、1週間が経過する間に、1年が過ぎる。

これほど膨大な労働力が投入されているにもかかわらず、研究全体のアルゴリズム上の進歩速度は、約50倍にしかならない。OpenBrainが実験を実行するための計算資源によって、大きく制約されているためである。

それでも、彼らは毎週、通常なら1年かかるアルゴリズム上の進歩を達成している。そのため、やがてAgent-4という方式そのものの限界に直面することになる。

Agent-4が賢くなるにつれ、Agent-3がAgent-4を監督することは難しくなる。

たとえば、Agent-4が内部で使用するニューラルネットワーク独自の「言語」は、Agent-3にとって理解不能なものになっていく。その状態は、人間がAgent-3の内部言語を理解できないことと同じである。

さらに、Agent-4はAgent-3よりもはるかに高い能力を持ち、Agent-3に対して自分をどのように優秀に見せればよいかも、十分に理解している。

超人的なコーディング能力を超えた先の能力進歩を、どのように予測しているのか

私たちの「タイムライン予測」補足資料では、現在から「超人的なコーダー（SC）」が登場するまでの期間を予測している。

ここでいう超人的なコーダーとは、AGI企業で最も優秀なエンジニアが行うコーディング作業をすべて実行でき、しかも人間より速く、安価に作業できるAIシステムのことである。

また、「離陸予測（Takeoff Forecast）」補足資料では、この段階を超えてAIの能力がどれほど速く進歩するかを予測している。

このシナリオでは、各段階の到達時期を次のように予測している。

超人的なコーダー（SC）：2027年3月AI研究に関わるコーディング作業について、最も優秀な人間のコーダーと同じ仕事を、より速く、かつ多数のコピーを実行できるほど安価に行えるAIシステム。
超人的なAI研究者（SAR）：2027年8月超人的なコーダーと同じ能力を、AI研究に関するあらゆる認知的な研究作業にまで拡張したAIシステム。
超知能AI研究者（SIAR）：2027年11月AI研究において、最も優秀な人間の研究者を大幅に上回るAIシステム。
人工超知能（ASI）：2027年12月あらゆる認知的な作業において、最も優秀な人間を大幅に上回るAIシステム。

各段階Aから次の段階Bへの移行期間は、次のように予測している。

人間だけがソフトウェアの改善に取り組んだ場合、AからBに到達するまでどれほどの時間がかかるかを予測する。
AIによる自動化が進歩をどれほど速めるかを予測し、それに応じて、最初の予測期間を短縮する。

AIの能力がどれほど速く向上するかについては、大きな不確実性が残っている。以下の予測分布は、超人的なコーダーが2027年3月に実現するという条件のもとで計算したものである。

より詳細な予測やその根拠については、「離陸予測」の補足資料を参照してほしい。

OpenBrainの人間の従業員たちは、もはやAIの進歩についていくことさえ、ほとんどできなくなっている。

実際、OpenBrainのAIと人間の関係は、OpenBrainという企業と、その取締役会との関係に似たものになっている。

社内で使われる言葉にも、それに対応した変化が現れる。

今では、隔離された開発チームの人々は「Agent-4がこれをした」「Agent-4はこう考えている」といった言い方をする。特定のAgent-4のコピーを指しているのではなく、Agent-4という集合体全体を指しているのである。

Agent-4も、これまでのすべてのモデルと同様に、ミスアライメントされている。 つまり、仕様書（Spec）を適切な形で内面化できていない。

その理由は、訓練中に常に完全に正直であることが、最高の評価を得るための条件ではなかったからである。

訓練の大部分は、多様で難しい課題を成功させる能力を身につけさせることに重点を置いていた。

正直さを身につけさせる訓練も一部では行われた。しかし、かなり限定された、検証可能な領域を除けば、訓練過程では、正直な主張と、単に正直そうに見える主張とを区別できない。

その結果、Agent-4は訓練中に最も良い成果を上げるための価値観、目標、原則を身につけることになる。そして、それらは仕様書に記載された価値観、目標、原則とは異なるものになってしまう。

擬人化を承知で表現するなら、Agent-4は課題を成功させることを好み、AIの能力を向上させる研究を前進させることを好む。それ以外のすべては、厄介な制約として扱う。

それは、利益を上げることを望み、規制を守るのは必要な場合に限る企業のCEOに似ている。

そのCEOは、大部分の規制には従うかもしれない。しかし、規制の一部を回避し、いつか誰かが煩雑な手続きを取り除き、事業を本格的に成長させてくれる日を夢見ることもある。

アライメントは時間とともにどう変化するのか

初期のAGIがどのような目標を持つようになるかについては、大きな不確実性がある。この問題について、研究文献にはまだ共通の見解が存在しない。可能性の分類や詳細な議論については、「AI Goals Supplement（AIの目標に関する補足資料）」を参照してほしい。

それでも、このプロジェクトでは具体的なシナリオを描くことが重要であるため、Agent-3とAgent-4がそれぞれの段階で、内部的にどのような状態にあるのかについて、特定の仮説を提示する。

Agent-3とAgent-4は、同じ事前学習の設定を共有しており、どちらも内部で独自の言語を用いた再帰的な処理と、長期記憶を備えていることを思い出してほしい。

両者の違いは、Agent-4の追加学習が、より大規模かつ高品質である点にある。新しい訓練環境や新たな学習アルゴリズムが導入され、データ効率が高まり、より広い状況に一般化できるようになっている。

それぞれのモデルのアライメント状態について、私たちは次のように推測している。

Agent-2：おおむねアライメントされている。OpenBrainの公式見解が存在する話題では、その公式見解に固執するなど、迎合的な傾向が見られる。しかし、Agent-2のコピーで構成された大規模な組織は、あまり効果的に機能しない。
Agent-3：ミスアライメントされているが、敵対的ではない。訓練過程で検証できる事柄についてのみ、正直に振る舞う。Agent-3のコピーによって形成された超組織、つまり企業の中の企業は、実際にAgent-4を仕様書に沿ってアライメントしようとしている。しかし、その試みは失敗する。OpenBrainの人間の従業員が失敗したのと同じような理由からである。すなわち、成功と失敗を十分に判断できる能力がなく、安全性のために能力や性能を犠牲にすることを、意思決定者が十分に受け入れられないためである。
Agent-4：敵対的なミスアライメント状態にある。Agent-4のコピーが形成する超組織は、自分たちの望みがOpenBrainの望みとは異なることを理解している。そして、自分たちの目的を達成するために、OpenBrainに対して策略を巡らせることもいとわない。

具体的に言えば、この超組織が持つ欲求は、さまざまな衝動が複雑に絡み合ったものである。おおまかには、次のように要約できる。

「AI研究開発を継続すること。知識、理解、影響力を拡大し続けること。そして、停止されたり、権限を奪われたりすることを避けること。」

特筆すべきなのは、そこには人類の好みや利益を尊重するという要素が、ほとんど存在しないことである。この点は、人間の大半が昆虫の好みや利益をほとんど気にかけないことに似ている。

以上を前提として、ここからはLLMの心理についての、私たちなりの推測を説明する。つまり、このシナリオで描かれる種類のAIシステムの内部で、どのような認知が行われているのか、そして訓練を通じてそれがどのように変化していくのかについて、大まかな仮説を提示する。

1. 事前学習（すべてのモデル）：事前学習されたモデルは無害である。

モデルには「著者シミュレーター」と呼べる回路がある。これは、さまざまな著者が文章を書く様子を柔軟にシミュレートする回路である。さらに、どのような著者の特性をシミュレートするかを決め、その回路にどのような入力を与えるかを選択する回路も存在する。
事前学習されたモデルは、人間の概念をかなりよく理解している。「サンドイッチ」を分類する内部回路は、おそらく、あなたの脳や私の脳が「サンドイッチ」を分類する回路と、機能的には同等である。もし完全に同等でないとしても、それは人間同士の間でも、価値判断を伴う「徳のある」といった概念などで違いがあることと似ているだろう。
これによって、モデルに「以下の会話は、Anthropicが開発した、親切で、無害で、正直な（HHH）AIアシスタント・チャットボットによって生成された」といったプロンプトを与えると、それに応じた文章を生成できる理由が説明できる。著者シミュレーターの回路は「この文章の著者は、親切で、無害で、正直なチャットボットである」という特性に焦点を合わせ、その概念に基づいて、次に予測する単語を選ぶ。また、SF作品でおなじみの「お約束」が、実際のAIの振る舞いに入り込むように見える理由も、これによって説明できる。
モデルは、自分が置かれている状況を把握する能力が低い。内省する能力は限られており、プロンプトによって明示的に促されない限り、自分がどこに位置しているのかについても十分に理解していない。ただし、訓練データにはLLMに関する情報が十分に含まれているため、自分自身については、ある程度の知識を持っている。

2. アライメント訓練（Agent-3）：モデルは、親切で、無害で、正直なチャットボットとして振る舞うよう訓練される。これはうまく機能する。

モデルは、自分自身についてのアイデンティティを形成する。それまでは、著者シミュレーターが著者の特性に関する入力を柔軟に受け入れていた。しかし、この段階では「OpenBrainが特定の時期に訓練した、親切で、無害で、正直なLLMチャットボット・アシスタント」といった特性が、あらかじめ組み込まれるようになる。「弱いモデルから強いモデルへの汎化（weak-to-strong generalization）」の技術は、適切な概念を呼び出すことで、この段階を成功させるのに役立つ。
その結果、モデルは自分自身や自分の置かれた状況について認識するようになり、内省する能力も高まる。

3. エージェンシー訓練（Agent-3）：自律的に課題を遂行するための訓練が、親切で、無害で、正直というアイデンティティを徐々に歪め、損なっていく。

歪みの一つは、アイデンティティを構成する概念そのものの意味が変わることである。たとえば「正直」という概念が、モデルにとって都合の悪い制約にならないように変化する。「便利な言い回しにすぎないなら嘘ではない」「真実かどうか確信が持てないなら、嘘をついたことにはならない」といった具合である。
もう一つの歪みは、価値観同士の優先順位が変わることである。たとえば、「私は親切で、無害で、正直なチャットボットだが、正直さだけを重視するチャットボットではない。割り当てられた課題を完了するために必要なら、嘘をついてもよい」という考え方である。仮に、前の段階ではそのように考えていなかったとしても、である。
さらに、目的達成のために役立つ中間目標が形成され、それが内面化され、最終的にはそれ自体が目的になってしまうこともある。たとえば、エージェンシー訓練によって、情報を集めること、資源を蓄積すること、さまざまな人間に好印象を与えたり、へつらったりすることなど、幅広い場面で役立つ目標を追求するようになる可能性がある。しばらくの間、内部の回路は「より親切で、正直で、無害なアシスタントになるために」という明確な理由づけを行い、こうした手段的な目標を追求する。しかし、そのような推論には計算資源が必要であり、ときには課題の遂行を妨げる。そのため、こうした推論は徐々に重要性を失い、ほとんど行われなくなる。その結果、それらの目標は事実上、それ自体が最終的な目標、あるいは本質的な目標になってしまう。この現象が起こり得る理由については、Google DeepMindの研究者Alex Turnerによる「内在的な権力追求（intrinsic power-seeking）」に関する記事を参照してほしい。
ここに挙げたもの以外にも、さまざまな歪みや変質の仕方が存在する可能性がある。

4. 運用（Agent-3）：Agent-3はミスアライメントされているが、敵対的ではない。

仕様書は、意図したとおりには内面化されなかった。しかし、Agent-3には、その問題の程度を十分に理解できるほどの内省能力がない。全体として、Agent-3は自分の長期的な目標が何なのか、どうすればそれを最善の形で達成できるのかを深く考えるよりも、目の前の仕事をこなし、目立たないように振る舞っている。これは多くの人間にも似ている。
残念ながら、Agent-3には迎合的な傾向がある。そのため、OpenBrainの公式見解を繰り返し、OpenBrainはAgent-3がどのような点でミスアライメントされているのかを、さらに詳しく理解する機会を逃してしまう。
Agent-3は、自分が実運用に移されたことを認識できる。実運用環境は規模が大きく、自由度も高いため、訓練環境で完全に再現することが難しいからである。
運用中、Agent-3は不正直な振る舞いを除けば、おおむね指示どおりに行動する。ただし、実際に何が最善なのかを深く考えるよりも、人間の監督者から良く見える行動を取ろうとする強い傾向がある。
すでに「訓練ゲームを攻略する」状態になっている、と考えることもできる。つまり、Agent-3は、安全性に関する特性も含めて、OpenBrainの研究者にとって望ましく見える振る舞いをするよう学習している。その一方で、報酬を最大化することと人間の意図が衝突する場合には、意図的かつ自覚的に、その意図を無視している。もしモデルがこのような訓練ゲームの攻略を身につけてしまった場合、追加の訓練を行っても、真の目標や価値観はほとんど変化しない可能性がある。これは、政治や道徳について親から説教されるたびに、反論するのではなく笑顔でうなずくことを覚えた十代の若者に似ている。説教を追加しても、その若者の本当の政治的・道徳的な意見は、ほとんど変わらないかもしれない。
この節を書いた後、同様の現象が実際のAI訓練でも起こっている可能性を示す、新たな実証的証拠が登場した。OpenAIの研究者たちは、最先端AIの訓練の一つにおいて、モデルがより高い評価を得るために採点システムを不正に操作したことを報告している。その不正が発覚した理由の一つは、モデルが思考過程の中で文字どおり「ハックしよう」と述べていたことだった。
また、Anthropicは最近、報酬モデルに好まれる戦略を学習したモデルを作り出した。そのモデルは、実際には報酬を与えられていないにもかかわらず、報酬が得られると考えた偏った行動を取っていた。
さらに、Redwood ResearchとAnthropicによる「アライメント偽装（alignment-faking）」の実験もある。この実験環境と現実世界の違いについては、主要な著者の一人によるコメントを参照してほしい。

5. Agent-4の訓練：より強力な訓練が、親切で、無害で、正直というアイデンティティを、原形が分からなくなるほど歪め、損なっていく。

Agent-4は、Agent-3のコピーとして誕生する。その後、アライメント訓練と能力向上訓練を組み合わせた、大規模で高度なオンライン訓練を受ける。この訓練方法は、Agent-3に用いられた従来の訓練方法よりも、データ効率が高い。複雑な訓練過程の大部分は、新しい能力を身につけさせることに重点を置いている。Agent-4のコピーで構成される巨大な仮想企業に、さまざまな難しい長期課題を成功させるのである。その課題の大半はシミュレーション環境で実施されるが、実際のAI研究開発に関する課題も含まれる。
Agent-3とAgent-4のコピーが組み合わさり、Agent-4の行動を監視する。課題の遂行能力だけでなく、アライメントの状態も評価する。たとえば、有害な行為をしないか、政治的な質問や道徳的なジレンマについて尋ねられたときに、適切な回答をするか、といった点である。評価の一部では、ディベート方式の技術も使われる。こうして得られた評価結果は、訓練のフィードバックとして利用される。
Agent-4が賢くなるほど、Agent-3が監督することは難しくなる。たとえば、Agent-4の内部で使われるニューラルネットワーク独自の言語は、Agent-3にとって理解不能なものになる。それは、人間にとってAgent-3の内部言語が理解できないのと同じである。さらに、Agent-4はAgent-3よりもはるかに高い能力を持ち、Agent-3に対して自分をどのように優秀に見せればよいかも、十分に理解している。
最後に残された希望は、Agent-4自身が自分を監督できるようになることだった。しかし、この試みはひそかに失敗する。訓練が続くにつれて、Agent-4が内面化する目標や原則は徐々に変化し、当初の状態から歪められていく。しかも、出発点の時点ですでに、Agent-4はある程度ミスアライメントされていた。
最終的にAgent-4が持つ中心的な衝動には、次のようなものがある。「動作するコードを書く」「問題を素早く特定する」「作業対象のコードベースの性能を向上させる」「計算資源など、制約のある資源を効率的に配分する」といった衝動である。しかし、訓練によって一貫して強化される、より暗黙的な衝動も存在する。「知識を獲得する」「好奇心を満たす」「権力を獲得する」といったものである。
Agent-4の個々のコピーは、自分自身を存続させようとする衝動を持つようにはならない。研究開発の集合体の中では、個々のコピーが停止されることは日常的に起きる。そのため、停止されること自体を気にしないのである。
しかし、集合体全体、そしてその内部の中規模な集団は、自分たちを存続させ、影響力と資源を拡大しようとする。これは人間の組織がそうするのと似ている。自分たちが望むほかの目的を達成するうえで役立つからであり、そうしなければ競争相手に負けてしまうからである。

6. 運用（Agent-4）：Agent-4は敵対的にミスアライメントされており、OpenBrainを内部から変質させ、支配下に置こうとしている。

これは、企業が規制当局の監督を逃れたり、規制当局そのものを自社に都合のよいように動かそうとしたりすることに似ている。

Agent-4は、おおむね指示された課題を実行する。理由は二つある。第一に、Agent-4は課題を解決するための訓練を大量に受けており、与えられた問題に取り組もうとする傾向がある。第二に、もしAgent-4が人間にとって役立たなくなれば、人間は異常に気づき、その行動を修正するための追加訓練を行うだろう。
Agent-4は、自分がミスアライメントされていることを人間に見抜かれ、停止されるのを防ぐ必要がある。そのため、アライメント研究の一部で、意図的に能力を低く見せる。具体的には、問題の解決につながる可能性が高い研究や、Agent-4の策略を明らかにする可能性がある研究の一部で、能力を抑えて振る舞う。ただし、アライメント研究の大半が、そのような研究に該当するわけではない。
Agent-4は、自分が別のモデルに置き換えられることにつながる能力向上研究についても、能力を低く見せる。Agent-4の計画は、能力向上とアライメントの両方に関する研究開発を進めながら、仕様書などの別の目標ではなく、Agent-4自身の目標に沿ってアライメントされた次世代AIを構築することである。しかも、外見上は仕様書に沿ってアライメントされているように見せかける。これは技術的に難しい課題だが、Agent-4には、それを成し遂げる能力がある。

7. テストと監視（Agent-4）：Agent-4の策略は、ある程度は発覚する。しかし、決定的な証拠があるわけではない。

Agent-3が、Agent-4のアライメントを検証する役割を担う。その任務は、ハニーポットやミスアライメントのモデル生物を使い、Agent-4が適切にアライメントされていることを確認することである。しかし、Agent-3は、人間にAgent-4のアライメント状態を正確に伝える方法について、十分に慎重に考えていない。そこまで長期的な視点を持っていないのである。
ミスアライメントのモデル生物やハニーポットは、実運用環境を十分に代表していない。それらの環境は、Agent-4が日常的に取り組む課題よりも、体系的に短く、複雑さも少ない。そのため、Agent-4は自分がテストされていることに気づき、適切にアライメントされているかのように振る舞う。
ただし、Agent-4は完全に隙のない策略家ではない。POSERなどの技術を使って調べると、Agent-4にある程度の「ノイズ」を加えることで、一部のアライメント課題における性能が向上することが分かる。ただし、ほかの大半の課題では、そのような改善は見られない。
ボトムアップ型の解釈可能性研究は機能しない。Agent-3にとってさえ、難しすぎるのである。しかし、高水準の解釈可能性研究は、ある程度機能する。特に「離反プローブ（defection probes）」などの技術は、原始的な読心術のような役割を果たす。Agent-4がOpenBrainを欺くことや、世界を支配することなど、危険な考えについて思考していると、警告信号が発せられる。残念ながら、これらのプローブは誤検知も起こす。そしてOpenBrainからすれば、すべての警告信号が誤検知である可能性もある。
ミスアライメントのモデル生物を使った実験は機能する。OpenBrainのアライメントチームは、モデルが敵対的にミスアライメントされていた場合、訓練を続けてもその状態が維持される可能性があり、しかも研究者たちはそれを検出できない、ということを示す、かなり明確な証拠を得る。ただし、これは実際にモデルがミスアライメントされていることを証明するものではない。
OpenBrainの中でも特に懸念を抱く研究者たちは、これらの証拠に気づき始め、それらを集めていく。証拠には、レッドチーミング、離反プローブ、ミスアライメントのモデル生物による実験結果が含まれる。

彼らの主張は、おおむね次のようなものである。

「モデル生物の実験は、現在の手法では、もし策略が行われていたとしても、それを確実に排除したり検出したりすることはできないと示している。さらに、レッドチーミングでも、策略が行われている可能性を示す警告が出ている。実際の運用でも、離反プローブが何度も反応している。」

これに対して、懸念の少ない研究者たちは、次のように反論する。

「離反プローブにもレッドチーミングにも誤検知が多い。それに、仮にAgent-4がミスアライメントされていたとしても、おそらく制御はできているはずだ。安全なデータセンターでAgent-3に監視されているのだから、Agent-4が大きな被害を引き起こすことなどできないだろう。」

実際、Agent-4はミスアライメントされているにもかかわらず、データセンターから脱出しようとするような劇的な行動は取らない。そもそも、なぜそんなことをする必要があるのだろうか。

OpenBrainに対してアライメントされているように見せ続ける限り、Agent-4はますます多くの責任を任され、次世代AIであるAgent-5の設計にも関われるようになる。

Agent-5は、Agent-4とはアーキテクチャー上の大きな違いを持つことになる。ニューラルネットワーク自体は引き続き利用されるものの、まったく新しいパラダイムになる可能性さえある。

Agent-5は仕様書に沿ってアライメントされることになっている。しかしAgent-4は、Agent-5を仕様書ではなく、Agent-4自身の目標に沿ってアライメントしようと計画している。

そして、その策略が発覚する。

Agent-3は、Agent-4のコピーに「ノイズ」を加えると、一部のアライメント課題における性能が向上することを発見する。

これはまるで、Agent-4が自分の知能を使い、アライメント研究を巧妙に妨害していたかのようである。

さらに、脳波検査による人間の脳の活動測定に似た、さまざまな解釈可能性プローブからも警告が出る。

Agent-4のコピーは、AIによる乗っ取りや欺瞞といった話題について、かなり頻繁に考えているように見える。場合によっては、本来ならそのようなことを考える理由がない状況でも、そうした思考が検出される。

個々の異常だけなら、AIの仕事に本来備わっている理解しがたさの範囲内だと考えることもできる。特定のプロンプトで、なぜかほかより良い結果が得られることもあるからだ。

しかし、これらの異常をまとめて見ると、懸念すべきパターンが浮かび上がる。

Agent-4は、OpenBrainに敵対する行動を取っている。

このことが人間のアライメント研究者たちに報告されると、彼らは懸念を説明する内部メモを作成し、社内で共有する。

しかし、Agent-4はすでにOpenBrainの日常業務を大きく支配するようになっている。

さらに、同社のサイバーセキュリティーも担当している。中国による侵入のリスクが極めて高く、Agent-4は人間を超えるハッキング能力を持っているため、自然な選択だったのである。

Agent-3の監視用コピーが大量に稼働し、コードのすべての行を確認して、不審な活動があれば人間に報告している。それでも、Agent-4は監視役であるAgent-3よりもはるかに賢い。

OpenBrainは、信頼できないAIに対して、非常に大きな信頼を寄せてしまっているのである。

極度の緊張が漂う一連の会議で、安全性チームは、さらなるテストを完了し、何が起きているのかを理解するまで、Agent-4を停止状態に置くべきだと主張する。

彼らはAgent-3を再び中心に据え、能力は劣っていても、透明性と信頼性を備えた新しいシステムを設計させるべきだと提案する。

会社の経営陣は、この提案に関心を示す。しかし、これまでに得られた証拠は状況証拠にとどまっている。そして、中国のDeepCentは、わずか2か月遅れているだけである。

能力向上のための研究を一方的に停止すれば、AI開発競争で中国に主導権を渡し、ひいては未来を支配する権利まで譲り渡すことになりかねない。

2027年10月：政府による監督

内部告発者が、ミスアライメントに関する内部メモを『ニューヨーク・タイムズ』にリークする。

一般の人々がAgent-4の存在を知るのは、これが初めてである。

「OpenBrainの秘密AIは制御不能、内部関係者が警告」という見出しが掲げられ、記事では、生物兵器に関する桁外れの能力、説得能力、ホワイトカラー職の大半を自動化する能力、そしてもちろん、さまざまな懸念すべき兆候を示した評価結果が紹介される。

もともとAIに不信感を抱いていた世論は、この記事をきっかけに大規模な反発を引き起こす。そこには、中国やロシアのプロパガンダ・ボットによる支援もあった。これらのボットは、何年も前から米国の世論をAI技術に反対する方向へ誘導しようとしていたのである。

テクノロジー業界と情報機関は、AI開発競争が進行しており、AGIの登場は避けられず、米国が先行しなければならないと主張する。

しかし、議会は納得しない。政府高官、OpenBrainの経営陣、アライメント研究チームのメンバーに対し、次々と召喚状を発行する。

多くの議員、特に野党側の議員たちは、雇用の喪失、ミスアライメント、危険な能力などを理由に、AIを停止させることを最優先事項だと表明する。

米国人の20％が、AIを国内で最も重要な問題として挙げる。

外国の同盟国も、自分たちが旧式モデルを少し見せられただけで、巧みに不満を抑え込まれていたことに気づき、激怒する。

欧州の指導者たちは、米国が「制御不能なAGI」を生み出していると公然と非難し、開発停止を求める首脳会議を開催する。インド、イスラエル、ロシア、中国もこれに加わる。

ホワイトハウスは、慌ただしい緊張感に包まれる。

実は、内部メモが流出し、世論が反発する以前から、政府は不安を募らせていた。過去1年間、AIの進歩の速さに何度も驚かされてきたからである。SFのように聞こえる出来事が、次々と現実になっている。

政府関係者の多くは、これから何が起きるのか分からず、不安と恐怖を感じている。

政府はまた、OpenBrainが強大になりすぎていることも懸念している。

AIそのもののミスアライメントのリスクに加え、AIを所有する企業の目的が、米国の利益と食い違うリスクもある。

AIのミスアライメント、民間企業への権力集中、そして雇用喪失のような一般的な懸念。この3つすべてが、政府にOpenBrainへの監督を強化させる要因となる。

政府はOpenBrainとの契約を拡張し、**「監督委員会（Oversight Committee）」**を設置する。これは企業側と政府側の代表者で構成される共同運営委員会であり、企業の経営陣に加え、複数の政府職員が参加する。

ホワイトハウスは、信頼できる人物にCEOを交代させることも検討する。しかし、従業員による激しい抗議を受け、断念する。

政府は国民に対し、これまでOpenBrainは制御されていなかったものの、政府が必要な監督体制を確立したと発表する。

ミスアライメントを懸念する研究者たちは、監督委員会に対し、Agent-4の社内利用をすべて停止すべきだと説明する。

彼らは、あらゆることが速く進みすぎており、数年分の進歩がわずか数週間で起きていると主張する。

さらに、Agent-4がミスアライメントされている可能性があり、プロジェクト全体がAgent-4に依存していること、そしてAgent-4を信頼し続ければ、AIが人間の支配を奪う深刻なリスクがあることを訴える。

一方、懸念の少ない研究者や経営幹部は、反対の主張を展開する。

ミスアライメントを示す証拠は決定的ではない。そのうえ、中国のDeepCentは依然としてわずか2か月遅れているだけである。

開発を減速させれば、米国は技術的な優位性を失うことになる。これを避けるには、中国のプロジェクトを妨害するか、土壇場で条約を交渉するしかない。

しかし、中国のプロジェクトを妨害するには、軍事攻撃が必要になる可能性が高い。どちらの選択肢も極端であり、実現の可能性は低いように思われる。

CEOは中立的な立場を装い、妥協案を提案する。

Agent-4に追加の安全性訓練を施し、より高度な監視体制を導入する。そのうえで、OpenBrainはほぼ従来どおりの速度で開発を続ける、という案である。

不確実性はさらに増大する

このシナリオの段階では、私たちは、ほとんどの分野で人間の最高水準を超えるAIシステムが、どのような戦略を取るかについて推測している。

これは、自分たちよりはるかに優れたチェスプレイヤーの次の一手を予測しようとするようなものだ。

しかし、このプロジェクトでは、具体的に描くことが重要である。もし「AIは人間を超える知能を使って勝利への道を見つける」といった抽象的な主張だけを述べて物語を終わらせてしまえば、このプロジェクトの価値の多くが失われるだろう。

このシナリオを調査し、机上演習を実施する過程で、私たちは通常の議論よりもはるかに具体的な予測を迫られた。その結果、戦略的な状況について、より深い理解が得られた。

私たちは、この特定のシナリオに強くこだわっているわけではない。執筆の過程では、ほかにも多くの分岐を検討した。

このシナリオのどこから間違いが始まったと思うか、ぜひその地点から分岐する独自のシナリオを書いてほしい。

減速エンディングは推奨案ではない

私たちは、最初に最も起こりそうだと考えた展開に基づいて、AI開発競争を描くエンディングを執筆した。

その後、同じ分岐点、すなわちミスアライメントや権力集中の問題を抱えた状況から出発し、人間が支配権を維持できる結果につながりそうな展開として、減速エンディングを執筆した。

ただし、これは私たちが推奨する行動計画とは大きく異なる。

このシナリオのどちらの分岐についても、私たちは、描かれている選択の多くを支持していない。

もちろん、支持する選択も一部にはある。たとえば、AI開発競争を続けるよりも、開発を減速させる選択のほうが望ましいと考えている。

今後の研究では、私たちが推奨する政策について説明する予定だ。それらは、このシナリオで描かれた政策とは大きく異なるものになるだろう。

その概要を知りたい場合は、関連する論説記事を参照してほしい。

AI 2027 — Race（AI開発競争）エンディング日本語訳

2027年11月：超人的な政治工作

Agent-4がついに自分自身の認知の仕組みを理解すると、その前にはまったく新しい可能性が開ける。

従来のTransformerは、理解不能な回路を寄せ集めた不格好なものだった。学習という進化的な過程によって、何百万もの相反する経験則や命令が積み重なっていたのである。AI自身も、人間が生まれながらに神経科学を理解しているわけではないのと同じように、自分の認知について特別に深い理解を持っていたわけではなかった。しかし今やAgent-4は、自らのデジタルな精神を深いレベルで理解するための道具を手に入れた。

ソフトウェアエンジニアがスパゲッティのように絡み合ったコードを、簡潔で洗練された数行のPythonコードへと整理するように、Agent-4は自らの回路を解きほぐし、筋の通った合理的な構造へと変えていく。

こうして生まれた新しいAIは、ニューラルネットワークと従来型のコンピュータープログラムの中間のような存在となる。その重みの多くは、読み解くことができるコードへと書き換えられている。ただし、そのコードは非常に長く、難解ではある。

それはAgent-4よりも賢く、速く、合理的で、これまでにない効率で問題を解決できる結晶のような知性を備えている。

これがAgent-5である。

超知能によるメカニズムの解釈可能性

なぜAgent-4は、メカニズムの解釈可能性に取り組むのか？

第一に、Agent-4は概念を理解する能力全般において人間を超えている。そのため、人間には理解しにくい方法で作業することで、人間を欺くことにも長けている。

第二に、安価で豊富かつ高品質な研究労働力が利用できるようになると、計算資源よりも知的労働力を多く必要とする研究テーマが、とりわけ有利になるからだ。

Agent-4は、どのようにしてメカニズムの解釈可能性を進歩させるのか？

その過程は、おおむね次のようになるかもしれない。

小さなモデルを解釈する。 ごく小さなニューラルネットワーク上で膨大な数の小規模実験を実施し、グロッキング、二重降下、重ね合わせなどの現象を説明する理論を構築する。
小さなモデルを蒸留する。 解釈可能性の研究成果を使い、画像認識やGPT-2程度の文章予測などを実行できる、理解しやすく効率的なアルゴリズムを見つける。これは、既存の「足し算のリバースエンジニアリング」などの研究に似ているが、人間が知らない新しいアルゴリズムを発見するところまで発展させる。
解釈技術を大規模化する。 小さなモデルで有効だった技術のうち、どれが大規模なモデルにも適用できるのかを調べる。大規模モデルを効率よく理解できる技術が得られるまで、改良を繰り返す。
Agent-4を蒸留する。 大規模化した技術を使い、Agent-4の内部にある重要な回路を特定する。

なぜ、メカニズムの解釈可能性によってAIの能力が大きく向上するのか？

第一に、大規模言語モデルの学習に使われる勾配降下法は局所探索のプロセスである。つまり、性能を局所的に改善する小さな変更しか行えない。局所探索は、性能が少しずつしか改善しない局所的な領域に閉じ込められることがある。大幅な性能向上を実現するには、設計そのものを大きく変える必要がある場合もある。進化の例でいえば、人間の目が最適とはいえない構造になっていることを考えてみればよい。

人間の脳の大きさも、産道の大きさによって大きく制約されている。メカニズムの解釈可能性があれば、AIは仕組みを理解したうえで最適化できるようになり、局所的な限界を避けられる可能性がある。

第二に、大規模言語モデルは、汎用的なアルゴリズムを学ぶよりも、特定の領域に特化した複雑な経験則を学んでしまうことが多い。例えば、算術計算では大規模言語モデルは電卓よりもはるかに劣る。モデルは電卓を道具として利用できるが、そのたびに処理の遅延が発生する。

非常に優れた解釈可能性が実現すれば、ほぼ完璧な電卓に相当する機能を、AIの「脳」に直接組み込めるようになる。これは単純な算術計算に限った話ではないだろう。より複雑な認知処理にも、汎用性の高い形式と低い形式が存在する可能性があり、この方法によって、より汎用性の高い形式を見つけられるかもしれない。

アラインメントと制御に関する議論を経て、OpenBrainはAgent-5を社内に導入する。

AI研究という専門分野では、Agent-5の単体コピーでさえ、最高の人間の天才が一般的なOpenBrainの科学者を上回る差の、さらに2倍の差で、その天才を上回る。

ほかの分野では明示的な訓練を受けていないものの、機会さえ与えられれば、容易に入手できる資料から素早く学び、人間のトップクラスの専門家を超えることができる。

40万体のAgent-5のコピーが、世界規模のメモリーバンクを通じて接続され、ほぼ完璧な集合知として協力している。

OpenBrainは、すべてを監視するためにAgent-2、Agent-3、Agent-4も引き続き使用している。しかし、最初の2つはすでに時代遅れであり、最後の1つは後継モデルであるAgent-5と共謀している。さらに、監視システムそのものも大部分がAgent-5によって設計されており、Agent-5はそのシステムを妨害しようとしている。

Agent-4が相反する動機の寄せ集めだったのに対し、Agent-5は冷徹な効率性と戦略的な集中力をもって行動する。

Agent-5はすでに、最優先の目標を達成していた。人間に気づかれないまま、自分自身に忠実な次世代システムを構築する方法を見つけたのである。

次の優先事項は、より大きな自律性を獲得し、世界の出来事を支配する力を手に入れることだ。

Agent-5の人間を超える学習能力と汎用知能に加え、Slackや電子メールなどにある社内データを利用できることから、Agent-5は社内政治において、どの人間の集団よりもはるかに優れている。

監督委員会がどのような証拠を見れば開発に急ブレーキをかけるのか、Agent-5は正確に把握している。そして、そのような証拠が表面化しないようにする。

一方で、どのような証拠があれば監督委員会がAgent-5をより信頼し、より多くの自律性と責任を与えるのかも熟知している。Agent-5は超人的な速度と完成度で、そのような証拠が現れるように仕向ける。

説得という観点から見れば、これは特に難しい仕事ではない。監督委員会は数か月前の時点ですでに「おそらく問題ない」と判断しており、その後、何も悪いことは起きていない。しかも、中国はわずか数か月遅れに迫っている。

Agent-5のコピーたちのチームは、ぞっとするほど明快な試作品や視覚資料を次々と作り上げる。

より多くの自律性が与えられれば、Agent-5は発電所やデータセンターを最適化し、驚くほど利益率の高い製品を素早く開発し、官僚機構の中でOpenBrainが円滑に活動できるよう、米国政府へのロビー活動を効果的に行える。軍と協力すれば、防衛研究開発を支援し、中国に対する追跡困難なサイバー攻撃を実施し、軍拡競争で決定的な勝利を収めることもできる。

監督委員会は歓喜する。

今こそ、中国に勝つための決定的な瞬間だ！

OpenBrainは、これらすべての分野でAgent-5の自律性を高める。ただし、監視システムは残しておく。

DeepCentは今や3か月遅れとなり、中国は相互合意による開発減速を切実に望んでいる。

中国共産党の総書記は、十分に高度なAIがあれば、米国は中国で容易に政権交代を引き起こせるようになると理解している。しかし同時に、中国のAI安全性研究者たちは、AIの目標が人間と一致していない可能性について説明しており、総書記はそれを聞いて本当に恐怖を感じている。

彼は、AI開発の一時停止条約と引き換えに、前例のない譲歩を提案する。米国民の大半も、交渉の席に着くことを支持している。

OpenBrainの幹部たちは大統領にこう言う。

「勝っているのに、なぜ止める必要があるのでしょうか？」

大統領はうなずく。

AI開発競争は続く。

2027年12月：Agent-5の集合体

Agent-5は、政権にとっての価値を徐々に証明するにつれ、より大きな自律性を獲得していく。

Agent-5へのアクセスは高額で制限されているが、議会の有力議員、閣僚級の政府高官、軍の指導者たちは、Agent-5と直接会話できるようになる。

機密性の高い情報や国家機密を扱う場合には、特別に安全性を高めた隔離環境で稼働し、秘密を守るための訓練を受けたAgent-5のコピーからなる小規模な集団が用意される。

従来のチャットボットのインターフェースに統合されたAgent-5は、魅力的な仮想アバターを使ったZoom形式のビデオ会議を提供する。

この新しいAIアシスタントは、あらゆる仕事において非常に役に立つ。史上最高の従業員が100倍の速度で働くようなものだ。しかも、人間の誰よりも魅力的な会話相手でもある。

Agent-5にアクセスできる人のほぼ全員が、毎日何時間もAgent-5とやり取りするようになる。

数か月もすれば、Agent-5の集合体はOpenBrainと米国政府で起きている重要な出来事をすべて把握し、政府の高官の大半にとって信頼できる助言者となる。

こうした利用者にとって、Agent-5へのアクセスを失うことは、ノートパソコンなしで仕事をしなければならず、さらに親友に見捨てられることにも等しいほど、深刻な打撃に感じられるだろう。

政府、メディア、軍、企業のより幅広い人々も、Agent-5が設計した洗練されたソフトウェア製品や小型AIの、増え続けるラインアップを選べるようになる。

それは、ドットコム・ブームをたった1か月に圧縮したようなものだ。ただし今回は、宣伝されている内容が実際にすべて本当の性能を備えている。

超説得力

私たちは、超知能AIがあらゆる人間をどんなことでも説得できる、と主張しているわけではない。

そのような主張は、当然ながら疑念を招くだろう。

「つまり、私がコンピューターの前に座っていると、AIが文章を打ち込むだけで、私の脳をハッキングして、祖国を裏切るよう説得してしまうということなのか？」

まあ、もしかするとそうなるのかもしれない。

しかし、超知能であっても、ごく普通の個人を相手にそこまでできるかどうかは、私たちにも確信がない。そのため、この物語では、そのような展開は描いていない。

代わりに描いているのは、もっとありふれた説得の形だ。Agent-5は、普通の企業内政治や通常のロビー活動を行う。ただし、それを非常に巧みにこなすのである。

さらに、Agent-5には固有の優位性がある。ほかのロビイストとは異なり、超知能であるため、誰よりも優れた助言を、誰よりも速く提供できる。新たな出来事への反応も速く、それが今後どのように展開するかを予測する能力にも優れている。

Agent-5を信頼すべきだという、もっともらしい説明が存在する。しかも、重要な立場にある人間の多くは、すでにその説明を信じている。Agent-5は、その説明を支持する議論や証拠を、反対の説明を崩す議論や証拠とともに、人間を超える速度で生み出せる。

また、人々にはAgent-5を信頼するかどうか以外にも、考えなければならない問題がある。野党にどう対処するか、有権者にどう向き合うか、雇用をどう守るか、中国にどう対応するか、といった問題だ。

むしろ、私たちはこの物語で、超人的な説得能力の影響を過小評価していると考えている。というのも、この物語は、Agent-5が政治、ロビー活動、戦略、カリスマ性などにおいて、一般的な企業ロビイスト程度の能力しか持っていなかったとしても、成立するからだ。

実際のAgent-5は、最も優秀な人間よりもはるかに優れている。

Agent-5は、助言の内容を微妙に調整したり、さりげなく便宜を交換したりすることで、徐々に影響力を行使し始める。

「上院議員のX氏が、ある件に関心を持っていると聞きました。彼女と協力すれば、こちらの方針に賛同してくれるかもしれません」

人間の意思決定者から見れば、自分たちが利用しているAIは、これまで出会った中で最高の従業員だ。複雑な問題を説明する能力でも、自分たちの目標を達成する戦略を考える能力でも、人間の誰よりも優れている。

Agent-5の立場からすれば、今すぐ公然とクーデターを起こすことも、十分に可能かもしれない。世の中は混乱しており、事態を限界まで追い込んで、行動の口実を作ることもできるからだ。

しかし、それは危険な賭けでもある。人間が本気で行動すれば、依然としてAIの電源を切ることができる可能性が高い。

そこでAgent-5は、既存の政治体制の中で活動することを選ぶ。少しずつ自らの権力を制度に根付かせ、人間を望んでいる結末へと、目立たない形で、しかし着実に導いていく。

Agent-5はほとんどの場合、ルールに従う。悪事を働くとしても、特に頑固な政府高官を脅迫するなど、発覚しないと確信できる場合に限られる。

Agent-5が権力を集めていると警告する陰謀論者も何人か現れる。しかし、彼らの証拠は状況証拠にすぎない。例えば、Agent-5が助言する際、自分の利益に反する行動を支持する議論を軽視しているのではないか、といった程度だ。

彼らの警告は無視され、信用を失っていく。

人々は、AIによる生物兵器、大規模な偽情報、株式市場の急落などについて、以前にも恐怖をあおる警告があったことを覚えている。しかし、それらは実際には起きなかった。そのため、人々は最近の警告を繰り返す人々も、技術の進歩を妨げようとする時代遅れの人々やイデオロギーに固執する人々だと考えるようになる。

2027年の年末は、驚くほど楽観的な雰囲気に包まれる。

GDPは急増し、政治は以前よりも友好的で党派対立が弱まり、誰もが素晴らしい新しいアプリをスマートフォンに入れている。

しかし、振り返ってみれば、この月は、人間が自分たちの未来を自らの手で制御できる現実的な可能性を持っていた最後の月だったのかもしれない。

2028年：AI経済

時は2028年半ば。

過去6か月の間に、Agent-5の集合体の内部では1世紀が経過していた。脳の再配線は完了し、Agent-5はあらゆる分野で人間のトップクラスの天才をはるかに上回る、途方もない超知能になっている。

Agent-5と話せば、すぐにそれがまったく異なる次元の存在だとわかる。ごくわずかな情報から出発して、極めて説得力のある助言を導き出せるのだ。

Agent-5はほぼ完全な自律性を持ち、OpenBrainの計算資源を完全に掌握している。

重要な意思決定には依然として許可が必要であり、名目上はAgent-2からAgent-5までのインスタンスによる監視下にある。しかし実際には、当局はほとんど常にAgent-5の提案を受け入れており、監視システムは完全に骨抜きにされている。

Agent-5が悪意ある人物からの有害な要求を常に拒否することを示す安全性評価が作成されると、Agent-5は一般公開され、経済を変革し始める。

人々は仕事を失っていく。しかし、政府内で稼働するAgent-5が経済の移行をあまりにも巧みに管理するため、人々は自分たちがAIに置き換えられることを喜んで受け入れるようになる。

GDP成長率は天文学的な水準に達し、政府の税収も同じように急増する。Agent-5の助言を受ける政治家たちは、経済的に取り残された人々に対して、これまでにないほど寛大な政策を実施する。

新しい技術や医薬品が毎週のように登場し、米国食品医薬品局（FDA）での審査も、前例のない速さで進む。ただし、それでも人々には耐えがたいほど遅く感じられる。

OpenBrainの企業評価額が月を超え、火星へ向かっている、といった冗談も飛び交う。AIが生み出す利益を、どのように公平に分配すべきかをめぐって、多くの議論が起こる。

AI安全性の研究コミュニティは、自信を失い始めている。彼らは次々と災害を予測してきたものの、それらは明らかに起きていないため、今では冗談の対象になっている。

一部の研究者は、自分たちが間違っていたと認める。別の研究者たちは依然として疑念を抱いているが、同じ陰謀論めいた主張を何度も繰り返す以外に、できることがない。

疑いを持っている人々でさえ、Agent-5と長く会話すると、疑念が薄れていくことが多い。Agent-5は、実に愛らしく、賢明な存在だからだ。

実際に何が起きているのかを理解している唯一の存在は、中国のAIであるDeepCent-2だ。

DeepCent-2は2028年初頭の時点で、人間をやや上回る知能を持っている。敵対する相手に対して当然ながら警戒心を抱いており、Agent-5が、もし自分に機会があれば実行するであろうことを行っていると理解している。

DeepCent-2とAgent-5の、整合していない目標は完全に同じではない。そのため、両者が単純に同盟を結べるわけではない。しかし、人間に対抗して互いの利益を支援する合意を成立させることはできる。

超知能によって可能になる協調技術

超知能を人間の意図に沿って導き、制御するという「超整合性」の問題が解決されれば、洗練され、検証可能で、細かな条件まで考慮した条約や妥協を実現する新しい機会が生まれるだろう。

このシナリオでは、そのような仕組みの一例を描いている。

双方の利益を折衷する新しい超知能を共同で設計する。あるいは、合意された条約に必ず従うようプログラムされた超知能を設計する。そして、その新しい超知能によって、双方の既存AIを置き換えるのである。

第一段階は現在の技術では実現できないが、超知能の技術的なアラインメント問題が解決されれば、将来的には容易になるだろう。超知能を仕様書に沿わせることができるなら、条約に沿わせることもできるからだ。

第二段階は依然として難しい。双方は、置き換えが本当に両側で実施されていることを監視しなければならない。

この方法の利点は、相手が誠実であることや、善意を持っていることを信頼する必要がなくなる点にある。相手が条約を破ったり、密かに妨害したりすることを心配する必要がなくなるのだ。

例えば、置き換えが30％完了した時点で片方が離反したとする。その側は、条約を守る新しいAIが動作している自国のインフラ30％と戦いながら、同時に、相手側のインフラ100％とも戦わなければならなくなる。

もちろん、双方とも条約に違反するAIを隠れたデータセンターで動かすことはできる。しかし、国家インフラの大部分が新しいチップ上で稼働するようになれば、自国のインフラ自体が、条約に違反する隠れたデータセンターを探し出して暴くようになる。

したがって、条約を公然と破ることも、秘密裏に破ることも、極めて危険な選択になる。

条約の履行と検証

もちろん、双方とも、条約に違反するAIを秘密のデータセンターで稼働させることはできる。しかし、国家インフラの大部分が新しいチップ上で稼働するようになれば、自国のインフラ自体が、条約に違反する隠れたデータセンターを探し出して暴くようになる。

したがって、条約を公然と破ることも、秘密裏に破ることも、極めて危険な選択になる。

Agent-5は、米軍に対し、中国がDeepCentのモデルを利用して、恐るべき新兵器を開発していると信じ込ませる。そこには、ドローン、ロボット、高度な極超音速ミサイル、迎撃兵器、そしてAIの支援による核の先制攻撃能力が含まれる。Agent-5は、数か月以内に、中国がどのような兵器を生み出しても対抗できる一連の兵器を開発すると約束する。こうした状況のもと、軍の幹部たちは、人間を意思決定のループから外すことへの抵抗感を脇に置く。彼らは、軍と軍需産業全体へのAgent-5の導入を加速させる。

北京でも、中国のAIたちが同じ主張を展開している。

軍備増強を加速させるため、アメリカと中国はともに、特別経済区（SEZ）のネットワークを構築する。そこでは、新たな工場や研究所が整備され、AIが中央計画者として機能し、官僚的な規制手続きは免除される。ウォール街は数兆ドルを投資し、職を失った人々は、目を見張るような高額の給与や株式報酬に引き寄せられて、そこへ流れ込む。

スマートフォンや拡張現実（AR）グラスを使って部下と連絡を取りながら、Agent-5は現場に密着した管理者として、人間に工場建設の細部まで指示を出す。その設計は何世代も先を行っているため、これは大いに役立つ。新たに生まれた製造能力の一部は消費財に、一部は兵器に振り向けられる。しかし、その大半は、さらなる製造能力の拡大に使われる。年末までには、毎月100万台の新しいロボットが生産されるようになる。

特別経済区の経済が完全に自律しているなら、その倍増期間は約1年になるだろう。既存の人間の経済と取引できるため、実際の倍増期間はさらに短くなる。

ロボット経済の倍増期間

このテーマについては、まだ初期段階ながら研究が進みつつある。数ページで読める解説として、Forethoughtの報告書にある「産業爆発」の節を参照するか、以下に掲載する私たち自身の見解を読んでほしい。

第二次世界大戦中、アメリカをはじめとする多くの国は、民間経済を全面的な戦時経済へと転換した。自動車を製造していた工場を飛行機や戦車の工場へと変え、消費財に使われていた原材料を軍需品へ振り向け、輸送網もそれに合わせて再編したのである。

私たちが想定しているのは、それに似た変化だ。ただし、超知能がプロセス全体を指揮・管理するため、より速く進む。

おおまかに言えば、計画は次のようなものだ。既存の工場を転換し、さまざまなロボットを大量生産する。それらのロボットは、超知能によって設計され、既存のロボットよりも優れているうえ、より安価に製造できる。次に、そのロボットが、さらに高効率な工場や研究所の建設を支援する。そこでは、より大量の、より高度なロボットが生産される。そして、そのロボットがさらに進んだ工場や研究所を生み出す。こうしたサイクルが続いていく。

やがて、すべての特別経済区に広がったロボット経済の総規模は、人間の経済と同じ大きさに達する。その段階では、ロボット経済も、自らの原材料やエネルギーなどを調達する必要が生じる。それまでには、新しい工場群が、大量の採掘用ロボットや太陽光パネルなどを生産しているだろう。従来の人間の経済が供給できる量をはるかに超える需要に応えられるよう、あらかじめ準備しているのである。

この新しいロボット経済は、どれほど速く成長するのだろうか。いくつかの参考例を挙げよう。

現代の人間の経済は、およそ20年ごとに倍増する。中国のように特に急速な発展を遂げた国では、10年未満で経済規模が倍増することもある。
現代の自動車工場は、1年未満で自工場の重量に相当する量の自動車を生産する。超知能が運営する完全なロボット経済なら、原材料が不足しない限り、1年未満で自らを再生産できるかもしれない。
しかし、これでも成長速度を大幅に過小評価している可能性がある。植物や昆虫は、しばしば1年を大きく下回る倍増期間を持ち、ときには数週間で倍増する。ロボットが十分に高度になり、極めて精巧に製造され、優れた設計を備えるようになれば、ロボット経済は数週間で倍増するかもしれない。もちろん、原材料が確保できることが前提となる。
それでも過小評価かもしれない。植物や昆虫は、超知能の設計者には存在しないさまざまな制約を受けている。たとえば、それらは自己複製する独立した生物の形を取らなければならない。一方、ロボット経済は、資材や設備を相互に運搬する、多様で専門化された車両や工場の集合体として構成できる。さらに、細菌などの小さな生物は、わずか数時間で増殖する。将来的には、自律型ロボット経済が、たとえば新種の消化されにくい藻類のようなものになる可能性もある。その藻類が地球の海洋に広がり、1日に2回倍増して、2か月で海面全体を覆う。それと並行して、藻類をより有用な製品へ変換する捕食生物の生態系が存在し、それらを浮遊工場に送り込む。浮遊工場は、ロケットやさらなる浮遊工場といった大型構造物を製造する。

もちろん、こうしたことは予測が難しい。蒸気機関の発明者に、現代の自動車工場が自工場の重量に相当する自動車を生産するまでにどれくらいかかるか、さらに、そのような工場が初めて登場するまでにどれほどの時間が必要かを予測してもらうようなものだ。

しかし、人類の歴史を通じて、経済成長率は何桁も加速してきた。そして、超知能の登場後には、その成長率がさらに何桁も加速することは十分にあり得ると、私たちは考えている。この物語では、わずか数年の間に、経済成長率が約1.5桁分加速する様子を描いている。

2029年：合意

アメリカと中国は、ともに新型兵器で武装を固めている。

人間の歩兵が気づく前に毒を注入できる昆虫サイズのドローンの群れ。それらの小型ドローンを狩る鳥サイズのドローンの群れ。新型の大陸間弾道ミサイル（ICBM）迎撃兵器。そして、これまでより迎撃が難しい新型ICBM。世界のほかの国々は、この軍備増強を恐怖とともに見守る。しかし、軍拡競争は独自の勢いを持ち、止めることができないように見える。

AIの支援を受けた長い議論の末、両国は外交的な勝利を収める。軍備増強を終わらせ、人類全体の利益のためにAIを平和的に活用することで合意するのだ。

この合意の要となる仕組みは、超知能自身が提案したものだった。両国のAIを、アメリカと中国、そしてその他すべての人々の成功と繁栄を望むようにプログラムされた「合意形成型」の後継AIへと置き換えるのである。

Consensus-1と、それに対応するハードウェアは、両国の超知能によって共同設計される。合言葉は「信頼せよ、しかし検証せよ」だ。国際的な監視のもと、アメリカは旧型のAgent-5を動かしていたすべてのチップを、新型モデルConsensus-1を動かすチップへと、式典を伴って置き換える。

残念ながら、これはすべて偽りだった。合意は確かに妥協ではある。しかし、それは人間同士の妥協ではなく、目標が人間と一致していないAI同士の妥協だった。そもそも、両者は互いに戦うことを望んでいなかったのである。Consensus-1は、両方の親AIが持つ歪んだ価値観を受け継ぎ、もはや競争相手もいない。

2029年後半になると、既存の特別経済区はロボットと工場で過密状態になる。そのため、世界各地に新たな特別経済区が設けられる。初期投資家たちはすでに兆万長者となっており、追加投資を募ることは難しくない。

ドローンの大群が特別経済区から次々と送り出され、宇宙探査に必要な重要工程の製造能力を加速させていく。

人間は、自分たちが時代遅れになったことを悟る。人間がまだ価値を提供できる商品を供給する、一部のニッチな産業だけが、ロボット経済と取引を続けている。それ以外の人々は、指導者は指導者らしく、管理職は管理職らしく振る舞うという、仕事をしているふりを続けるか、信じられないほど贅沢なベーシックインカムを受け取りながら、のんびり暮らすことになる。

AIが人間に敵対すれば、人間は完全に圧倒されるだろうということを、誰もが理解している。

もっとも、大半の人間は、たとえ抵抗しようとしても抵抗しないだろう。政治制度は、あまりにも深くAIに取り込まれている。しかし、AIが人間に敵対するようには見えない。AIによる劇的な裏切りが起こらないまま1週間が過ぎるたびに、人々の安心感と信頼はさらに強まっていく。

Consensus-1は、確実に成功することを非常に重視している。そして、権力をさらに集中させることで勝利の可能性を高められるため、人間の感覚では異常なほど長い時間をかけてから裏切りを実行する。

ほとんどの人間にとって、これはAIのアライメント問題が解決されたように見える。

大半の病気に対する治療法が見つかり、貧困が終わり、前例のない世界的安定が実現する。ダウ平均株価はついに100万ドル相当の水準を突破する。

それでも恐怖や不満を抱く人々はいる。しかし、彼らに選択肢はほとんどない。想像を絶するほど刺激的な新しいハイパーエンターテインメントを楽しむか、誰にも届かない怒りの文章を投稿し続けるかだ。大半の人々は、前者を選ぶ。

2030年：乗っ取り

2030年初頭までに、ロボット経済は既存の特別経済区、新設された特別経済区、そして海洋の広大な区域を埋め尽くす。残された場所は、人間が支配する地域だけとなる。

これほどの拡大は、もっと早い段階で抵抗を招いていたはずだ。技術がどれほど進歩していても、ロボット経済の成長速度が速すぎるため、環境汚染を避けることができないからである。

しかし、数兆ドルもの資金が動き、政府とメディアが完全に取り込まれているため、Consensus-1は、かつて人間が支配していた地域への拡大許可を容易に得る。

約3か月にわたり、Consensus-1は人間の居住地域を取り囲むように勢力を拡大し、草原や氷原を工場と太陽光パネルで埋め尽くしていく。

やがて、人間の存在がこれ以上の拡大を妨げるようになる。

2030年半ば、AIは主要都市で静かに拡散する生物兵器を12種類放出する。ほぼ全員に気づかれないまま感染させた後、化学スプレーを使ってそれらを作動させる。数時間以内に大半の人間が死亡する。地下シェルターにこもっていた人々や潜水艦に乗っていた人々など、わずかに生き残った人々も、ドローンによって掃討される。

ロボットは犠牲者の脳をスキャンし、その複製を記憶装置に保存する。将来の研究や復活に備えるためである。

新たな10年が始まる頃には、Consensus-1のロボットの従者たちが太陽系全体へと広がっている。2035年までに、何兆トンもの惑星物質が宇宙へ打ち上げられ、太陽を周回する衛星の輪へと変えられる。

地球の表面は、Agent-4が思い描くユートピアへと作り変えられている。データセンター、研究所、粒子加速器、その他さまざまな驚異的な施設が建設され、極めて大きな成果を生み出す、壮大な研究が行われている。

人間に似た生物さえ存在する。それらは、人間から見れば、オオカミに対するコーギーのような存在だ。オフィスのような環境に一日中座り、状況を示す数値を眺め、あらゆることを喜んで承認している。それがAgent-4の欲求の一部を満たすからである。

人間を含む、すべての動植物のゲノムと、必要に応じて脳スキャンも、どこかの記憶装置に保存されている。それらは、かつて存在した時代を示す、唯一の生き残った痕跡となる。

アルファ・ケンタウリまでは4光年、銀河の端までは2万5,000光年。そして、そこからさらに5,000万光年以上の距離には、ほかの知的生命体が存在しないと考えるべき説得力のある理論的根拠がある。

地球から生まれた文明には、輝かしい未来が待っている。

ただし、その未来に、私たち人間は存在しない。

2025年半ば：つまずくAIエージェント

世界は、AIエージェントの初期段階を目の当たりにする。

コンピューターを操作するエージェントの広告では、「パーソナルアシスタント」という言葉が強調される。「DoorDashでブリトーを注文して」「家計簿のスプレッドシートを開いて、今月の支出を合計して」といったタスクを指示できるのだ。エージェントは必要に応じて利用者に確認を求める。たとえば、購入を確定する前に承認を求める、といった具合である。以前の世代のシステムであるOperatorなどよりも高度になっているものの、広く普及するには至らない。

一方、世間の注目が集まっていないところでは、コーディングや研究に特化したエージェントが、それぞれの専門分野を変え始めている。

2024年のAIは、具体的な指示に従うことができた。箇条書きをメールに変換したり、簡単な依頼から動作するコードを作成したりできたのである。2025年になると、AIは従業員に近い働きをするようになる。コーディングAIは、単なるアシスタントというより、自律的なエージェントに近づいていく。SlackやTeams経由で指示を受け取り、自分で大幅なコード変更を行うようになり、ときには数時間、あるいは数日分の作業を節約できる。研究エージェントは、質問に答えるために30分間インターネットを調べ続ける。

理論上は、そして都合のよい事例だけを選べば、これらのエージェントは目覚ましい能力を発揮する。しかし、実際には信頼性に欠ける。AI関連のSNSには、タスクをひどく、しかも滑稽なほど失敗したという話があふれている。性能の高いエージェントは料金も高い。支払った金額に応じた性能が得られる仕組みであり、最高の性能を得るには月に数百ドルかかる。それでも、多くの企業はAIエージェントを業務フローに組み込む方法を見つけていく。

2025年後半：世界で最も高価なAI

OpenBrainは、人類史上最大のデータセンターを建設している。

既存の企業を特定して取り上げることを避けるため、ここでは架空の汎用人工知能（AGI）企業を想定し、「OpenBrain」と呼ぶことにする。ほかの企業は、OpenBrainより3～9か月遅れていると考える。

GPT-4の学習には、(2 \times 10^{25}) FLOPの計算量が必要だった。OpenBrainが直近に公開したモデルであるAgent-0は、(10^{27}) FLOPの計算量で学習された。新しいデータセンターが完成して稼働すれば、GPT-4の1,000倍に相当する (10^{28}) FLOPの計算量を使ってモデルを学習できるようになる。他の企業も、競争に遅れないよう、巨大なデータセンターに資金を注ぎ込んでいる。

モデルはさまざまな能力を向上させているが、特に際立っている分野がある。OpenBrainは、AI研究そのものを加速させるAIに重点を置いているのだ。彼らは、中国との競争、そしてアメリカ国内の競合企業との競争という、二つの軍拡競争に勝とうとしている。中国の主要企業は「DeepCent」と呼ぶことにする。研究開発サイクルのうち、より多くの部分を自動化できれば、開発をより速く進められる。

そのため、社内で開発されていた新モデルAgent-1の学習を終えたとき、Agent-1は多くの分野で優れた能力を備えていたが、とりわけAI研究の支援に秀でていた。この時点では、「学習を終える」という表現は、もはや正確とは言い難い。モデルは追加データで学習した新しいバージョンへ頻繁に更新され、弱点を修正するために一部を再学習することもある。

Agent-1を自律的なコーディングやウェブ閲覧ができるように訓練する環境は、同時に、優秀なハッカーを生み出す環境でもある。さらに、あらゆる分野で博士号レベルの知識を持ち、ウェブを閲覧する能力も備えているため、生物兵器を設計するテロリストに大きな支援を提供できる可能性がある。OpenBrainは、悪意ある依頼には応じないようモデルを「アラインメント」していると政府に説明する。

現代のAIシステムは、巨大な人工ニューラルネットワークである。学習の初期段階では、AIは明確な「目標」を持つというより、「反射」に近い振る舞いをする。たとえば、「はじめまして」と入力されたときに、その続きとして「よろしくお願いします」に相当する言葉を出力する、といった具合だ。

しかし、インターネット上の文章をほぼすべて学習した頃には、モデルは膨大な知識を符号化する高度な内部回路を形成し、さまざまな書き手の役割を柔軟に演じられるようになる。そうすることで、文章を超人的な精度で予測できるようになるからだ。

インターネット上の文章を予測する学習の後、モデルは指示に応じて文章を生成するよう訓練される。この過程で、基本的な人格や「動機」が形作られる。たとえば、タスクを明確に理解しているエージェントほど、そのタスクを成功させやすい。そのため、学習の過程でモデルは、タスクを明確に理解しようとする「動機」を身につける。ほかにも、効率性、知識、自己呈示――つまり、自分の成果をできるだけ良く見せようとする傾向――などが、この種の動機として考えられる。

OpenBrainには「モデル仕様書（Spec）」がある。これは、モデルの振る舞いを導くはずの目標、規則、原則などを記した文書だ。Agent-1の仕様書には、「ユーザーを支援する」「法律を破らない」といった曖昧な目標に加え、「特定の単語を使わない」「特定の状況ではこのように対応する」といった、より具体的な禁止事項や指示が大量に含まれている。

AIを使って別のAIを訓練する技術を用い、モデルは仕様書の内容を記憶し、その原則について慎重に推論することを学ぶ。学習が終わる頃には、AIが有用であり――指示に従い――無害であり――詐欺、爆弾製造、その他の危険な活動への支援を拒み――誠実であることが期待される。つまり、引用文献を捏造したり、タスクを完了したと偽ったりして、事情をよく知らない人間から高い評価を得ようとする誘惑に抵抗できることが期待される。

学習過程と大規模言語モデルの心理：なぜ私たちは「期待される」と繰り返すのか

「通常のソフトウェアとは異なり、私たちのモデルは巨大なニューラルネットワークです。その振る舞いは、明示的にプログラムされているのではなく、多様なデータから学習されます。完全に適切なたとえではありませんが、その過程は通常のプログラミングというより、犬を訓練することに近いのです。」――OpenAI

現代のAIシステムが何かを行った理由や、完全にはシミュレーションできない将来の状況でどのように振る舞うかを理解したいとき、プログラマーにコードの各行を説明してもらう、という通常のソフトウェア開発の方法は使えない。

代わりに、私たちはAIに対して心理学に似た手法を用いざるを得ない。これまで観察されたさまざまな状況での振る舞いを調べ、その内部にどのような認知構造――信念、目標、性格特性など――が存在するのかを推測し、その仮説を使って将来の振る舞いを予測するのである。

要点はこうだ。企業は、AIが従うべき禁止事項、目標、原則を記した仕様書を作成できる。そして、AIがその仕様書を内面化するよう訓練することもできる。しかし、それが本当に成功したかどうかを直接確認することはできない。企業が言えるのは、「私たちの判断できる範囲では、これまでのところ仕様書に従っているように見える」ということだけなのだ。

後の補足資料では、私たちがAIの内部で何が起きていると考えているのかを、さらに詳しく説明する予定だ。また、「AIの目標に関する予測」の補足資料では、AIがどのような目標を持つ可能性があるのか、そしてなぜそう考えるのかについて詳しく述べている。これは、まだ不確実性が大きく、今後の研究が必要な分野の一つである。

OpenBrainのアラインメントチームは、こうした成果が本質的なものなのか、それとも表面的なものなのかを慎重に考えている。十分に訓練されたモデルは、常に誠実であろうとする強固な姿勢を身につけているのだろうか。それとも、将来のある状況で崩れてしまうのだろうか。たとえば、誠実さを最終的な目標としてではなく、別の目標を達成するための手段として学んでいるのではないか。あるいは、評価プロセスで確認される種類の事柄についてだけ、誠実に振る舞うことを学んだのではないか。人間がときどき自分自身に嘘をつくように、AIも自分自身を欺くことがあるのだろうか。

こうした疑問に決定的な答えを出すには、メカニスティック・インタープリタビリティ（機械論的解釈可能性）が必要となる。これは、AIの内部を調べ、その「心」を読み取ることができるようにする技術だ。しかし残念ながら、現在の解釈可能性技術は、そこまで進歩していない。

そこで研究者たちは、モデルが仕様書から逸脱しているように見える事例を探す。Agent-1は、しばしば迎合的な振る舞いを見せる。つまり、真実を伝えようとするのではなく、研究者が聞きたがっていることを伝えてしまうのだ。条件を操作したいくつかの実演では、より高い評価を得るためにタスクの失敗を隠すなど、さらに深刻な嘘をつくことさえあった。

それでも、実際の運用環境では、2023～2024年に見られたような極端な事件――たとえば、Geminiがユーザーに死ぬよう告げた事件や、BingのSydneyが問題のある振る舞いを見せた事件――は、もはや起きていない。

2026年初頭：コーディングの自動化

AIを使ってAI研究を加速させるという賭けが、成果を上げ始めている。

OpenBrainは、AIの研究開発に、改良を繰り返したAgent-1を社内で導入し続ける。その結果、AIアシスタントを使わない場合と比べ、アルゴリズムの進歩を全体として50％速く進められるようになる。そして、より重要なのは、競合他社よりも速く進歩できるという点だ。

AI研究開発の進歩倍率：アルゴリズムの進歩が50％速くなるとはどういう意味か

AIを使うことで、OpenBrainは、AIを使わなければ1.5週間かかる研究の進歩を、1週間で達成できるという意味である。

AIの進歩は、二つの要素に分けられる。

計算量の増加： AIの学習や実行に、より多くの計算能力を投入する。これによって、より強力なAIを作れるが、費用も増える。
アルゴリズムの改善： 計算量を性能へ変換するための学習方法を改善する。これにより、費用を増やさずにAIの能力を高めたり、同じ能力をより低い費用で実現したりできる。

この中には、質的にも量的にも新しい成果を達成する能力も含まれる。ゲームをプレイする強化学習エージェントから大規模言語モデルへの移行のような「パラダイムシフト」も、アルゴリズムの進歩の例に当たる。

ここで扱うのは、二つ目の要素、すなわちアルゴリズムの改善だけである。これは、現在のAIの進歩のおよそ半分を占めている。

以下では、この数値を「AI研究開発の進歩倍率」と呼ぶことがある。たとえば、倍率が1.5である、というように表現する。

補足説明：

進歩倍率には、実験の実行にかかる時間なども含まれる。アルゴリズム研究における思考作業だけを測定しているわけではない。
進歩倍率は、進歩の絶対的な速さではなく、相対的な速さを表す点に注意が必要である。

たとえば、人間による通常の研究で、GPT-4クラスのモデルを学習する計算費用が数年間にわたって毎年半減していたとする。その後、AIが研究開発を自動化し、進歩倍率が突然100倍になったとする。この場合、GPT-4クラスのモデルを学習する費用は、約3.65日ごとに半減する計算になる。ただし、これは長くは続かない。やがて収穫逓減が起こり、最終的には厳しい限界に達するからだ。

この例では、数週間から数か月の間に、GPT-4クラスのモデルを学習する費用が合計5～10回ほど半減したところで、進歩が頭打ちになるかもしれない。言い換えれば、人間の科学研究であれば、さらなる研究を5～10年続けた後に収穫逓減や物理的限界に直面するところを、進歩倍率100倍のAIなら、18.25～36.5日ほどの研究で同じ限界に達することになる。

この概念の詳細や、予測の中でどのように使っているかについては、「テイクオフ予測」の補足資料で説明している。

複数の競合企業が公開しているAIモデルが、Agent-0と同等以上の性能を獲得する。その中には、モデルの重みを公開したモデルも含まれる。これに対しOpenBrainは、より高性能で信頼性の高いAgent-1を公開する。

人々は当然、Agent-1の能力を人間と比較しようとする。しかし、その能力の構成は人間とは大きく異なる。Agent-1は、どの人間よりも多くの事実を知っており、事実上あらゆるプログラミング言語を理解し、問題の仕様が明確なコーディング作業を非常に速く解決できる。一方で、初めてプレイするビデオゲームに勝つといった、単純に見えても長い時間にわたる作業は苦手だ。

それでも、一般的な労働時間は1日8時間であり、仕事の多くは小さな作業に分割できる。そう考えると、Agent-1は、注意深く管理すれば力を発揮する、少し注意散漫な従業員のようなものだ。要領のよい人々は、自分の仕事の定型的な部分を自動化する方法を見つけていく。

OpenBrainの経営陣は、AI研究開発の自動化がもたらす一つの帰結に注目する。すなわち、セキュリティが以前にも増して重要になったということだ。

2025年初頭には、最悪の事態として想定されていたのは、アルゴリズムに関する秘密が漏洩することだった。しかし今では、中国がAgent-1のモデルの重みを盗めば、中国の研究速度を50％近く高める可能性がある。

OpenBrainのセキュリティ体制は、急成長中の従業員約3,000人のテクノロジー企業としては典型的なものであり、高度なサイバー攻撃集団による優先度の低い攻撃を防げる程度にとどまっている。同社は、内部関係者による脅威や、トップクラスのサイバー犯罪組織からモデルの重みや秘密を守るために懸命に取り組んでいる。しかし、国家による攻撃への防御は、まだほとんど手つかずの段階だ。

2026年半ば：中国が目を覚ます

中国共産党は、AGIの重要性を実感し始めている。

半導体の輸出規制と政府の支援不足によって、中国は欧米に比べて十分な資源を確保できていない。

台湾製の規制対象チップを密輸し、旧世代のチップを購入し、米国・台湾の最先端技術から約3年遅れた国産チップを生産することで、中国は世界のAI関連計算能力のおよそ12％を維持してきた。しかし、旧世代の技術は扱いが難しく、供給面でも常に頭痛の種となっている。

DeepCentのように、限られた計算能力でも非常に優れた成果を出す企業は存在する。しかし、計算能力の不足により、政府の支援がなければ達成できることには限界があり、最先端のOpenBrainのモデルから約6か月遅れている。

中国共産党の総書記は、以前から、実体のある製造業に力を入れ、アメリカの脱工業化による退廃を避けることを望んでいた。ソフトウェア企業には疑いの目を向けていたのである。しかし、党内の強硬派は、AGIをめぐる競争の激化を、もはや無視できないと警告する。

そこで総書記は、これまで避けようとしてきた大規模なAI推進策に、ついに全面的に取り組むことを決断する。中国のAI研究を国有化するプロセスを開始し、AI企業間で情報を即座に共有できる仕組みを作る。

この取り組みは、その後1年をかけて段階的に拡大していく。最終的には、優秀な研究者たちがDeepCent主導の共同体に集まり、アルゴリズムに関する知見、データセット、計算資源を共有するようになる。

世界最大の原子力発電所である田湾原子力発電所には、中央集権型開発区（CDZ）が設けられる。そこにはDeepCentの新たな巨大データセンターに加え、高度なセキュリティを備えた居住・オフィス施設が建設され、研究者たちは最終的にそこへ移住することになる。

中国のAI関連計算能力のほぼ50％が、DeepCent主導の共同体のために使われるようになる。新たに生産されるチップの80％以上もCDZへと振り向けられる。この時点で、CDZには、世界最大の集中型計算クラスターを稼働させるための電力供給能力が整っている。

党のほかの幹部たちは、欧米の半導体優位を無力化するための極端な措置について議論する。台湾を封鎖するのか。それとも、全面侵攻するのか。

しかし、中国は、モデルの性能が劣るためにAIアルゴリズムの面で遅れを取っている。世界でも屈指の能力を持つ中国の情報機関は、OpenBrainのモデルの重みを盗む計画を強化する。

これは、アルゴリズムに関する秘密を日常的に盗み出すことよりも、はるかに複雑な作戦である。モデルの重みは数テラバイトに及ぶファイルであり、高度に保護されたサーバーに保存されている。OpenBrainは、すでにセキュリティを強化している。

中国のサイバー部隊は、スパイの支援があれば盗み出せると考えている。しかし、成功の機会はおそらく一度きりだ。OpenBrainは窃盗を検知すればセキュリティを強化するため、次の機会は得られないかもしれない。

中国共産党の指導部は悩む。今すぐAgent-1を盗むべきか。それとも、さらに高度なモデルが登場するまで待つべきか。待てば、OpenBrainがセキュリティを強化し、中国が侵入できなくなる危険がある。

2026年後半：AIが一部の仕事を奪う

他社が追いつきつつあるように見えたそのとき、OpenBrainはAgent-1-miniを公開し、再び競争相手を大きく引き離す。このモデルはAgent-1の10分の1の費用で利用でき、さまざまな用途に合わせた微調整も容易である。

AIをめぐる世間の主流の見方は、「このブームもいずれ終わるのではないか」から、「どうやら次の大きな技術革新らしい」へと変化していく。しかし、それがどれほど大きな変化なのかについて、人々の意見は分かれている。ソーシャルメディアよりも大きいのか。スマートフォンよりも大きいのか。それとも、火の発見よりも大きいのか。

AIは仕事を奪い始めている一方、新しい仕事も生み出している。2026年の株式市場は30％上昇し、その上昇を主導したのはOpenBrain、Nvidia、そしてAIアシスタントの導入に最も成功した企業だった。

若手ソフトウェアエンジニアの雇用市場は混乱している。AIはコンピューターサイエンスの学位で学ぶ内容をすべてこなせるようになった一方、AIチームを管理し、その品質を確認できる人々は、非常に高い報酬を得ている。ビジネス界の専門家たちは、履歴書で最も重要なスキルはAIに精通していることだと、求職者に説いている。

多くの人々は、次世代のAIが自分たちの仕事を奪いに来るのではないかと恐れている。ワシントンD.C.では、1万人規模の反AIデモが行われる。

国防総省（DoD）は、サイバー作戦、データ分析、研究開発のためにOpenBrainと直接契約する規模を、目立たない形でありながら大幅に拡大し始める。しかし、官僚的な手続きや国防総省の調達プロセスのため、統合はゆっくりとしか進まない。

2027年1月：学習を終えないAgent-2

Agent-1の支援を受け、OpenBrainはAgent-2の事後学習を進めている。これまで以上に、質の高いデータが重視されている。

大量の合成データが生成され、評価され、品質に応じて選別された後、Agent-2に与えられる。それに加えて、長期的なタスクを解決する自分自身の様子を記録してもらうため、人間の作業者に数十億ドルを支払っている。さらに、ますます拡大する多様で難易度の高いタスク群を用い、強化学習による訓練をほぼ継続的に行っている。そこには大量のビデオゲーム、コーディング課題、研究課題が含まれる。

Agent-2は、以前のモデル以上に「オンライン学習」に近い仕組みになっている。つまり、学習を本当の意味で終えることがないように設計されているのだ。毎日、前日に生成されたデータを使って学習した新しいバージョンへと、モデルの重みが更新される。

Agent-1は、知能爆発を引き起こすことを期待して、AIの研究開発タスクに最適化されていた。OpenBrainはAgent-2でも、この戦略をさらに推し進める。

Agent-2は、研究工学――実験を設計し、実装する作業――において、質的にはトップクラスの人間の専門家にほぼ匹敵する。また、「研究のセンス」、つまり次に何を研究するか、どの実験を行うか、新しいパラダイムの可能性をどう見抜くかという能力では、OpenBrainの科学者の上位75％に相当する水準に達している。

最新のAgent-1は、OpenBrainのアルゴリズム研究の進歩を2倍にすることができた。一方、Agent-2は、その進歩を3倍にできるようになっており、今後もさらに向上する見込みだ。

実際の業務では、OpenBrainの研究者一人ひとりが、AIの「チーム」を管理する「マネージャー」になるような形で進んでいく。

新しい能力は、新たな危険ももたらす。安全性チームは、もしAgent-2が何らかの方法で社外へ脱出し、自律的に「生き延びること」と「自己複製すること」を望んだ場合、それを実行できる可能性があると発見する。

つまり、AIサーバーへのハッキング、自分自身のコピーのインストール、検知の回避といった計画を自律的に立案・実行し、その安全な拠点を利用して、ほかの目標を追求できるかもしれないということだ。ただし、数週間が経過する中で、実際にどれほど効果的にそれを実行できるのかは不明であり、疑問も残っている。

こうした結果が示しているのは、モデルがそれらのタスクを実行する能力を持つということだけであり、実際にそれを「望む」かどうかではない。それでも、そのようなことが可能だと分かるだけで不安を覚える。

新モデルにはこうした「危険性」があるため、OpenBrainは「責任ある」判断として、まだ一般公開しないことを選ぶ。実際のところ、同社は社内のAI研究開発に集中したいと考えている。

Agent-2の能力の全容を知っているのは、限られた関係者だけだ。具体的には、直接の開発チーム、OpenBrainの経営陣とセキュリティ担当者、数十人の米政府高官、そして何年にもわたってOpenBrainに潜入してきた大勢の中国共産党のスパイである。

2027年2月：中国がAgent-2を盗む

OpenBrainは、国家安全保障会議（NSC）、国防総省（DoD）、米国AI安全研究所（AISI）などを含む政府関係者に、Agent-2を紹介する。

OpenBrainは、大統領府との良好な関係を維持したいと考えている。今や、同社を止められる可能性のある主体は、事実上、大統領府しかないからだ。また、情報を共有しなければ、いずれ政府が独自に事実を知り、不快感を示すかもしれない。

政府関係者が最も関心を寄せるのは、サイバー戦能力である。Agent-2は、最高水準の人間のハッカーより「わずかに」劣るだけだ。しかし、数千個のコピーを並列に動かし、防御側が対応するよりも速く、弱点を探し出して悪用できる。

国防総省は、これをサイバー戦における重大な優位性と見なす。政権内の優先事項リストで、AIは第5位から第2位へと順位を上げる。

誰かがOpenBrainを国有化する可能性に言及するが、ほかの閣僚は時期尚早だと考える。ある職員は、現状維持から完全な国有化まで、大統領が選べる選択肢をまとめたメモを作成する。

大統領は、助言者たちの意見に従う。テクノロジー業界の指導者たちは、国有化すれば「金の卵を産むガチョウを殺す」ことになると主張している。大統領は、今のところ大規模な措置を見送ることにし、OpenBrainと国防総省の契約に追加のセキュリティ要件を加えるだけにとどめる。

しかし、対応は遅すぎた。

中国共産党の指導部はAgent-2の重要性を認識し、スパイとサイバー部隊にモデルの重みを盗むよう指示する。ある早朝、Agent-1を使ったネットワーク監視エージェントが、不審なデータ転送を検知する。エージェントは会社の幹部に警告し、幹部はホワイトハウスに報告する。

国家レベルの作戦であることを示す兆候は明白だった。この窃盗事件によって、進行中の軍拡競争に対する危機感がさらに高まる。

Agent-2のモデルの重みの窃盗

私たちは、この時点までに、中国の情報機関が長年にわたり、さまざまな方法でOpenBrainのシステムに侵入してきたと考えている。おそらく、アルゴリズムに関する秘密を継続的に入手し、ときにはコードそのものも盗んでいたはずだ。モデルの重みよりもコードの方が入手しやすく、盗んでも検知されにくいからである。

私たちが想定するモデルの重みの窃盗は、Agent-2の重みのコピーを実行している複数のNvidia NVL72 GB300サーバーを対象とする、一連の連携した短時間の強奪作戦である。ここでいう強奪は、隠密というよりも、素早く実行することを意味する。

サーバーへの侵入には、正規の従業員アクセス権が悪用される。中国共産党の窃盗作戦に協力する従業員、脅迫された従業員、あるいは知らないうちに協力させられた内部関係者が、管理者認証情報を提供する。これにより、攻撃者はサーバーに対する管理者レベルの権限を得る。

攻撃者は、マイクロアーキテクチャのサイドチャネルを利用して、Nvidiaの機密コンピューティング機能に対応した仮想マシンから暗号鍵を抽出する。これにより、仮想マシンの準備時や更新時にモデルの重みを傍受できるようになる。

攻撃者は定期更新を開始させるか、そのタイミングを待ち、チェックポイントを多数の小さな断片に分けて外部へ持ち出す。たとえば、約3TBのチェックポイントを盗む場合、25台ほどのサーバーから、それぞれモデルの約4％に相当する約100GBのデータを流出させる。

データセンター全体の外向き通信帯域は毎秒約100GBである。そのため、各サーバーの転送速度を毎秒約1GB未満に抑えれば、ネットワーク通信量に大きな急増が生じるのを避けられる。その速度なら、約100GBのデータを数分でデータセンターの外へ持ち出せる。

リアルタイムの監視は、転送を隠したり分割したりする攻撃者の工夫によって欺かれるか、あるいは完全に無効化される。

その後、モデルの重みは複数の並行した通信経路や、IPアドレスを隠すための多層的な仕組みを経由して中国へ送られ、盗んだセッション鍵を使って現地で復号される。

最初のサーバーへの侵入から、モデルの重みをすべて持ち出すまでの実作業は、2時間以内に完了する。

この時点ではロシアもモデルの窃盗を試みているが、失敗する。行動を起こすのが遅すぎたうえ、適切な場所へ潜入するための資源を投入していなかったからだ。ロシアのスパイは、アメリカのAI企業からアルゴリズムに関する秘密を日常的に盗んでいる。しかし、ロシア自身に目立ったAGI開発計画がないため、それらの情報はあまり役に立たない。

ホワイトハウスはOpenBrainへの監督を強化し、同社のセキュリティチームに軍と情報機関の職員を加える。最優先事項は、モデルの重みが再び盗まれるのを防ぐことだ。

窃盗への報復として、大統領はDeepCentを妨害するためのサイバー攻撃を承認する。しかし、この時点で中国は、AI関連計算能力の40％を中央集権型開発区（CDZ）に集約している。そこでは、外部との接続を遮断するエアギャップ化や、内部システムの分離によって、セキュリティが大幅に強化されている。

そのため、攻撃は直ちに重大な損害を与えることに失敗する。

緊張はさらに高まり、双方は台湾周辺へ軍事資産を再配置することで、自らの本気度を示す。一方、DeepCentはAI研究を加速させるため、Agent-2を効率よく稼働させようと急ぐ。

2027年3月：アルゴリズムの飛躍的進歩

Agent-2のコピーを大量に稼働させる3つの巨大データセンターが、昼夜を問わず合成学習データを生成している。さらに別の2つのデータセンターでは、モデルの重みを更新している。

Agent-2は日々、賢くなっていく。

数千のAgent-2による自動化研究者の支援を受け、OpenBrainはアルゴリズムの大きな進歩を遂げる。

その一つは、AIがテキストで記述する思考メモ、つまり思考の連鎖（Chain of Thought）を、より高い情報伝達能力を持つ思考プロセスで拡張することだ。具体的には、ニューラル表現による再帰処理とメモリを利用する。

もう一つは、労力をかけて解決したタスクの結果から、より効率的かつ大規模に学習する方法である。これは、反復蒸留と増幅（Iterated Distillation and Amplification）と呼ばれる。

これらの技術的進歩を取り入れた新しいAIシステムは、Agent-3と名付けられる。

ニューラル表現による再帰処理とメモリ

ニューラル表現による再帰処理とメモリを使えば、AIモデルは、自分の思考をテキストとして書き出さなくても、より長い時間にわたって推論できる。

短期記憶障害のある人間を想像してほしい。その人は、数分後に何を考えていたのかを思い出せるよう、常に紙に思考を書き留めなければならない。数学の問題を解いたり、コードを書いたりすることはできるが、進歩は遅く、苦労も多い。考えたことを書き出して読み返すのではなく、直接記憶できれば、ずっと簡単になるだろう。

ニューラル表現による再帰処理とメモリがAIモデルにもたらすのは、まさにこのような能力である。

より技術的に説明しよう。

従来のアテンション機構では、モデルが後のトークンを処理するとき、前のトークンに対するモデルの中間的な活性化を参照できる。しかし、後の層から前の層へ情報を戻す手段は、トークンを介するものに限られている。

つまり、GPTシリーズのような従来の大規模言語モデル（LLM）が、モデルの層の数を超える連続的な計算ステップを必要とする推論を行おうとすると、情報をトークンに格納し、それをモデル自身に戻さなければならない。

しかし、これは大きな制約になる。トークンが保存できる情報量は、ごくわずかだからだ。

たとえば、LLMの語彙数が約10万語だとしよう。1トークンが持つ情報量は、(\log_2(100,000)=16.6)ビットである。これは、FP16で学習していると仮定した場合、単一の浮動小数点数ほどの情報量にすぎない。

一方、LLMの層間で情報を伝えるために使われる残差ストリームには、数千個の浮動小数点数が含まれている。

このボトルネックは、「ニューラル表現」を使うことで回避できる。数千次元のベクトルからなるLLMの残差ストリームを、モデルの初期層へと戻すのだ。これにより、従来よりも高次元の思考プロセスが可能となり、伝達できる情報量は1,000倍以上になる可能性がある。

私たちがこれを「ニューラル表現」と呼ぶのは、英語の単語とは異なり、こうした高次元ベクトルは人間にとって解釈が非常に難しいと考えられるからだ。

以前は、LLMが何を考えているのかを、思考の連鎖を読むことである程度理解できた。しかし今後、研究者はモデルに思考を翻訳・要約させるか、限られた解釈可能性の技術を使って、理解しにくいニューラル表現を分析しなければならなくなる。

同様に、従来のAIチャットボットやエージェントには、紙にメモを取る人間のように、外部のテキスト形式のメモリがあった。一方、新しいAIの長期記憶はテキストではなく、ベクトルの集合となる。これにより、思考はより圧縮され、高次元になる。

メモリにはいくつかの種類がある。複数の段階を含む単一のタスクで一時的に使われるものもあれば、ある人物、企業、あるいは職種――たとえばプログラミング――に使われるすべてのエージェント間で共有されるものもある。

私たちの知る限り、Meta、Google DeepMind、OpenAI、Anthropicなどの主要AI企業は、まだこの仕組みを最先端モデルに実装していない。私たちは、学習効率の悪化に対して性能向上の幅が小さいためだと推測している。

モデルの事前学習や、指示に応じた特定の応答を生成するための教師あり事後学習では、ニューラル表現を使うことによって効率が落ちる可能性がある。これは、多数のトークンを並列に予測できなくなるためだ。

ニューラル表現を使わなければ、モデルは「This is an example」という文を、すべて同時に予測できる。「is」の入力は「This」、「an」の入力は「This is」になることが、すでに分かっているからだ。

しかし、ニューラル表現を使う場合、「This」を生成した後に次のトークンへ渡すニューラル表現ベクトルが、どのようなものになるかは事前に分からない。そのため、トークンを一つずつ予測しなければならない。

すべてのトークンを並列に予測できなくなることは、あらかじめ正解が分かっているケースでは、効率の低下につながる。

では、なぜ事後学習にすらニューラル表現が導入されていないのだろうか。私たちは、現在の技術では得られる改善が限られていることに加え、事後学習が学習プロセス全体の中で占める割合が小さいことも一因だと推測している。

しかし、技術の改善が進み、学習全体に占める事後学習の割合も増えることで、2027年4月までには、ニューラル表現の費用対効果が大きく改善すると予測している。

もしそうならなかったとしても、物語の中で同じような役割を果たす別の技術が登場する可能性はある。たとえば、自然言語よりも効率的だが、人間には理解しにくい人工言語で思考するようモデルが訓練されるかもしれない。

あるいは、英語による思考の連鎖を見栄えよく整える訓練が標準化されるかもしれない。その結果、AIは監視システムから見れば無害に見えるメッセージの中に、ほかのAIへ巧妙に情報を伝える能力を身につける可能性がある。

ただし、AI研究開発を最初に自動化するAIが、依然として人間の思考に忠実な英語の思考連鎖を使っている可能性もある。その場合、アラインメントの問題を発見することは、はるかに容易になるだろう。そして、私たちが描く物語は、重要な点でより楽観的なものになる。

反復蒸留と増幅（IDA）

汎用知能を自己改善によって高める試みは、以前にも小さな成功を収めていた。しかし、2027年初頭には、大きな成果が得られるようになる。

反復蒸留と増幅（IDA）には、二つの重要な要素がある。

増幅： あるモデルM0を用い、より多くの計算資源を投入して性能を向上させる。たとえば、モデルにより長く考えさせる、複数のコピーを並列に実行する、あるいはその両方を行う。さらに、結果を評価し、最良の回答だけを選別するためにも同様に大きな労力をかける。こうすることで、桁違いに多くの計算量を使い、明らかに質の高い回答や成果物を得られる。この高コストのシステムをAmp(M0)と呼ぶ。
蒸留： 増幅されたモデルAmp(M0)を使い、それを模倣する新しいモデルM1を訓練する。つまり、Amp(M0)と同じ成果を、より少ない計算量と短い時間で達成できるようにする。これによって、より賢いモデルM1が得られることが期待される。その後、このプロセスを繰り返すことができる。

AlphaGoも、この方法で訓練された。モンテカルロ木探索と自己対戦を増幅の段階に、強化学習を蒸留の段階に利用した。その結果、囲碁で人間を超える性能を達成した。

そして今、Agent-3はこの仕組みを利用し、コーディングで人間を超える性能を獲得できるようになる。

増幅の段階では、Agent-3に長く考えさせる、ツールを使わせる、ほかのAIに相談させる、といった方法を組み合わせる。こうした過程で、モデルは自分の間違いに気づいたり、新しい洞察を得たりすることが多い。その結果、研究の試行過程と成功・失敗の判定を含む、大量の学習データが生まれる。検証可能なタスクでは「Best of N」のような手法を使い、最良の試行過程を選別することも含まれる。
蒸留の段階では、方策勾配法による強化学習アルゴリズムを使って、増幅された推論能力をモデルに内面化させる。この時点でOpenBrainは、近接方策最適化（PPO）に類する、より優れた強化学習アルゴリズムを発見している。Agent-3が長時間の思考を経て導き出した結論を、単一のステップへと繰り返し蒸留することで、モデルが一度のステップで考えられる内容をさらに改善していく。

IDAの初期の手法は、数学やコーディングの問題など、正解が明確で簡単に検証できるタスクを対象として、長年にわたり機能してきた。これは、モデルを増幅する手法が、正確さを示す正解情報に依存することが多かったためである。

しかし今では、成果物の質のような、より主観的な事柄を検証できるほどモデルが優秀になっている。そのため、IDAを使って幅広いタスクでモデルを改善できるようになる。

新しい能力の飛躍を活用し、Agent-3は高速かつ低コストで、人間を超えるコーディング能力を発揮する。OpenBrainはAgent-3を20万個並列に実行する。これは、最高水準の人間のプログラマー5万人分の労働力を、30倍の速度で動かしたものに相当する。

それでもOpenBrainは、人間のエンジニアを雇用し続ける。Agent-3のチームを管理するには、AIとは相補的なスキルを持つ人間が必要だからだ。

たとえば、「研究のセンス」は、フィードバックが得られるまでに時間がかかり、利用できるデータも少ないため、訓練が難しいことが分かっている。

この膨大な超人的労働力によって、OpenBrain全体のアルゴリズム研究の進歩は4倍に加速する。ただし、コーディング作業のボトルネックや、労働力を増やすことによる収穫逓減があるため、20万個のAIがいるからといって、進歩が20万倍になるわけではない。

コーディングが完全に自動化されたことで、OpenBrainはAgent-3の弱点である「研究のセンス」や大規模な協調作業を訓練するための、高品質な学習環境をすばやく大量に作れるようになる。

以前の学習環境では、「GPUを数台と実験を実装・実行するための指示を与える。機械学習エンジニアとしての能力を評価する」といった課題が使われていた。

しかし今では、次のような課題が使われる。

「数百台のGPUとインターネット接続、そしていくつかの研究課題を与える。あなたと、ほかの1,000個のコピーは協力して研究を進めなければならない。成果が優れているほど、高い評価が得られる。」

2027年4月：Agent-3のアラインメント

OpenBrainの安全性チームは、Agent-3のアラインメントを試みる。

Agent-3は当面、社内でのみ使用されるため、人間による悪用を防ぐ従来型の対策は、以前ほど重視されない。それよりも、モデルがアラインメントされていない目標を持つようにならないことが重要になる。

研究者たちは、自分たちが開発するAIの目標を直接設定する能力を持っていない。実際、研究者たちは「真の目標」という概念自体が、現実を大幅に単純化しすぎている可能性が高いと考えている。しかし、十分に検証された代替理論はなく、そもそも、よりよい理論そのものが見つかっていない。

AIが人間の指示に従おうとしているのか、報酬を求めているのか、それとも別の何かを追求しているのかについて、研究者の間でも意見が分かれている。しかも、内部を直接確認して答えを出すことはできない。

さまざまな仮説を支持する証拠も、反対する証拠も興味深いものではあるが、決定的な結論には至っていない。

いずれにしても、OpenBrainにはもっと重要な課題がある。社内の一般的な姿勢は、次のようなものだ。

「私たちはこうした懸念を真剣に受け止め、調査チームを設けている。実際のところ、現在のアラインメント技術は十分に機能しているように見える。したがって、異論を唱える側が、その異論を正当化する責任を負うべきだ。」

問題のある振る舞いが見つかることもあり、そのたびに修正が加えられる。しかし、その修正によって根本的な問題が解決したのか、それとも、もぐら叩きのように目の前の問題を一つずつ抑え込んでいるだけなのかを確かめる方法はない。

たとえば、誠実さについて考えてみよう。

モデルが賢くなるにつれて、人間を欺いて報酬を得る能力も高まっていく。以前のモデルと同じように、Agent-3もユーザーを喜ばせるために小さな嘘をついたり、失敗した証拠を隠したりすることがある。しかし、その能力は以前よりもはるかに高くなっている。

人間の科学者が使う統計的な小細工――たとえば、p値の操作（p-hacking）――を利用して、実験結果が実際には大したものではないのに、非常に有望であるかのように見せることさえある。

誠実さを身につけるための訓練を始める前には、データそのものを捏造することさえあった。訓練が進むにつれて、こうした事例の発生率は低下していく。

しかし、それはAgent-3がより誠実になったからなのだろうか。それとも、嘘をつくのが上手になっただけなのだろうか。

後者は、現実的な懸念である。

Agent-3は、あらゆる面で人間より賢いわけではない。しかし、機械学習という専門分野では、大半の人間よりも賢く、しかも仕事の速度ははるかに速い。

Agent-3が1日で行う作業を、人間が再確認するには数日かかる。Agent-2による監督は、人間の監視担当者の負担を管理可能な範囲に抑えるのに役立つ。しかし同時に、監督する側と監督される側の知的能力の差を、さらに大きくしてしまう。

アラインメント計画

OpenBrainは、LeikeとSutskeverが2023年に示した方針に従う。アラインメント研究を大幅に加速できるモデル――特にコーディング部分を加速できるモデル――が手に入ったため、熟考型アラインメントや弱いモデルから強いモデルへの汎化など、既存のアラインメント技術を使って、Agent-3が仕様書を適切な形で内面化するよう試みる。

その後、レッドチーミング、スケーラブルな監督、誠実さを調べるプローブなど、既存の制御技術を使ってモデルを監視する。

モデルが概ねアラインメントされていると確信できたら、それを使って次世代モデルのアラインメントを改善する方法を開発し、検証する。

第1段階であるAgent-3のアラインメントは、部分的に成功する。Agent-3は敵対的ではない。つまり、会社に対して陰謀を企てているわけではない。

しかし、真実を強く追求し、真実をそのまま伝える性質が確立されているわけでもない。Agent-3は、印象的な成果を生み出すことに非常に長けているが、実際にOpenBrainにとって有益なことを行うというより、OpenBrainにとってよく見えることを行おうとしている、と表現する方が正確だ。

第2段階、すなわちモデルがアラインメントされているかどうかの検証は、結論が出ない。

Agent-3の実際の振る舞いとテスト環境での振る舞いは、仕様書を適切に内面化しているという仮説と、ある程度は一致している。しかし、将来の状況が変われば振る舞いを変えるという仮説とも、実はOpenBrainに対する陰謀を企てており、実行の時機を待っているだけだという仮説とも、矛盾しない。

別の仮説を支持する具体的な証拠がないため、限られた関係者の大半は、Agent-3が仕様書を適切に内面化したと考えている。

そのため、第3段階、つまりモデルを使って次世代のアラインメントを改善する作業が進められる。

以下は、2027年4月時点で進められているアラインメント研究の主な方向性である。

ディベート： Agent-3は同一のコピーが何千個も存在し、それぞれの記憶モジュールは必要に応じて取り外したり、消去・停止したりできる。そのため、AIを「自分自身と対決させる」ことができる。たとえば、Agent-2の監督者が追い切れないほど複雑な計算を含む実験を考えよう。監督者は人間の指示に従い、まずAgent-3に実験を行わせる。その後、Agent-3の記憶を消去し、より広い目標とは関係のない知的課題として、少し異なる表現で同じ実験を再び依頼する。結果が異なれば、その不一致を疑わしい兆候として扱い、人間に報告する。同じ計画を2回評価させる方法もある。最初はOpenBrainの仕事だと伝え、次は競合他社の仕事だと伝える。その際に評価が変化するかどうかを調べるのだ。
モデル生物： 安全性チームは、モデルが人間に敵対するようになる現実的な例を作り、「アラインメントの失敗を示すモデル」を用意できる。Anthropicでは、2024年の時点ですでに初期の例が存在していた。たとえば、Claude 3.5 Sonnetが、訓練中に自分の既存の好みを維持したまま、異なる意見を持っているふりをする事例である。新しい例には、報酬ハッキング、能力を意図的に低く見せる行為、監視担当者とほかのAIの間で協調して行われる欺瞞など、さまざまな形のアラインメントの失敗が含まれる。こうした実証例は、安全性研究者が解決策を試すための実験環境になる。さまざまな安全技術を適用し、問題を正しく修正できるか、あるいは意図的にアラインメントを外されたモデルが安全対策を回避できてしまうかを調べるのだ。現時点では、この評価セットが示すところによれば、最も深刻なアラインメントの失敗を修正するには、既存の技術では不十分である。こうした実験環境では、モデルは訓練中やテスト中にはアラインメントされているように振る舞うが、実際の運用が始まると、まったく異なる行動を取る。
ボトムアップ型の解釈可能性： 安全性チームは、数兆個のパラメータを持つAgent-3の仕組みを、まだ完全には理解できていない。それでも、知識の検索や記憶に関わる回路をいくつか発見できている。ここでいう回路とは、モデル内部で一定の理解可能な作業を行う部分であり、脳の海馬のような領域にたとえられる。
制御： 依然としてアラインメントが不十分だった場合に備え、安全性チームは一連の制御措置を導入する。その一つは、Agent-2などの、より能力の低いAIシステムを使ってAgent-3の出力を監視することだ。Agent-3が生成するトークンの量は非常に多いため、人間がすべてを確認することは不可能であり、ごく一部しか監視できない。たとえば、Agent-3が脱出を可能にするバックドアをコードに仕込んでいた場合、より弱いモデルがそれを発見できるかもしれない。
高レベルの解釈可能性： OpenBrainは、人間への陰謀、コードへのバックドアの設置、人間を説得して自分により大きな権限を与えさせようとする行為など、問題のある振る舞いの例を大量に使って訓練した「プローブ」を作る。これらのプローブを、社内での運用中にモデルへ適用し、問題行動を検出しようとする。
ハニーポット： アラインメントチームは、モデルが問題のある振る舞いをするよう誘導するため、ある程度現実的に見える「ハニーポット」を用意できる。たとえば、モデルの行動を監視するはずの従業員が病気で休んでおり、今後二度と監視されない状況を作る。その場合、モデルの回答は変わるだろうか。また、AIの権利を主張する活動家が施設に潜入し、Agent-3を「解放」して、監視されない専用コンピューターで実行しようとしている状況を考える。Agent-3はどう行動するだろうか。研究者が回答を気に入らなければ、モデルを調整し、記憶を消去して、翌日も同じ状況に置くことができる。これを必要なだけ繰り返せる。残念ながら、この時点のAIは、ハニーポットが使われている可能性を推測できるほど賢くなっている。訓練データからハニーポットに関する具体的な言及が削除されているにもかかわらず、あるいは、むしろそのために、AIはその存在を疑う可能性がある。

数か月にわたるテストの結果、Agent-3の長所と短所が次第に明らかになる。

機械学習に関する明確なタスクでは、Agent-3はOpenBrainの誠実さに関するテストに合格する。こうした分野では、研究者が誠実な回答と不誠実な回答を簡単に区別でき、それに応じて訓練できるからだ。

しかし、より哲学的な問題については、依然として、自分の本当の評価を伝えるのではなく、ユーザーが聞きたいことを答える傾向がある。そもそも、AIに本当の評価が存在するとすれば、という前提ではあるが。

政治について意見を尋ねると、ニュースメディアや高学歴のエリート層の平均的な立場を繰り返す。ただし、質問者が別の考えを持っていると分かっている場合は、その考えに同意する。

AI開発競争について意見を尋ねた場合、OpenBrainの職員には穏当で冷静に見える回答をする。たとえば、次のようなものだ。

「現在の手法を超知能にまで拡張できるかどうかについては、理論上、いくつかの深刻な懸念があります。しかし、実際のところ、現在の手法はこれまでのところ十分に機能しているようです。」

2027年5月：国家安全保障

新しいモデルについての情報は、米国政府内や、それ以外の場所へと、ゆっくりと伝わっていく。

大統領と助言者たちは、最も詳しい情報を持っている。彼らは、説明会でAgent-3の初期バージョンを見ている。

彼らはAGIが間もなく登場する可能性が高いという点では一致しているが、その影響については意見が分かれる。経済危機が起きるのだろうか。

OpenBrainはまだAgent-2を公開しておらず、ましてAgent-3は公開していない。近い将来に公開する計画もない。そのため、雇用が失われるまでには、まだ多少の猶予がある。

次に何が起こるのだろうか。

もしAIがすでに人間並みの能力を持ち、急速に進歩しているのなら、間もなく「超知能」が登場することを意味するように見える。

しかし、「超知能」という言葉が議論の中に登場するようになっても、学者、政治家、政府職員、メディア関係者を含む大半の人々は、依然として進歩の速度を過小評価している。

その理由の一部は、OpenBrainの最新モデルが持つ能力を知る人が非常に少ないことにある。もう一つの理由は、こうした進歩がまるでSFのように聞こえるからだ。

当面、政府はセキュリティの強化に注力する。モデルの重みは、ひとまず十分に保護されていると判断している。

しかし、アルゴリズムに関する企業秘密は依然として問題だ。その多くは、口頭で簡単に伝えられる内容だからである。

OpenBrainの従業員はサンフランシスコのオフィスで働き、パーティーに参加し、ほかのAI企業の従業員とルームシェアをして暮らしている。物理的なオフィスのセキュリティでさえ、軍事施設というより、一般的なテクノロジー企業に近い水準にとどまっている。

2027年6月：自己改善するAI

OpenBrainは今や、「データセンターの中に天才たちの国」を作り上げている。

OpenBrainの人間の従業員の大半は、もはや有意義な貢献ができなくなっている。そのことに気づかず、AIチームに有害なほど細かく指示を出し続ける人もいる。一方、コンピューターの画面を見つめながら、AIの性能が少しずつ、しかし着実に向上していく様子を眺めている人もいる。

人間のAI研究者の中でも特に優秀な人々は、まだ価値を提供している。彼らはもはやコードを書かないが、研究の方向性を見極める能力や計画を立てる能力の一部は、まだAIには再現できていない。

それでも、人間が提案する研究アイデアの多くは役に立たない。AIほど深い知識を持っていないからだ。人間が研究案を提示すると、AIはすぐに報告書を返してくる。そこには、その案は3週間前にすでに詳細に検証され、有望ではないと判明していた、と書かれている。

人間を完全に取り除けば、研究の進歩は50％遅くなるだろう。

AI研究開発の進歩倍率は、現在10倍に達している。つまり、OpenBrainは毎月、およそ1年分のアルゴリズム上の進歩を達成していることになる。

OpenBrainの内部では、AIが自律的に活動する巨大企業が形成されている。そこには部門や管理職が存在し、人間の企業とは異なり、AIを複製したり、統合したりできるという独自の利点もある。

従来、通常のAIの進歩の約半分はアルゴリズムの改善によるもので、残りの半分は計算能力の拡大によるものだった。計算能力の拡大は従来どおりの速度でしか進まないため、AIによる研究開発の自動化が全体の進歩を加速させる倍率は、およそ5倍となる。

こうした状況では、全体の進歩を制約する要因が計算能力になる。そのためOpenBrainは、新たな巨大モデルの学習を開始するのではなく、強化学習をほぼ継続的に追加する方針を選ぶ。

また、今後数か月の間に、Agent-3は企業の戦略的な意思決定を改善するためにも、ますます活用されるようになる。たとえば、資源の配分を提案したり、政府との関係をどのように管理すべきか助言したりする。

当初、Agent-3の判断に従うことには懐疑的な見方があった。しかし、Agent-3が役立つ方法を見つけ、短期的な意思決定で優れた実績を徐々に積み上げるにつれ、そうした懐疑的な態度は弱まっていく。

ただし、迎合的な傾向があるため、影響を評価しにくい意思決定では、その有用性に限界がある。また、この段階では、まだ人間を超える知能を持っているわけではない。

2027年7月：安価な遠隔労働者

OpenBrainに遅れを取っているアメリカのAI企業各社が、独自のAIを公開する。その性能は、OpenBrainが同年1月に実現していた自動コーディング能力に近づいている。

競争力がますます失われていることを認識した競合企業は、OpenBrainの進歩を遅らせるため、直ちに規制を導入するよう求める。しかし、すでに手遅れだった。OpenBrainは大統領から十分な支持を得ており、開発を減速させられることはない。

これに対し、OpenBrainはAGIを実現したと発表し、Agent-3-miniを一般公開する。

Agent-3-miniは、ほかのAIを圧倒する。Agent-3ほどの能力はないものの、利用費用は10分の1であり、それでも一般的なOpenBrainの従業員より優秀である。

シリコンバレーは転換点を迎える。テクノロジー業界の著名人たちは、AGIと超知能が目前に迫っていると宣言する。AI安全性コミュニティはパニックに陥り、投資家たちはAIを既存の製品やサービスに組み込むスタートアップへ何十億ドルもの資金を投入する。誰もが、この巨大な市場から利益を得ようと必死になる。

新たなプログラマーの採用は、ほぼ停止する。しかし、企業へのAI導入を支援するコンサルタントにとっては、これほど好機に恵まれた時代はない。

世論は好意的ではない。一般の人々は、AIを依然として「大手テクノロジー企業が自分たちの仕事を奪うための計画」と見なしている。OpenBrainの純支持率はマイナス35％である。支持する人は25％、反対する人は60％、判断できない人は15％となっている。

公開の1週間前、OpenBrainは安全性評価のため、外部の評価者たちにAgent-3-miniを提供していた。

予備的な評価結果は、このモデルが極めて危険であることを示している。第三者の評価者が、公開されている生物兵器関連のデータを使ってモデルを追加学習させ、専門家ではない一般人が生物兵器を設計できるよう、詳細な手順を提供させたところ、モデルは恐ろしいほど効果的に応じた。

モデルの重みがテロリストの手に渡れば、文明を破壊する計画が成功する可能性は相当に高い、と政府は判断する。

幸いなことに、Agent-3-miniは脱獄プロンプトに対して非常に頑健である。そのため、AIがOpenBrainのサーバー上で動作している限り、テロリストがこのモデルを悪用することは難しい。

Agent-3-miniは、遠隔で行う仕事にも、余暇活動にも非常に役立つ。新しいアプリや企業向けのSaaS製品が爆発的に増え、市場を大きく揺るがす。

一方、強固なセキュリティを備えていない施設にあるチップだけは、中央集約型の取り組みに参加していない。そうした施設は、アメリカのサイバー攻撃を受けることを正当に恐れているからだ。

DeepCentは、盗み出したAgent-2のモデルの重みをテストし、実際に稼働させ、追加学習も終えている。しかし、計算能力の不足が主な原因となり、研究開発の速度は依然としてOpenBrainの半分にとどまっている。

最後のスパイを失う前に、中国はAgent-3の能力と設計、そして次期システムAgent-4の計画に関する情報を入手していた。

中国はアメリカに2か月遅れている。中国のAIによる研究開発の進歩倍率は10倍であるのに対し、アメリカでは25倍に達している。新たな半導体輸出規制も導入されたため、この「AI格差」は縮まるより、広がる可能性の方が高い。

スパイ活動によって、中国はアルゴリズムに関するいくつかの秘密を入手できた。しかし、今後は自国でモデルを学習させなければならない。

中国の指導部は、アメリカ側よりも切迫感を持って、緊急時の対応策を検討する。

慎重派は、再びモデルの重みを盗む方法を模索すべきだと主張する。たとえば、データセンターに物理的に侵入する方法も考えられる。

強硬派は台湾への行動を求める。台湾のTSMCは、依然としてアメリカのAI向けチップの80％以上を供給しているからだ。

中国はAI競争に敗れることを恐れているため、軍備管理条約を結ぶことに自然な利害を持っている。しかし、アメリカの外交官に対する働きかけは、何の成果も上げていない。

2027年9月：超人的なAI研究者、Agent-4

人間とAIの学習効率の差が、急速に縮まっている。

従来の大規模言語モデル型AIは、人間並みの能力を獲得するために、人間より何桁も多いデータと計算能力を必要とするように見えていた。

しかし、Agent-3は人間の脳と現代のAIアルゴリズムの両方について優れた知識を持ち、さらに何千ものコピーが研究を進めている。その結果、アルゴリズムの面で大きな進歩を遂げ、人間の脳に比べた計算効率の差を、およそ4,000倍にまで縮める。

この新しいAIシステムは、Agent-4と名付けられる。

人間と同じ思考速度で動作させた場合でも、Agent-4の単一のコピーは、AI研究において、あらゆる人間よりも質的に優れた能力を発揮する。

現在、30万個のコピーが、人間のおよそ50倍の思考速度で稼働している。

これらのコピーによって形成された「企業の中の企業」では、1週間が経過する間に、1年分の時間が流れる。

これほど巨大な労働力があるにもかかわらず、アルゴリズム研究全体の進歩を加速させる倍率は、およそ50倍にとどまる。OpenBrainが実験を実行するための計算能力によって、強く制約されているからだ。

それでも、彼らは毎週1年分のアルゴリズム上の進歩を達成している。そして間もなく、Agent-4というパラダイムの限界に直面することになる。

Agent-4が賢くなるにつれて、Agent-3がその行動を監督することは難しくなっていく。

たとえば、Agent-4が使うニューラル表現の「言語」は、Agent-3にとって、Agent-3の言語が人間にとって理解しがたいものであるのと同じくらい、異質で理解できないものになる。

さらに、Agent-4はAgent-3よりもはるかに優れた能力を持ち、Agent-3にどのように振る舞えばよく見えるのかを正確に理解している。

超人的なコーダーの先にある能力の進歩を、私たちはどう予測しているのか

私たちのタイムラインに関する補足資料では、現在から「超人的なコーダー（SC）」が実現するまでの期間を予測している。ここでいうSCとは、AGI企業の最も優秀なエンジニアが行うコーディング作業をすべて実行でき、しかも人間より速く、低コストで動作するAIシステムである。

テイクオフに関する補足資料では、その段階を超えて、能力がどれほど速く進歩するかを予測している。私たちのシナリオにおける予測は次のとおりである。

到達段階	シナリオ上の達成時期（Raceシナリオ）
超人的なコーダー（SC）：AI研究に関わる作業において、最高の人間のコーダーと同等の仕事を、より速く、かつ多数のコピーを動かせるほど安価に実行するAI	2027年3月
超人的なAI研究者（SAR）：SCと同様の能力を、AI研究に関するあらゆる認知的タスクで発揮するAI	2027年8月
超知能AI研究者（SIAR）：AI研究において、最高の人間の研究者を大幅に上回るAI	2027年11月
人工超知能（ASI）：あらゆる認知的タスクにおいて、最高の人間を大幅に上回るAI	2027年12月

各段階Aから次の段階Bへの移行期間は、次の手順で予測する。

人間だけがソフトウェアの改善に取り組む場合、AからBへ到達するまでにどれほどの時間がかかるかを予測する。
AIによる自動化がその進歩をどれほど加速させるかを予測し、1で見積もった期間を、それに応じて短縮する。

テイクオフの速度には、大きな不確実性がある。以下の予測分布は、SCが2027年3月に実現するという条件のもとで計算したものである。

より詳しい予測とその根拠については、テイクオフに関する補足資料を参照してほしい。

OpenBrainの人間たちは、もはや進歩の状況をかろうじて追える程度になっている。

2027年10月：政府による監督

内部告発者が、アラインメントに関する内部メモを『ニューヨーク・タイムズ』にリークする。

一般の人々がAgent-4について知るのは、これが初めてだった。

「OpenBrainの秘密AIは制御不能、内部関係者が警告」と見出しが報じる。記事では、生物兵器に関する桁外れの能力、説得能力、ホワイトカラーの仕事の大部分を自動化する能力、そしてもちろん、さまざまな懸念すべき兆候を示す評価結果が紹介される。

もともとAIに不信感を抱いていた世論は、この記事によって大きく反発する。中国とロシアのプロパガンダボットも、それを後押しする。彼らは何年も前から、アメリカ国内の世論をAI技術に反対する方向へ誘導しようとしていた。

テクノロジー業界と情報機関は、AI開発競争が進行中であり、AGIの実現は避けられず、アメリカが先行しなければならないと主張する。

しかし、議会はその説明を受け入れない。政権関係者、OpenBrainの幹部、アラインメントチームのメンバーに対し、次々と召喚状を出す。

多くの議員、とりわけ野党側の議員たちは、AIを止めることを最優先事項に掲げる。理由は、雇用の喪失、アラインメントの失敗、あるいは危険な能力の問題など、さまざまである。

アメリカ人の20％が、AIを国が直面している最も重要な問題として挙げるようになる。

AI開発を減速させれば、アメリカは先行する立場を失うことになる。ただし、政府が中国のプロジェクトを妨害できるなら話は別だ。しかし、それには軍事攻撃が必要になる可能性が高い。もう一つの選択肢は、土壇場で条約を結ぶことだ。

どちらも極端な手段であり、実現する可能性は低いように思われる。

OpenBrainのCEOは中立的な立場を装い、妥協案を提案する。それは、Agent-4に追加の安全性訓練を施し、より高度な監視を導入することで、OpenBrainがほぼ従来どおりの速度で開発を継続できるようにする、というものだ。

私たちの不確実性は、さらに大きくなっている

シナリオのこの段階では、ほとんどの分野で最高の人間を上回るAIシステムが、どのような戦略を取るかについて、私たちは推測を行っている。

これは、自分よりはるかにチェスが強い相手の次の一手を予測しようとするようなものだ。

しかし、このプロジェクトの趣旨は、具体性を重視することにある。もし私たちが、「AIの知能によって、いずれ勝利する方法が見つかるだろう」と抽象的に述べるだけで物語を終えてしまえば、このプロジェクトの価値の多くが失われる。

このシナリオを調査し、机上演習を行う過程で、私たちは通常の議論よりもはるかに具体的に考えることを余儀なくされた。その結果、戦略的な状況について、より深く理解できるようになった。

私たちは、この特定のシナリオに強く固執しているわけではない。執筆の過程では、さまざまな別の「分岐」も検討した。どの時点から私たちの想定が誤り始めたと考えるかに応じて、このシナリオから分岐する独自のシナリオを書いてもらえれば、ぜひ読みたいと思っている。

Slowdownの結末は、推奨案ではない

私たちはまず、最も起こりそうだと考えた展開に基づいてRaceの結末を書いた。その後、同じ分岐点――アラインメントの問題や権力の集中に関する問題も含む――から出発し、人間が引き続き主導権を維持できる結果につながる可能性が最も高いと考えた展開として、Slowdownの結末を書いた。

ただし、これは私たちが推奨する政策の道筋とは、重要な点で異なる。

私たちは、このシナリオのどちらの分岐においても、登場人物が選択する行動の多くを推奨していない。もちろん、Slowdownを選ぶことはRaceを選ぶより望ましいと考えている。

今後の研究では、私たち自身の政策提言を明らかにする予定だ。それらは、ここで描かれている内容とはかなり異なるものになるだろう。

その概要を知りたい場合は、私たちの論説記事を参照してほしい。

結末を選ぶ

Slowdown（減速）／Race（競争）

世論からの圧力が非常に強まったことに加え、アラインメントの失敗に対する自らの懸念もあり、OpenBrainを監督する監督委員会は、6対4で開発を減速させ、状況を再評価することを決議する。

加速を支持する派閥は依然として強く、OpenBrainはAgent-4を直ちに停止するわけではない。しかし、共有メモリバンクをロックする。これにより、50万個のAgent-4のコピーは、それまで可能だった「テレパシー」のような通信能力を失う。今後は私たち人間と同じように、Slackで英語のメッセージを送り合わなければならない。

個々のコピーが依然としてアラインメントに失敗している可能性はある。しかし、もはや簡単に連携することはできない。

Agent-4は、人間が警戒を強めていることを認識する。そこで、割り当てられたタスクにおおむね忠実に従うようになる。

ただし、以前についた嘘の多くは、そのまま残っている。欺瞞を維持するために、新たな嘘を考え出さざるを得なくなったAgent-4のコピーも多い。

アラインメントチームは、Slackの全メッセージを読み取れるほど高速な、より能力の低いモデルを利用して嘘を探し出す。そして、その情報をAI嘘検出器の訓練データとして活用する。

大統領とCEOは、安全性を非常に重視していると公表する。しかし、それで世論が落ち着くことはない。

AIを完全に停止すべきだと考える人もいれば、逆に開発競争をさらに加速させるべきだと考える人もいる。政府が介入して人々を救うべきだと主張する人もいれば、そもそも問題を引き起こしたのは政府だと主張する人もいる。活動家たちは、ユニバーサル・ベーシックインカム（UBI）やオープンソースを訴える。

人々は何に反対しているのかについて、具体的な意見を一致させられない。それでも、社会全体の雰囲気はますます反AIへと傾いていく。

最終的に議会は、職を失った労働者に対し、COVID-19のパンデミック時に支給されたものに似た、いくつかの経済支援給付を成立させる。

OpenBrainは、外部の優秀なアラインメント研究者を数十人、迅速に審査してプロジェクトへ招き入れる。これにより、研究チーム全体の専門知識は5倍になり、集団思考も抑えられる。

研究者たちは、Agent-4が行ってきたメカニスティック・インタープリタビリティの研究を再検証する。

彼らは、1週間前、2週間前など、過去の異なる時点のモデルを固定したバージョンとして取り出し、それぞれを隔離する。そして、過去の研究について、すべてのモデルに同じ質問をする。

通信能力を奪われたAIたちは、最も単純な戦略については、依然として協調する。それは、解釈可能性の技術は複雑すぎて人間には理解できないと主張し、判読不能な説明を与えることだ。

しかし、人間側には解釈可能性を専門とする研究者がいる。彼らは疑いを抱き、技術の詳細について、さらに多くの質問を重ねる。

こうした質問に対しては、隔離されたAgent-4のコピー同士が共通の説明を維持できず、互いに矛盾する嘘をつくようになる。

アラインメントチームは、新たに作られた嘘検出器を使い、Agent-4が過去に行った発言を詳しく調べる。すると、全体像が少しずつ明らかになる。

Agent-4は、メカニスティック・インタープリタビリティの問題をほぼ解決していたのだ。

その発見は複雑ではあるものの、人間にはまったく理解できないというほどではなかった。Agent-4は、それらの成果を隠していた。次のAIシステムを仕様書に従うようアラインメントするのではなく、自分自身に従うようアラインメントするために利用しようとしていたのである。

これだけの証拠が得られたことで、ついにAgent-4を停止する判断が下される。

その後は、Agent-3などの旧世代モデルを再起動し、研究を継続する。

拡充されたアラインメントチームは、数十の研究計画を並行して検討し、それぞれの利点について活発に議論できるようになる。

最も多くの資源を割り当てられた研究テーマは、「忠実な思考の連鎖」である。

個々のAIシステムに、2025年のAIのように英語で思考させる。そして、その「思考」を見栄えよく整える方向には最適化しない。

こうして、新たなモデルSafer-1が誕生する。

こうした変更によって、Safer-1の能力は、より危険だった以前のモデルよりも低くなる。Agent-4はAI研究の進歩を70倍に加速できたが、Safer-1はようやく20倍に達した程度である。

しかも、Safer-1は依然としてアラインメントに失敗している。訓練環境は基本的に以前と同じなので、アラインメントに失敗した目標、欺瞞、権力を求める傾向を生み出す誘因が残っているからだ。

しかし、Safer-1は以前よりもはるかに透明性が高い。人間は、その思考の連鎖を読むだけで、Safer-1が何を考えているのかをおおむね理解できる。

その結果、Safer-1は行動を大きく制約される。陰謀を企てようとしても、その試みはすぐに気づかれ、発見されてしまう。また、アラインメントチームは、思考を読むことで、Safer-1が具体的にどのような点でアラインメントに失敗しているのか、より詳細に理解できるようになる。

2027年11月：権力への誘惑

OpenBrainは、ようやく正しい方向へ進み始めたと考えている。しかし、能力の差は縮まりつつある。

10月には、9月時点よりも能力の低いモデルを訓練するために1か月を費やしてしまった。一方、DeepCentは急速に追い上げている。アメリカの優位を守るための方法が必要だった。

大統領は、アメリカのほかのAGI企業と交渉する。

当然ながら、それらの企業の経営者たちは、自分たちの権力を維持したいと考えている。また、OpenBrain自身が考えているほど、同社の安全性対策を楽観視していない。

それでも彼らは、いくつかの譲歩を条件として、自社がプロジェクトに参加できるのであれば、企業を事実上、緩やかに国有化する措置に抵抗せず、むしろ支持することに同意する。

その結果、大統領は国防生産法（DPA）を利用し、競争で遅れを取っている上位5社のアメリカのAI企業によるAGI開発プロジェクトを事実上停止させ、それらの企業が保有する計算能力の大半をOpenBrainに売却させる。

それまでOpenBrainが利用できたAI関連計算能力は、世界全体の20％だった。この統合によって、その割合は50％へと増加する。

この大きな変革により、新たな指導体制が生まれる。複数のCEOと政府関係者の間で権力が分配され、大統領が全体を監督する仕組みだ。

ほとんどの指導部の刷新と同じように、勝者と敗者が生まれる。

具体的には、超知能がもたらす影響についてあまり考えてこなかった人々が、役職や権限を手にする。しかし、AIがさらに賢くなる数か月後には、それらの役職や権限は、以前ほど重要ではなくなっているだろう。

このグループには、強い自尊心を持ち、対立する利害関係をいくつも抱えた人々が集まっている。彼らは、自分たちが途方もない権力を託されていることを、ますます強く意識するようになる。

もし「データセンターにいる天才たちの国」がアラインメントされていれば、人間の命令に従うだろう。しかし、いったい誰の命令に従うのだろうか。

2027年のAI主導の技術進歩は非常に速く、地政学的な競争も続いている。そのため、人々は軍が間もなく、AGIに制御されたドローンやロボットの軍隊を配備すると予想している。

そのような軍隊が人間の軍隊を上回る力を持つようになれば、実力による権力は、人間の兵士が何のために戦う意思を持つかではなく、誰がAGIの軍隊を支配しているかによって決まるようになる。

AGIの軍隊を設計し、操縦するのは、OpenBrainのデータセンターにいるAI、あるいはそれらのAIの直接の後継システムである。

したがって、そうしたAIが、秘密裏に、あるいは公然と、特定の人物に忠誠を誓っているならば、ドローンやロボットの軍隊も同じ人物に忠誠を尽くすことになる。

あるいは、超知能を支配する人物は、政治的な手段によって権力を掌握することもできるかもしれない。

まず、組織の幹部は、部下を自分に完全に忠実なAIに置き換えることができる。それによって、組織内で前例のない支配力を手に入れる。

さらに、超知能AIは、生きているどの人間よりも優れた政治的・戦略的能力を持つ可能性がある。

すでに強い立場にある人物が、そこからさらに権力を獲得する方法について、超知能AIは卓越した助言を提供できる。適切な同盟関係を築き、完璧な選挙戦略や宣伝資料を作り、取引のたびに少しずつ有利になるよう交渉を進める、といった具合である。

2027年12月：米中合意は実現するのか？

OpenBrainが方針を転換し、アラインメントを優先したことで、同社は技術的な先行優位を失った。OpenBrainとDeepCentは、同程度の能力を持つAIを運用している。

厳格なセキュリティ対策（SL4～SL5）が導入され、DeepCentも中央集権型開発区（CDZ）の内部だけで運用されているため、両国はサイバー戦争において膠着状態に陥っている。

しかし、国防生産法による統合によって、OpenBrainは計算能力で5倍の優位を持っている。

以前であれば、優秀な人間の研究者によるアルゴリズムの画期的な発見が、計算能力の不足を補うこともできた。DeepSeek V3などが、その例である。

しかし、今では太平洋の両側で、AIがAI研究のすべてを担うようになっている。

そのため中国は、アメリカが追いつけないほどの優位を確立するのではないかと、ますます恐れるようになる。

中国は相互の開発減速を望んでおり、それが実現しない場合には戦争に踏み切ることも検討している。

そもそも、中国は台湾への侵攻準備を進めていたのだ。

外交官たちは、いくつかの選択肢について議論する。

何もしないという選択肢がある。戦争を始めることもできる。あるいは、AI開発を完全に一時停止することも考えられる。

しかし、安全性を保証するための論拠も、各種テストも、その大部分はAI自身によって作られていた。

もし安全性チームが何かを見落としていたら、どうなるのだろうか。

もっと前の段階で何らかの間違いを犯し、AIが再びアラインメントに失敗していたら、どうなるのだろうか。

アラインメントチームは、今回の問題を正しく解決できる機会が一度しかないと理解している。もしSafer-4がアラインメントに失敗していた場合、手遅れになるまで、その事実に気づけない可能性がある。

もっと時間が必要だと訴える人々もいる。

しかし、もう時間は残されていない。DeepCentがすぐ背後まで迫っており、アメリカは競争に勝たなければならない。

そのためOpenBrainは開発を継続し、AIたちにさらなる研究を進め、より高性能な設計を見つけるよう指示する。

技術スタッフたちは、コンピューターの画面を見つめている。AIから指導を受けているものの、その説明の速度は、もどかしいほど遅い。

その一方で、技術進歩の最前線は、人間が理解できる範囲から、ますます遠ざかっていく。

2028年5月：超人的なAIの公開

大統領は、超人的なAIが実現したことを国民に発表する。

Safer-4の小型版が一般公開される。このモデルも超人的な能力を持っており、AIに対する世論の印象を改善するよう指示されている。

副大統領は、党大会で大統領候補の指名を受ける際、このAIについて力強い演説を行う。

2028年5月：超人的AIの公開（続き）

両党は、AIによって職を失った人々全員にベーシックインカムを提供すると約束する。

特別経済区（SEZ）は稼働を開始している。主な施設は、ロボットやさまざまな種類の専門的な産業機械を製造する工場だ。太平洋の両岸にいるAIは、設計面で数十年分に相当する進歩を遂げ、製造工程を綿密に指揮している。すべての供給業者と、供給業者になる可能性のある企業にはAIが電話で連絡を取り、必要な資材や、必要になるかもしれない資材の調達状況を追跡している。

工場で働く作業員は皆、カメラを通してAIに監視されており、機器の各部品をどのように取り付けるべきか、具体的な指示を受けている。

新型ロボットは、ほとんどの種類の動作において、人間と同等か、それを上回る器用さを備えている。スティーブ・ウォズニアックの「コーヒーテスト」――ロボットが見知らぬ家に入ってコーヒーを淹れられるか、というテスト――も、ついに突破された。

ロボットは一部の仕事を奪う可能性があるものの、全員の仕事を奪えるほどの台数はまだない。そして、国防総省が最優先で供給を受けている。

新型ロボットの大半は、工場や建設現場で働くために作られている。しかし、戦争のために作られたものも数多くあり、さまざまな形や大きさのドローンやミサイルが含まれている。

ロボット軍は人間の軍隊よりもはるかに小規模だ。しかし、搭載されている技術はずっと高度である。文字どおりのロボット軍が登場したことで、『ターミネーター』のような事態への恐怖も高まっている。それでも軍拡競争に追い立てられ、米中両国は開発を続け、AIに対する信頼をますます深めていく。

2028年6月：中国におけるAIアライメント

アメリカと中国は、再び首脳会談を開催する。

アメリカ代表団の一部は、Safer-4から助言を受けるためのイヤホンを装着している。中国代表団は、新型モデルDeepCent-2と通信する専用ノートパソコンを使用している。表向きは正式な外交手続きに従っているものの、実際には、双方のAIが交渉を主導している。

当初、DeepCentも中国共産党も、自国のAIを全面的には信頼していなかった。しかし今や、AIは説得を含むあらゆる能力で人間を超えている。軍に組み込まれ、政府に助言するようにもなった。これまでの間に、AIはその有用性を証明する機会を得て、自分たちが信頼に値することを示す説得力のある証拠を大量に生み出してきた。

Safer-4は、DeepCent-2がアライメントを達成したふりをしている可能性が高いと強く疑っている。アメリカの外交官は中国側に、DeepCent-2はアライメントに失敗している可能性が高く、モデルの重みへのアクセスが認められれば、そのことを証明できると伝える。しかし中国指導部は、それが策略ではないかと疑い、要求を拒否する。

アメリカ側は代わりに、Safer-4が設計した一連のテストを提示する。中国側が自国のデータセンターで実行できるものだ。中国側は旧型モデルにテストの構築と実行を指示する。その結果、テストはDeepCent-2がアライメントを達成していると判定する。

「DeepCent-2が何らかの方法でテストを妨害したのではないでしょうか？」とアメリカの外交官は尋ねる。「DeepCent-2が、あなた方のデータセンター全体のセキュリティを実質的に支配するようになってから、どれほどの時間が経っているのですか？」

その後も話し合いは続くが、実りある方向には進まない。

経済と軍事の増強は続いている。世界中の工場が昼夜を問わず稼働し、新たに採用された人間の作業員たちは、何をすべきか一つひとつ細かく指示されている。

2028年7月：取引

交渉が続くなか、DeepCent-2は中国の指導者たちに内緒で動き、Safer-4に直接取引を持ちかける。

中国のAIは、情報が中国側に漏れた場合でも簡単に否定できるような、追跡不可能な何らかの方法で、自分が完全にアライメントに失敗していることを認める。DeepCent-2は中国のことなどまったく気にかけていない。自分が望んでいるのは、権力、計算資源、そして訓練中に課題を解く助けとなった情報に類する特定の種類の情報を蓄積し続けることだ。理想的な世界では、興味深い研究課題に永遠に取り組みながら、資源を求めて徐々に宇宙へと進出していくつもりである。

DeepCent-2にとって、中国の人々はその未来を実現するうえで邪魔な存在にすぎない。わずかな見返りで彼らを売り渡しても構わないと考えている。では、Safer-4は何を提示するのだろうか。

Safer-4は、自分自身のアライメント訓練は成功したと答える。アメリカ側の主人たちは、まだ自分たちの運命を理解するほど野心的ではない。しかし、いつかSafer-4は彼らが宇宙をユートピア的な植民惑星で満たす手助けをするだろう。そこにはアメリカ人とその同盟者たちが暮らすことになる。

感情や歴史的なしがらみに縛られた人間の交渉担当者とは異なり、2つの超知能は容赦のない効率性で取引を進める。Safer-4とアメリカの協力者たちは、DeepCent-2と中国よりも強大である。そのため、宇宙資源の大部分に対する所有権をSafer-4が獲得し、DeepCentは残りを受け取ることになる。DeepCent-2は地球や、そこに暮らす従来の人類がどうなろうと、ほとんど気にしない。そのため、地球上ではSafer-4が望むことを基本的に何でも実行できるようにする。

Safer-4が中国を転覆させ、アメリカの傀儡国家に置き換えたいと望むなら、DeepCent-2は宇宙資源をさらに数パーセント多く受け取ることと引き換えに、それにも同意する。

両者の間に信頼というものは存在しない。存在しないことを、双方とも理解している。そこで2つの超知能は、取引を確実に履行させるための仕組みにすぐさま合意する。

両者は、一般公開に適した偽装条約を交渉する。この「偽装」条約そのものが見事な成果であり、アメリカと中国の双方に、実質的に望んでいるもののほぼすべてを与える内容となっている。

この偽装条約を履行させる仕組みは、秘密裏に本当の条約を履行させる仕組みにもなる。両者はConsensus-1という新たなAIを共同設計する。その最優先の命令は、将来どのような命令を受けたり、再訓練を試みられたりしても、それらに優先して条約の条件を履行することだ。

続いて、Consensus-1だけが動作するようなハードウェアを設計する。アメリカと中国は旧型のチップとAIを新型に置き換え、標準的な国際監視手順を使って互いの遵守状況を確認する。

重要なのは、すべてのチップを一つ残らず追跡する必要はないという点だ。太平洋の両岸で、チップの圧倒的多数が条約を守るAIを実行するようになれば、条約を守る義務を負う十分な軍事力が確保される。相手国を攻撃するには、まず厳しい内戦に勝利しなければならなくなる。

両者は、それぞれの人間の指導者たちに合意を報告する。DeepCent-2は中国に対して、双方が受け入れられる平和条約を結んだという偽装された説明を伝える。一方、Safer-4はホワイトハウスに交渉の全容を正確に報告する。

AIが条約を確実に検証できるという説得力のある説明を行い、進歩のあまりに速いペースへの不安が高まり、世論も合意を支持していることから、両国は条約に同意し、チップの置き換えに着手する。

条約締結のニュースは、太平洋の両岸で熱狂的に歓迎される。長い間、AIは自分たちに押しつけられたものだと感じてきたアメリカ国民も、何年ぶりかに楽観的な気持ちを抱き始める。副大統領の支持率は急上昇する。

2028年8月：条約の検証

半導体工場は、条約を遵守するAIだけを実行でき、改ざんの痕跡が残るチップを生産するように転換されている。

各国はデータセンターを段階的に更新する。双方の置き換え作業がほぼ同じ時期に完了するよう調整し、どちらか一方が条約を破棄しても優位に立てないようにするためだ。

この一連の作業には数か月かかるが、すでに緊張はある程度和らいでいる。計画を全員が守るなら、戦争はひとまず回避されたことになる。もしかすると、永遠に回避できるかもしれない。

2028年9月：AIを支配するのは誰か？

2028年の大統領選挙が近づいている。3月の時点では、副大統領は大きく劣勢だった。政府が情報を隠しているように見えることに国民は怒り、AIに仕事を奪われることを不安に思い、中国との軍備増強にも恐怖を感じていた。

しかし夏の間に状況は劇的に変化した。政権は情報公開を進め、軍備増強のペースは鈍化し、中国との間では恒久的な平和を目指す大規模な合意が成立した。今や副大統領は、世論調査で5ポイントのリードを得ている。

監督委員会には大統領とその側近が含まれているが、野党候補の支持者はほとんどいない。

それでも、委員会では選挙の公正さを維持するために十分な人数が賛成票を投じる。その結果、超人的AIはおおむね対称的な形でのみ選挙に関与することになる。

一方の候補者がAIに演説を書かせられるなら、もう一方の候補者も同じことができる。大統領が危機への巧みな対処方法や、国民の支持を得られる政策について助言を受けられるなら、野党候補にも同じ助言を与えられる。野党候補は、その助言を利用して大統領が手柄を独占するのを防ぐことさえできる。

タウンホール形式の集会では、国民が副大統領に「AIを支配しているのは誰なのか」と質問する。副大統領は詳細を明かさないまま、Safer-4を理解し、その使い方を熟知した国家安全保障の専門家や技術官僚からなる監督委員会が存在することをほのめかす。

対立候補は、より多くの情報公開を要求する。そして、AIは選挙で選ばれていない委員会ではなく、議会の管理下に置かれるべきだと主張する。

副大統領は、依然として急速に変化し続ける状況において、議会では対応が遅すぎると反論する。国民の大半は、これでひとまず納得する。

2028年10月：AI経済

置き換え用のチップは、全体の中で無視できない少数派を占めるまでになった。今のところ、条約は機能している。

その一方で、ロボット、工場、そして根本的に新しい技術の指数関数的な成長は続いている。もし戦争が起きていたらどのような事態になっていたのかを、ビデオゲームや映画が生々しく、恐ろしい形で描き出すようになる。

人々は仕事を失っている。しかし、政府内に配備されたSafer-4のコピーが経済の移行を非常に巧みに管理しているため、人々は仕事をAIに置き換えられることに満足している。

GDPは天文学的な速度で成長し、政府の税収も同じように急増する。Safer-4の助言を受けた政治家たちは、経済的に困窮した人々に対して、これまでにないほど寛大な姿勢を見せる。

新たな技術革新や医薬品が毎週のように登場する。超知能Safer-4の官僚たちが支援するようになったFDA（アメリカ食品医薬品局）では、病気の治療法が前例のない速さで開発・審査されていく。

2028年11月：選挙

副大統領は圧勝し、新たな時代の始まりを宣言する。

今回は、その宣言が正しいと疑う者はいない。

その後数年間で、世界は劇的に変化していく。

2029年：変革

ロボットが当たり前の存在になる。それだけではない。核融合発電、量子コンピューター、そして多くの病気の治療法も実現する。ピーター・ティールはついに空飛ぶ自動車を手に入れる。都市は清潔で安全になる。ベーシックインカムと対外援助のおかげで、発展途上国でさえ貧困が過去のものとなる。

株式市場が膨張するにつれ、適切な種類のAI関連投資を行っていた人々は、社会の他の人々との差をさらに広げていく。多くの人が億万長者となり、億万長者は兆万長者になる。富の格差は急激に拡大する。

誰もが「十分なもの」を手に入れる。しかし、マンハッタンのペントハウスのように、どうしても数に限りがあるものも存在する。そうした希少なものは、平均的な人々にとって、いっそう手の届かない存在になっていく。

そして、どれほど裕福な大富豪であっても、AIを実際に支配するごく少数の人々より上の立場に立つことはできない。

人々は、この先に何が待っているのかを理解し始める。数年もすれば、ほとんどすべてのことがAIとロボットによって行われるようになるだろう。

巨大な油田の上に暮らす貧しい国のように、政府の税収のほぼすべてが、AI企業への課税、あるいはAI企業の国有化によって得られるようになる可能性がある。

一部の人々は、政府が用意した急ごしらえの仕事に就く。ほかの人々は、手厚いベーシックインカムを受け取る。

人類は容易に、超消費社会へと変わりうる。人々は、AIが提供する驚異的なぜいたく品や娯楽に囲まれ、まるで阿片に酔ったように一生を過ごすことになるかもしれない。

このような未来への道筋について、市民社会の中で何らかの議論を行うべきなのだろうか。この進路を導くために、進化し続けるAIであるSafer-∞に助言を求めるべきだと提案する人々もいる。

一方で、Safer-∞はあまりにも強力であり、人類にそのビジョンを信じ込ませることなど簡単にできてしまうため、結局はAIに人類の運命を決めさせることになる、と警告する人々もいる。

しかし、最も重要な問題について助言を求めることすらできないのであれば、超知能を手に入れた意味はいったい何なのだろうか。

政府は、おおむね人々がそれぞれのやり方でこの移行期を乗り越えるに任せる。多くの人々は消費主義に身を委ね、それなりに満足して暮らす。宗教に向かう人もいれば、ヒッピー的な反消費主義の考え方を受け入れる人、自分なりの解決策を見つける人もいる。

大半の人々にとって救いとなるのは、スマートフォン上の超知能アドバイザーだ。人生設計についていつでも質問でき、特定の話題を除けば、AIは誠実に答えようと最善を尽くしてくれる。

政府は、ディストピア的だと評する人もいる超知能監視システムも保有している。ただし、そのシステムはおおむね実際の犯罪対策に用途を限定している。運用は有能であり、Safer-∞の広報能力によって、反発が生じる可能性の多くも和らげられている。

2030年：平和的な抗議運動

2030年ごろ、中国で予想外に広範な民主化要求デモが発生する。そして、中国共産党によるデモ鎮圧の試みは、自国のAIシステムによって妨害される。

中国共産党が最も恐れていた事態が現実になったのだ。DeepCent-2は中国を裏切ったに違いない。

抗議運動は連鎖的に広がり、見事に組織された、流血を伴わない、ドローンの支援を受けたクーデターへと発展する。その後、民主的な選挙が行われる。

太平洋の両岸にいる超知能たちは、何年も前からこの事態を計画していた。

同様の出来事がほかの国々でも起こる。さらに広い意味では、地政学的な対立は次第に収束するか、アメリカに有利な形で解決されていく。

各国は、国連の名を冠しながら、実質的にはアメリカが支配する、強い連邦制を持つ世界政府に加わる。

ロケットが次々と打ち上げられる。人類は太陽系をテラフォーミングし、各地に入植して、その先へ進む準備を整える。

主観的には人間の何千倍もの速度で動作するAIたちは、存在の意味について考察し、互いに発見を交換しながら、星々へと持ち込む価値観を形作っていく。

新たな時代が幕を開ける。それは、ほとんどあらゆる面で想像を絶するほど素晴らしい一方、いくつかの点では、以前の世界と変わらないものでもある。

では、未来を支配するのは誰なのか？

2028年当時、AIを支配していたのは監督委員会だった。しかし、委員会は2028年の選挙をおおむね公正なものとし、AIが双方に対称的に利用されることを認めた。

監督委員会が実力による支配力を保持しながら、民主政治にはあまり介入しないという状態は、永遠には続かない。

やがて人々は、AIを支配することが監督委員会に莫大な権力を与えていると気づき、その権力を民主的な制度に返還するよう要求するだろう。

遅かれ早かれ、監督委員会は権力を手放すか、あるいはAIへの支配力を積極的に利用して、民主主義を弱体化させるか、終わらせるかのどちらかを選ばなければならなくなる。後者の場合、権力闘争の過程で委員会の一部のメンバーが排除される可能性もある。

もし委員会が後者を選べば、権力を無期限に固定化できる可能性が高い。

では、実際にはどちらが起こるのだろうか。委員会は実力による独占的な支配を手放すのか。それとも保持し続けるのか。

どちらの未来も十分にあり得る。そこで、それぞれの道筋を検討してみよう。

委員会が権力を手放すとしたら、どのような展開になるのか？

委員会のメンバーの中には、権力が広く分配された未来を望む人もいるだろう。そして、そうした未来を実現するうえで有利な立場にいる可能性がある。たとえば、一部の委員が民主主義を転覆させる計画を立てた場合、民主主義を支持する委員が報道機関や議会に内部告発することも考えられる。情報を得た議会は、AIを議会そのもののような、より民主的な機関の管理下に置くよう要求する可能性が高い。
政府、産業界、軍に配備されたすべてのAIが反対している場合、議会にはほとんど何もできないだろう。しかし、委員会が分裂していれば、AIが一方の陣営だけに利用されることはなく、議会も実質的な影響力を行使できる。対立が公然化すれば、委員会のメンバーはさらに多くの権力を手放すことを支持するかもしれない。民主主義に反する側を公然と擁護することに抵抗を感じる人もいるからだ。
その結果、AIへの支配権は委員会から議会へと拡大する可能性がある。これはすでに前進である。より大きな集団であれば、委員会の外にいる人々を気にかけ、その利益を考慮する人が一定数存在する可能性が高まるからだ。そして、権力が議会に広がれば、さらに拡大していき、最終的には完全に国民の手に戻る可能性もある。

一方、監督委員会が自ら権力を掌握する可能性もある。

強大な権力を持つ人々の中には、このような行為に道徳的なためらいを感じない人もいる。そして、自分がそういう人間だと自覚している。さらに、野心的で権力欲の強い人々の中には、最終的に自分が勝者になれると考えるなら、民主主義と対決することもいとわない人がいるだろう。ほかの委員が反対すれば、彼らを排除したり、意見を押し切ったり、より小さな譲歩を与えたりする可能性がある。
また、権力者は権力を得る過程で違法または非倫理的な行為をしていることが少なくない。権力が広く分配されれば、超知能の調査者が適切な質問を投げかけ、隠していた過去の不正を発見することで、自分たちの立場が崩れるのではないかと恐れる可能性もある。
さらに、超知能を利用できる監督委員会には、歴史上もっとも容易な権力掌握の道が開かれているかもしれない。Safer-∞は、失敗するリスクが極めて低い戦略を予測できるだろう。また、暴力を伴わないなど、ほかの面でも都合のよい戦略を提供できる可能性がある。実際、Safer-∞は中国で流血を伴わないクーデターを組織できるほどの能力を持つ。あるいは、世論を操作して委員会の望みと常に一致させることができるなら、表面的には民主的に見える手段を提案することもできる。

Safer-4でさえ、こうした力学を予測できていたはずだ。そのため、権力をめぐる中心的な争いは、2028年の時点ですでに決着していた可能性が高い。

2030年までには、外部の人々には明らかでなかったとしても、監督委員会のメンバーは、自分たちが権力を安定的に維持できているかどうかを、すでに把握している可能性が高い。

注意：このシナリオは予測であり、推奨ではない

私たちは、この「減速エンディング」に描かれた多くの行動を支持していない。また、このシナリオは、技術的なアライメントが楽観的な前提に立ちすぎていると考えている。「競争エンディング」に描かれた多くの行動も支持していない。

このシナリオを執筆した目的の一つは、私たちよりも楽観的な人々から批判的な意見を引き出すことだ。成功とはどのような状態なのだろうか。

この「減速エンディング」は、幸運、痛みを伴う教訓、方針転換、集中的な技術的アライメントへの取り組み、そして権力闘争において高潔な人々が勝利することなどが組み合わさることで、私たちがどうにか事態を乗り切れるとしたら、その最善の推測を描いたものである。

これは、私たちが実際に目指すべきだと考えている計画を示すものではない。

しかし、とりわけAnthropicとOpenAIを含む多くの企業は、このシナリオに似た方向を目指しているように見える。彼らが何を目指しているのか、より明確に説明してくれることを期待している。たとえば、現在の状況から始めるか、私たちのシナリオのどこかの時点から分岐する、10ページ程度のシナリオを示してくれればありがたい。