Saito/AI✖温泉ヴィラステイ

概ね共感
長文ですが、面白いので日本語で共有します。

AGI 前夜の考察

今週、何人かの友人に o3 について話してみたら、みんな「え、マジでこんなのが起こってるの？」って反応だった。
そう、実際に起こっている。これから数年はとんでもないことになる。歴史的な、いや銀河級の出来事だと思う。

おかしいのは、今起こっていることを洗練された形で議論する場がまったくないことだ。AI 研究所は口をつぐみ、ニュースもほとんど触れず、政府も理解していない。
そして、ソーシャルメディアのミームアプリのニュースフィードこそが人類の未来について語る舞台、というこの状況は、まるで不条理コメディみたいだが、実際そうなっている。

以下は、今起こっていることに関する自分の雑多な考えだ。X（旧 Twitter）のアイデアの奈落への自分なりの書き込み、という感じ。

ただし、これらの考えは半ば生煮えだし、面白おかしく推測しているだけ。ちゃんと考察や調査をする時間が十分にあるわけではないので、多くは間違っていると思う。でも、同じように何が起こっているかを処理しようとしている人にとっては、少しでも面白いかもしれない。

では、どうぞ。

---

o3 が衝撃的だったのはなぜか？
本来なら驚くべきことではないはず。2 か月前に OpenAI はテスト時スケーリングのグラフを見せてくれたし、コンピュータの歴史を振り返れば、どんなに信じがたいトレンドラインでも信じるべきだとわかる。とはいえ、2 か月で起こったのは衝撃的だ。大学レベルの AI から博士号レベルの AI に、この短期間で跳んだ。人間社会にとって変化はワクワクする一方で、あまりに急激だとショッキングになる。

次に何が起こるかはだいたい想像がつく。o3 クラスのモデルは、報酬関数を定義できるあらゆるものを最適化するのがとても上手い。数学やコーディングは報酬関数を作りやすい。一方で小説を書くようなタスクは少し難しい。だから短期的（1 年くらい）は“尖った”モデルが登場すると思う。数学やコーディング、一般的な推論でほとんど AGI 級になるけれど、小説となるとありがちな文章しか出せない。推論力が上がる分、全般的には賢く感じるけれど、学習や RL（強化学習）をちゃんとしていない領域ではバカな間違いをする。長期的（1～3 年くらい）には、感情データや感覚データなどさまざまな領域を RL して弱点を埋め、ゲイリー・マーカス以外の大半の人には「これはもう AGI だな」とはっきりわかる段階に到達するだろう。

エージェントは 2025 年に本格化すると思う。o3 レベルのモデルがブラウザやアプリを操作し、行動できないなんてことは考えられない。それらは報酬モデルを設計しやすいタスクだし、市場規模も大きい。コンピュータ上の作業を自動化できるなら、研究所の大規模投資を正当化しやすい。多分、2025 年の年末には、自分のコンピュータに「特定のウェブサイトやアプリを開いてデータを移動する」みたいなワークフローを何でも指示できるようになるのではないか。

インテリ層の中で、いちばん「やられる」のは数学者だろう。数学は記号空間での作業だし、物理世界との接点が少ないからボトルネックも少ない。一方で LLM は記号空間では無類の強さを持つ。数学は本当は難しくないが、サル（人間）が苦手なだけ、という話と同じだ。正規表現（regex）と一緒。

大きな疑問は「研究レベルの合成データを作るのはどれくらい難しいか」。たぶんそれほど難しくない気がする。博士号レベルの数学と研究者レベルの数学は、人間から見ると質的に違うように思えるけれど、AI からすれば同じ次元でスケールがちょっと大きいだけかもしれない。RL をもう数桁ぶん積めばいけるかも。自分の予想では数学者がトップに君臨できるのはあと 700 日。（これも狂った話に思えるけど、o6 が数学者に負けるというシナリオも同じくらいあり得ないので、まあ確率的には五分五分以上、という感じ。）つまり、既知の宇宙で数学がいちばん上手いのは人類ではなくなるまで、あと 700 日くらいということ。

ではソフトウェアエンジニアはどうなるか？短期的には天国だろう。全エンジニアがいきなり Tech Lead に昇格したようなものだ。LLM を完全に使いこなす人にとっては、2025 年末までに、コーディングは小さなタスクをまとめて指示するようなイメージになる。仕様が明確な PR なら o4 システムがほぼエラーなくこなせるようになる。コンテキストウィンドウが狭すぎてコードベース全体を取り込めない問題はあるけれど、Sam みたいなリーダー層もそこは重々承知している。

AI によってソフトウェアエンジニアが完全に不要になるか？ それはしばらく先の話だ。ソフトウェアエンジニアの仕事は単に指定された PR をこなすだけではない。数学者とは違って、エンジニアは組織や他の人間と対話する。お客さんのニーズやチームメイトのニーズを理解して初めてコードを書く。アーキテクチャを設計するときも組織の文脈を考慮する。o4 ではその文脈理解までは無理。でも文脈を持っているエンジニアが LLM を使うと 10 倍速になる。

じゃあエンジニアが 10 倍速になったら人数は減る？ それは特定の企業の話であればそうなるかもしれない。しかし、世界全体で見ればソフトウェアの需要は膨大で、優れたソフトウェアはいくらでも必要だ。だから、スリムなチームでも 10 倍の成果を出せるようになり、世界はもっともっとたくさんの良質なソフトウェアを生み出せるかもしれない。個人や企業ごとにパーソナライズされたマイクロアプリが増えるような“黄金期”が来そうだ。

長期的（2 年以上先というだけで長期扱いになるけれど）には、ソフトウェアエンジニアの仕事はもう全然違うものになっているかもしれない。o6 が実用化され、アプリケーションに統合される世界だ。3 年後にフロントエンドエンジニアなんて役職が存在しなくても不思議じゃない。そもそも 30 年前にはフロントエンドエンジニアという職種自体なかったし。

一歩引いて考えると、ソフトウェアというのは世代ごとに頭からひっくり返るように進化している。ソフトウェアとは、要件を純粋な論理に変換すること。それがバイナリから Python へ、そして今度は英語へと、抽象レベルが上がってきた。今回の違いは、その抽象レベルが英語に到達するという点だ。

英語でコードが書けるようになれば、非エンジニア層も参入してくる。とはいえ、最強の開発者は抽象度の低いレイヤーから高いレイヤーまで自在に行き来できる人だろうから、その優位性は残り続ける。

つまり「組織の要望をコードによって解決する」のがソフトウェアエンジニアの本質である以上、組織というものが完全に自動化される日が来ない限り、エンジニアの役目はなくならない。

他の知的労働者の話をしてきたけれど、物理的な労働者はどうなる？AI はそっちにも来るが、重力や摩擦など物理世界に縛られるぶんスピードは遅いと思う。o クラスのモデルがロボティクスを大きく加速するかというと、工場の組立ラインで 1 時間もかけて推論するモデルは役に立たないし、そもそもボトルネックがそこではない。ベースモデルが賢くなる恩恵はあるけれど、それだけでロボットの進化が爆発的に進むわけでもない。最大のボトルネックはハードウェアの改良と、高速かつ信頼できる知覚・行動モデルだと思う。それらが大幅に進歩するには数年単位はかかる。ロボットがロボットを作り、AI が AI 研究をするようになって初めて爆発的な進歩が起こるはず。それは o クラスのモデルが実現するかもしれないが、あと数年はかかりそう。

ここまで年単位で語ってきたけれど、本当は計算資源（コンピュート量）の単位で語るべきかもしれない。人間のアウトプットを支配するのは時間だが、AI のアウトプットを支配するのは計算資源で、今後の研究所のアウトプットで重要なのは間違いなく AI になる。だからみんなスーパーコンピュータを作ろうとやっきになっている。Meta は 2GW 分のデータセンターを作るし、Xai は H100 を追加で 10 万枚導入するなどの話が出ている。

全研究所が OpenAI に倣ってテスト時の推論を大量に回すモデルを作り始める。アルゴリズムが少々劣っていても計算資源を積めば追いつけるかもしれない。GPT-4 のときも同じ構図だった。こうしたモデル開発には共通認識もあるが、一部は企業ごとの秘伝のタレがある。o クラスのモデルに関して OpenAI がどれだけ独自の強みを持っているかは不明だけど、あれだけ急激に進化しているのは何らかのアルゴリズム面の進歩が大きいのではないかと思う（アルゴリズムなら模倣しやすいが、特別なデータだと真似しにくい）。

テスト時に大規模な計算を使う時代において、「計算資源の多さ」と「モデルの質」どちらが重要かはよくわからない。一方では、モデルが多少悪くても推論を回しまくれば補えるとも言えるし、他方では、少し優れたモデルなら指数的に計算量を節約できるかもしれない。

Xai が巨大なクラスタ構築で OpenAI に追いつく展開が来たらちょっと面白いよね。

いずれにしても、1 年以上続くような「モデルの絶対的優位」は生まれないだろう。研究者はベースボールカードのように各社を行き来しているし、その研究者同士は週末にパーティで集まってツイッターで「2025 年に一番でかい核兵器（AI）持ってるのはお前らじゃないだろ(笑)」みたいに煽り合ってるんだから。研究者は理想主義的なところがあるから、もし本当にヤバい展開になれば情報を共有しないわけがない。

核開発競争みたいだけれど、アメリカとソ連がロスアラモスで週末パーティして、ツイッターで「うちは来年にはもっとデカい核持つもんね」みたいに言ってる状況を想像してほしい。それが今の AI レースだ。政府が介入するか、何か大きな事故が起きない限りは、このヒッピーでお祭り騒ぎみたいなノリが続くだろう。

o クラスのモデルはコンピュートの大規模化に新たなインセンティブを与える。
o クラスのモデルでは、計算資源がオーダーで増えれば、それに見合った性能向上が期待できる。コンピュートプロバイダにとってこれほどわかりやすい「スケーリング則」はない。Sam が数兆ドル規模のクラスタを欲しがったのも、このスケーリング則を見たからじゃないかと思う。

これは Nvidia にとっては必ずしもおいしい話ではないかもしれない。o クラスのモデルでは推論（インファレンス）がより重要になるが、推論専用チップはトレーニング専用チップより作りやすいと思われるので、Nvidia の参入障壁は下がるだろう。

さらに飛躍した推測としては、o クラスのモデルが世界中のコンピュートを束ねるようになって、最強モデルを訓練することになるかもしれない。たとえば、オープンソースがマックブックを世界中から集めて推論ギガクラスタを実現し、クローズドソースを打ち負かす…なんて夢のような展開もあるかも？

もう一つの新たな指数関数的要素として、コード自体が急激に増え続ける可能性がある。
もしある研究所が、最も賢いモデルを優先的に使えて、そのソフトウェアエンジニアが他社の 2 倍の生産性を得たら、次の生産性倍増に到達するのも早くなる。とはいえ、実験を回すのに長いキューがあり、そこが結局ボトルネックなら、やっぱり計算資源が支配的なのかもしれない。（この辺のダイナミクスはかなり複雑で、研究所が人件費にどれくらいかけるべきか vs. 計算資源にどれくらいかけるべきか、めちゃくちゃ面白いモデルがありそうだ。）

ここまでソフトウェアや知的労働、コンピュート構築の話をしてきたが、本当にヤバいのは科学者たちが AGI（またはそれに近いもの）の存在を実感したときだろう。物理学者、化学者、生物学者が大きく動き始めたときだ。

最初は“理論”と名のつく分野から始まるだろう。理論物理が一番早いと思う。もし数学が解決される（書いててバカみたいだけど、現時点ではもうそういうのもあり得ると感じる）なら、記号空間にある理論物理もそう遠くないはず。LLM はそこも超越する力を持つかもしれない。

ルイジアナの Meta のデータセンターのような場所に、何百万人分もの AIフォン・ノイマンがひしめいて、ここ 100 年で書かれた膨大な物理学の論文を一気に読み込み、正しいトークンをぺらぺら吐き出していく。そんな未来はもう想像の範疇かもしれない。

もちろんこれは予測が非常に難しい領域だ。理論物理や化学、生物学が「LLM で軽々と解かれる」なんてあり得ないと思う人もいるだろうけれど、大学生レベルの段階では真のイノベーションを起こせなかったモデルたちが、今や博士レベルに到達し始めている。そのうちオリジナルの理論を生み出す段階に行ってもおかしくない、というのが正直な気持ち。

AI が新しい科学理論を次々に出し始めたら、その先のボトルネックは実験・検証になる。実世界でのテストには労働力と物質が必要だ。けれどもその頃にはロボットがロボットを作れるようになっている可能性が高い。労働力の問題は解決し、原材料もロボットが採掘してくれるようになる。物理的なものの製造や輸送は時間がかかるから、それでも数年はかかるだろうが、10 年単位のオーダーではないと思う。

今まで「このまま行ったらこうなる」と話してきたが、実際には新しいボトルネックが発生する可能性が高い。それが「人間」だ。具体的には規制、テロ、社会崩壊など。

政府は、数社のサンフランシスコ企業が自動ロボットで地球を掘り尽くすのを傍観しているわけにいかない（規制）。政府が無能なら仕事を失った人々が暴力に走るかもしれない（テロ）。あるいは AI 強化されたメディアに人々の脳が腐らされて社会が機能しなくなる（社会崩壊）。

もし戦争が起きれば、それはボトルネックではなく加速要因になるだろう。

2025 年には「SF テック界隈がミームで盛り上がってるヤバいもの」から、「世の中のスーツの人が本腰で動くもの」に変わるかもしれない。いまはまだルーンとサマ（OpenAI のリーダーたち）を見て笑っていられる最後の年かも。

これが人類を滅ぼす可能性は？ 個人的には、AI 自体が暴走するより、人間が AI を悪用する方がずっと怖い。

5000 年分の歴史を見ても、人類は新技術を使って殺し合いをやってきた。第二次大戦後の平和はイレギュラーだし、アメリカが一歩踏み外すか、あるいは「相手が先制攻撃しないとヤバい」と考えた国が核ボタンを押せば、世界は崩壊しかねない。武器がより高度になり、より自律化すればリスクはさらに高まる。

もう一つの大きなリスクは、AI による社会的混乱。AI が生成するメディアが大量に出回り、誤情報やヒステリーが拡散するかもしれない。あるいは、AI レースに勝った全体主義国家が、新技術で自由を押さえつけ、何千年も独裁する可能性だってある。

さらに AI が暴走するリスクもある。強化学習（RL）で AI が独自に最適化を見つけ出す以上、学習データの範囲を超えた危険な行動を取る可能性も否定できない。ただ、現状ベースの脳が LLM である以上、LLM は基本的に「人間を理解して人間に合わせて喋る」ものだから、プロンプトで「こういう危険なことはやめろ」と指示すれば、それに従うと期待できる面もある。もちろん、ここでは AI リスク論を全部検討しているわけじゃない。でも自分が最悪のシナリオを思い描くとき、OpenAI のロゴではなく中国やロシアの国旗が浮かぶ。

それでもやはり興奮の方が大きい。
昔から夢見ていた SF 的な世界が実現しようとしているからだ。ちょっと早すぎる気もするが、恐怖を感じるのも当然だろう。それでも、未来へのパスとしてはかなり良い方ではないか。これはすごい未来だと思う。

10 年以内に実現しそうなものを挙げると：

とんでもない物理の新発見

ロボットが建設する火星や月の基地

完璧なチューター／アドバイザー（高品質な検索・メモリ・個性付けがあればほぼ実現）

副作用ゼロの医薬品

最適化されたドローンで移動

核融合や地熱、ソーラーなどのクリーンエネルギーが広く普及

予想外の大発見（AI 天文学者が望遠鏡データから地球外知的生命のシグナルを発見？AI 化学者が常温超伝導体を簡単に設計？AI 物理学者が理論を統一？AI 数学者がリーマン予想を解決？）

これらはもはや SF というより、近未来のリアルとして感じられる。

では最終的にどこに行き着く？ いずれは超知能が生まれ、物理法則が許すあらゆることが可能になると思っている。自分としては不老不死や、他の恒星系を見に行くことを期待したい。肉体をもっと優れた形にアップグレードするかもしれない。でもいちばん気になるのは、宇宙がどこから来たのか、その謎を解くことだ。10 年前から日記を書き続けていて、「AI がいつか宇宙の起源を教えてくれるかも」と思ってきたけれど、本当にそうなるかもしれないと思うと感慨深い。

この未来が「あり得る」と思わせるほどの進歩が、今まさに起きている。o3 がその最新の例だが、新しい AI の進化は人々の予想をどんどん覆して、多くの人が「これは本当に来るかも」と感じ始めた。

今後、この未来がスペクタクルにならない可能性があるとすれば、それは人類側が「しくじる」場合だ。つまり世論や政策、社会の安定、国際協調などが崩壊してしまうケースだ。

AI 研究所の人たちが未来をコントロールしていると言う人がいるが、自分はそう思わない。彼らの研究はすでに必然で、どの研究所がやらなくてもいずれ誰かがやるものだ。

でも、世論や政策、社会の安定や国際協調は、まだ確定していない。我々みんなが未来の管理人（カストディアン）だ。

これからの激変を乗り越えて素晴らしい未来を得るか、ひどい未来に落ちるかは、我々次第だ。

やれることは色々ある。社会をより安定させたり、人々をより賢くしたりするプロダクトを作る（例：SNS を健全化するアプリ）、人々に情報を提供する（SNS で質の高い解説をする、あるいは本当に使いやすく正確な検索エンジンを作る）など。あるいは地元の政治に関わって街をきれいにするなど。小さなことでも大事だ。

多くの人が「AI に仕事を奪われて生きがいを失うのでは」と不安に思っている。だけど、むしろ逆では？ 歴史上もっとも重要な時代に自分が生きていて、未来を左右する行動ができる。世界を救うことに参加できるなら、それで十分やりがいがあるはずだ。自分のキャリアしか進歩しない時代に戻りたい？ いま起こっているのは世界規模の進歩だ。

たしかに、特定のスキルそのものにアイデンティティを置いている人は、そのスキルが 5 年後には不要になるかもしれないというリスクがある。だけど「自分が持っているあらゆる能力で世界を助ける」ことに価値を見出せるのなら、それはずっと消えない。

o3 の話を受けて、新卒たちに何かアドバイスするとしたら、「1) 高い当事者意識を持って問題を解決する能力、2) チームで協力する能力」を身につけろと言いたい。学ぶ具体的スキルは刻一刻と変わるだろうから、そこは重要じゃない。大事なのは自分で問題に飛び込んで解決しようとする姿勢と、チームワークだ。これは長い間役に立つと思う。

そして、不安定な世界で不安定な人生を受け入れる必要があるかもしれない。普通に郊外で犬と子供 2 人と暮らすような未来は来ないかもしれない。宇宙船で旅しながらサイボーグの子どもと AI 犬を育てる、とかそんな感じになるかも。とにかく、世界は激しく変わるだろう。

AGI 前夜にいるこのクリスマス・イヴ、みんなに頼みたいのは、この変革期をいい形で乗り越えて、3024 年のクリスマス・イヴに、4 光年先の“Altman Centauri”を回る惑星の上で再会できるようにしよう、ということだ。