d

元OpenAI社員のレオポルド・アッシェンブレナーがAGI、超知能、知能爆発、再帰的自己改善などについて解説していました。非常に刺激的な内容となっています。以下にまとめます。 --- 【知能爆発】 ・AIの進歩は人間レベルで止まらない ・⭐️数億体のAGIがAI研究を自動化し、10年分のアルゴリズム的進歩を1年以内に圧縮する可能性がある ・人間レベルから、あっという間にはるかに超人的なAIシステムへと移行する ・超知能の力――そして危険――は劇的なものになる ・超知能マシンは、いかに優秀な人間であっても行うあらゆる知的活動をはるかに凌駕できるマシンと定義される ・⭐️マシンを設計するという行為もその知的活動の一つである以上、その超知能マシンはより優れたマシンを設計できる ・⭐️その結果、疑いなく“知能爆発”が起こり、人間の知能ははるか後方に置き去りにされる ・⭐️最初の超知能マシンは、人類が作る必要のある最後の発明である ・⭐️私やあなたよりもはるかに賢くなる、質的にまったく違うレベルの知能になる可能性がある 【再帰的自己改善】 ・⭐️AGIを獲得したら、1つのAGIだけを持つのではない ・⭐️何千万ものAGIを同時に稼働させることができる可能性がある ・おそらく1億人分に相当する人的知能をもつAGIを動かし、すぐにその10倍以上の速度で動作させることも可能かもしれない ・それらはまだオフィスを歩き回ったりコーヒーを淹れたりできないかもしれないが、コンピュータ上で機械学習の研究を行うことは十分可能 ・先進的なAI研究所で働く研究者やエンジニアが数百人いるのとは桁違いで、10万倍以上もの「研究者」が昼夜を問わずアルゴリズム上の画期的発見を目指して猛スピードで取り組むことになる ・⭐️これは「再帰的自己改善（recursive self-improvement）」である ・⭐️空想科学小説のような話である必要はなく、既存のアルゴリズム的進歩（現状で年間0.5 OOMsほどと言われるトレンド）を加速すればよいだけ ・自動化されたAI研究はアルゴリズムの進歩を加速させ、1年で5オーダー（5+ OOMs）以上の有効計算量の増大をもたらす可能性がある ・そうなれば、知能爆発の終わりまでに手にするAIシステムは、人間をはるかに凌駕するものになる ・⭐️自動化されたAI研究は、人間10年分のアルゴリズム的進歩を1年以内に圧縮できるかもしれない ・そしてそれは控えめな推測にも思える ・⭐️そうしたAIが数十億もの規模で“ひとつの小さな文明”のように存在する状態になるかもしれない ・⭐️超知能を他の研究開発領域に応用すれば、爆発的進歩は機械学習（ML）の研究にとどまらず広範囲に及ぶ ・⭐️ロボティクスをあっという間に解決し、他の科学技術分野もわずか数年で劇的に飛躍させ、産業的な爆発も起こる ・⭐️超知能は決定的な軍事的優位をもたらし、破壊力においても計り知れないものを解き放つはず ・⭐️人類史上でも最も激しく不安定な瞬間に直面することになる 【AI研究の自動化】 ・⭐️すべてを自動化する必要はない。必要なのはAI研究の自動化だけ ・AGIの変革的インパクトを疑う際のよくある反論は「AIは何でもこなすのは難しい」というもの ・たとえばロボティクスでは、博士号レベルの認知力があっても現実世界での作業は厄介だという指摘がある ・バイオの研究開発（R&D）の自動化でも、物理的なラボ作業や人体実験などが多く必要になる場合がある ・⭐️しかしAI研究を自動化するためにはロボティクスは必要なく、ほかに多くの要素も必須ではない ・リーディングラボのAI研究者やエンジニアの業務は完全に仮想空間だけで行うことが可能で、現実世界の制約にそれほど左右されない ・研究者の仕事は、ML論文を読み、新しい疑問やアイデアを出し、そのアイデアを検証するための実験を実装し、結果を解釈して次へ進むという一連の流れに集約される ・この流れは、現在のAI能力の延長で2027年頃までには人間のトップレベルの研究者を追い越せる可能性が十分にある ・過去10年で起きた大きな機械学習のブレークスルーは、振り返れば非常に単純かつ泥臭い発想によるものが少なくない ・⭐️AI研究は自動化できるし、AI研究さえ自動化すれば、驚異的なフィードバックループを起動させるにはそれで十分 ・⭐️自動化されたAI研究者を数百万単位で（しかも近い将来には人間の10倍や100倍の速度で）稼働させられるようになる可能性がある ・⭐️2027年までには数千万台規模のGPUを用いた運用が可能になると想定される ・トレーニング専用のクラスタだけでも3オーダー程度の拡大が見込まれ、すでに1,000万台を超えるA100相当のGPUが使われる計算になる ・推論専用のフリートはさらに大きくなるはず ・⭐️そうなれば、AI研究者を自動化して生み出された「研究者」を何百万も――場合によっては1億人分相当――昼夜を問わず稼働させられる ・重要なのは、自動化されたAI研究者がまっ先に取り組むアルゴリズム的イノベーションが「10倍や100倍の速度向上」をもたらすこと ・たとえばGemini 1.5 Flashは、当初リリースされたGPT-4と比較してわずか1年で推論が約10倍速くなっていて、しかも初期版GPT-4と同程度の推論能力を保持している ・この程度のアルゴリズム的高速化ですら、数百人の人間研究者が1年かけて達成したもの ・自動化されたAI研究者集団なら、こうしたブレークスルーを極めて短期間で何度も手にすることができる ・⭐️つまり、AI研究を自動化できるようになってからそう遠くないうちに、「1億体のAI研究者それぞれが人間の100倍の速度で動く」という事態が起こり得る 【進歩の圧縮】 ・⭐️このような状況になれば、すでに存在しているアルゴリズム的進歩のトレンドを大幅に加速させ、10年分の進歩を1年に圧縮することも不思議ではない ・自動化された「AI研究者」は本当に優秀な存在になる ・⭐️ML分野で書かれたすべての論文を読み込み、ラボでこれまで行われてきたあらゆる実験を深く検討し、コピー同士で学習を共有しながらあっという間に数千年分の経験値を蓄積できる ・人間の誰よりもはるかに深いMLの直感を身につける可能性がある ・⭐️膨大な行数の複雑なコードを書き、その全コードベースを常に頭（＝コンテクスト）に入れつつ、何十年分にも相当するチェック作業を行いバグや最適化ポイントを洗い出すことも容易 ・仕事のあらゆる工程で完璧に近い能力を発揮できる ・⭐️1体の自動化されたAI研究者を「訓練」して「オンボーディング」すれば、それをコピーするだけで済む。100万人、1億人の新規雇用を人間で賄うような手間は不要（政治的な駆け引きや企業文化への順応も不要） ・彼らは常に最大限の集中力とエネルギーで昼夜働き続けられる ・⭐️膨大な数の自動化されたAI研究者同士がコンテクストを共有し合える（場合によってはお互いの潜在表現に直接アクセスし合えるかもしれない）ため、人間研究者同士よりもはるかに効率的かつ緊密なコラボレーションと連携が可能 ・⭐️最初の自動化されたAI研究者がどれほど優秀でも、すぐにさらなるオーダーの飛躍によってより優秀な新モデルを作り出し、それをAI研究に投入できる ・⭐️たとえば「アレック・ラドフォード（元OpenAIの天才研究者）の自動化版」を想像してみる――しかも、それが1億体 ・OpenAIの研究者ならほぼ全員が「もし“アレック・ラドフォード”が10人いれば、いや100人や1,000人、100万体が人間の10倍や100倍の速度で働いてくれれば、大抵の問題はあっという間に解決できる」と同意する ・⭐️10年分のアルゴリズム的進歩を1年で成し遂げるのは十分にあり得る（数百万倍の研究リソース増加による10倍の加速、という程度ならむしろ控えめなくらい） ・⭐️こうしたシナリオを考えると、AGIから超知能に至るまでがあっという間――1年もかからない可能性すらある――というのは非常に説得力のある話に思える 【量と質】 ・⭐️量的に「超人的」で、10年の終わり頃には数億台のGPUが稼働していると想定すれば、数十億体ものAIを動かすことができ、彼らは人間より何桁も速く「思考」できる ・どんな領域でもあっという間に習熟し、1兆行ものコードを書き、ありとあらゆる分野の論文を読み込んで（しかも完全に学際的な理解を身につけ）、普通の人間がアブストラクトを読み終わる前に新しい論文をどんどん量産してしまう ・互いのコピーから平行して学び、新しい発明を導入してからわずか数週間で数十億年分の人間労働に相当する経験を積むこともできる ・24時間休むことなく集中力を最大化したまま働き続け、足を引っぱるチームメイトなど存在しない――そういった姿は容易に想定できる ・⭐️しかしもっとイメージしづらいのは、そうしたAIが質的にも「超人的」になるということ ・⭐️狭い例としては、大規模な強化学習によって、人間にはまったく理解できない独自の戦略や動きを獲得したAlphaGoの「イ・セドル戦における37手目（神の一手）」のようなクリエイティブなアイデアがすでに生まれている ・超知能では、こうした現象があらゆる領域で起こる ・人間にはまったく見抜けないような形で、人間社会やシステムの“抜け道”を巧妙に突くかもしれない ・モデルが数十年かけて解説しようとしても人間には理解不能なほど複雑なコードを生み出すかもしれない ・人間が何十年も行き詰まるような難題が、彼らにとってはあまりにも簡単であっという間に解き明かしてしまう可能性がある ・⭐️私たちは高校生がニュートン力学で四苦八苦しているうちに、彼らは量子力学の先のさらに先を探究するような状態かもしれない 【ロボティクス】 ・⭐️知能爆発においては、まず自動化されたAI研究という狭い領域で爆発的な進歩が起こる ・⭐️しかし、超知能を手にし、それを数十億体（しかもすでに超知能化した）エージェントとして多方面の研究開発（R&D）に応用しはじめれば、爆発的な進歩は一気に広範囲へと拡大する ・最初のAGIには他の領域（AI研究以外）を完全自動化するには不十分な制限が残っているかもしれない ・しかし、自動化されたAI研究によって、そうした制限を素早く解消するアルゴリズム上のブレークスルーが起こり、あらゆる認知労働の自動化を可能にする ・ロボット工学をしっかり機能させる上で最大のカギとなるのは、ハードウェア面よりもML（機械学習）のアルゴリズム面 ・⭐️自動化されたAI研究者たちが、ロボット工学の問題を解決することになるはず ・⭐️工場は、人間の管理や肉体労働に頼る体制から、ロボット群だけで完全に運営される体制へと移行していく ・⭐️こうした10億体の超知能は、人類の研究者が今後1世紀をかけて成し遂げるはずの研究開発の労力を、わずか数年に圧縮しかねない 【経済成長】 ・⭐️極端に加速された技術進歩と、あらゆる人間の労働を自動化できる能力が組み合わされれば、経済成長は飛躍的に高まる ・⭐️成長率が年2％から2.5％に上がる程度ではなく、産業革命のように根本的な成長モードの変化が起こりうる ・⭐️年30％を超える成長率や、年に複数回のGDP倍増すら考えられる 【軍事】 ・⭐️初期段階の「認知面での超知能」だけでも、軍事において十分大きなアドバンテージとなる ・⭐️超人的なハッキング手法によって、相手国の軍事システムを無力化する可能性がある ・ドローンの大群やロボット軍がまず注目されるが、それは始まりに過ぎない ・新種の大量破壊兵器や無敵のレーザー式ミサイル防衛システム、人間の想像を超えた何かが次々と登場する ・21世紀の軍隊が、19世紀の騎馬や銃剣を装備した部隊と戦うようなものになる ・米国政府を転覆できるほどの力をもつ超知能を操る存在が、プリ・超知能（超知能以前）の権力層から統治権を奪い取る可能性がある ・無防備な軍事システムや選挙システム、テレビ放送などをハッキングすることが可能 ・将軍や有権者を巧みに説得できるかもしれない ・国家を経済的に凌駕するビジネスを展開することもできる ・新たな合成生物兵器を設計し、ビットコインで雇った人間にその合成を依頼するなど、あらゆる手段が考えられる 【人類史上でも最も不安定で危険かつ異常な時期】 ・2030年代にこうした変化がどのように進展するかは予測が困難 ・⭐️少なくとも、人類がこれまで経験したことのない極限状態へ、極めて短期間のうちに突入するのは確実 ・人間レベルのAI（AGI）が登場するだけでも極めて大きなインパクトがある ・⭐️しかし、AGI登場からわずか1年足らずで、人類全体を合わせた知能さえ上回る理解力や能力――いわば“生の力”をもつ存在に移行する可能性が大いにある ・⭐️この急激な移行期に、多くの判断や実務をAIシステムに任さざるを得なくなり、制御を失うリスクが現実味を帯びる ・あらゆる出来事がものすごい速度で進み始め、世界が“狂気”に陥るようになる ・⭐️20世紀の地政学的緊張や人為的危機が、わずか数年に圧縮して起こるような事態を想像せざるを得ない ・⭐️知能爆発と、その直後の超知能期は、人類史上でも最も不安定で危険かつ異常な時期になる ・⭐️今の10年が終わる頃には、私たちはおそらくその真っただ中にいる 【超知能と原子爆弾】 ・⭐️「超知能」出現の可能性――知能爆発の可能性――は、核連鎖反応と原子爆弾の可能性を初期に議論した状況を想起させる ・H.G.ウェルズは1914年の小説で原子爆弾を予言 ・1933年にレオ・シラードが連鎖反応のアイデアを思いついたが、当初は信用されず理論上の話と思われていた ・1938年に核分裂が実験的に発見されると、シラードは再び恐怖を覚え、情報統制を強く主張 ・少数の人々がようやく原子爆弾の可能性を認識しはじめた ・アインシュタインは当初、連鎖反応を考えていなかったが、シラードに問い詰められるとすぐに理解し、必要な行動を取る意志を示した ・フェルミやボーアなど多くの科学者は「慎重派」で、連鎖反応の非常識な帰結を正面から受け止めず、過小評価していた ・⭐️連鎖反応の話が“荒唐無稽”に感じられたため、情報秘匿や全力投球はばかげていると思われた ・⭐️実際には、爆弾が現実化するまでわずか5年ほどしかなかった ・私たちは今、再び「連鎖反応」という可能性に直面している ・⭐️これが投機的に聞こえるなら、AIラボのシニア研究者の多くが「急激な知能爆発のシナリオは十分にありうる」と考えていることを思い出すべき ・⭐️彼らにはその未来が見えており、超知能は実現可能だ