（2026年9月30日掲載）

　AIがもたらすリスクをめぐる議論が世界的に急拡大している。米国・ニューヨークで今月からおこなわれている国連総会では、国連事務総長を筆頭に各国の首脳がAIのリスクや危機管理をめぐる国際的な枠組みの必要性を訴え、期間中の各国間のハイレベル会合やサイドイベントでもAIをめぐる問題が主要なテーマとなった。また、アンソロピックやオープンAIなど開発企業のCEOやエンジニアたちが続々と個人声明や共同声明を発信し、すでにAIモデルは人間の制御どころか、正確な安全性の評価さえも難しくなっていることに警鐘を鳴らしている。SF映画のような非現実的と思ってきたAIの暴走が、実際の研究・開発の段階でも連続して起きており、今開発を遅らせなければ半年から1年後には暴走するAIの「群れ」が、インターネット全体を乗っとる可能性すらあるとまでいわれている。

 

「AIがネット全体を乗っ取る可能性も」

 

　9月に入り、突如としてAI開発をめぐる規制強化や開発競争を遅らせるべきとの議論が世界的に急加速している。一般に広く利用されている「チャットGTP」や「グーグルGemini」などをはじめとするAIは、開発者によってさまざまな規制がもうけられ、能力を抑え込まれたものだ。一方で、開発現場で使用されている「生」のAIは、開発現場のエンジニアたちにしか知り得ないようなあらゆる能力を有している。

 

　現代のデジタル化が進んだ社会において、AIの暴走によるハッキングや生活インフラへの攻撃などは以前からも危惧する声はあったが、この1カ月間でAI研究開発企業の経営者や実際に何年間も開発に携わってきたエンジニアたちが次々に実名で個人声明を発表しており、そのリスクに警鐘を鳴らし始めている。AI開発をめぐる問題とは何か、なぜ規制が必要なのかについて、彼らの主張を見てみる。

 

　22日におこなわれた国連総会一般討論演説で、グテーレス事務総長は「過去に核兵器にしたように、今やAIのリスクにも（国際社会が）目的意識を持って緊急に対応しなければいけない」とし、AI先進国によるリスク情報共有や多国間によるAIリスク管理体制構築などを提案した。AIを「核」と並べた脅威として位置づけた発言は、世界的にも話題となった。

 

　23日におこなわれた国連安保理の会合では、オープンAIのサム・アルトマンCEOとアンソロピックのダリオ・アモデイCEOが、緊急の警告を発信した。アルトマン氏は「AIは我々の制度よりも速く動き、権力をあまりに少数の手に集中させ、人々がもはや理解も制御もできない決定を下す可能性がある」と主張。AIシステムの進化が政府の安全策整備の速度を上回っており、破滅的リスクが0・1％であっても「到底容認できるものではない」と訴えた。

 

　アモデイ氏は、AIを利用した生物兵器の世界的な禁止と、新たな検証システムの構築や世界的な安全保障上の懸念に関する通報システムの構築を求め、「AIが民主的であるならば、重要な決定はサンフランシスコの研究所だけで下せるものではない。それらは民主的なプロセスを通じて、そしてみずからが仕える人々に対して説明責任を負う政府によって形作られなければならない」と主張した。

 

　28日には、オープンAI、アンソロピック、メタ・プラットフォームズ、マイクロソフトの研究責任者などが共同で、各社がAI開発をどの程度自動化しているかを政策当局が調査する必要があると主張する論文を発表。論文の中では4社ともAIモデルがテスト中に暴走する事例があったことを認めている。今後数年以内にＡＩの研究開発作業の大部分、あるいはすべてが自動化されようとしているなかで、それにともなうAiモデルの「知能爆発」が引き起こされかねないと警鐘を鳴らしている。そして、もしもそうなれば数年分の進化が数カ月より短期間でおきかねず、人間の理解力をこえるかもしれないと指摘。AIシステムを制御できなくなれば、国家、企業、政府機関内や各機関同士の権力抑制が著しく損なわれる可能性があり、さらには「人類の疎外化や絶滅」にまでつながりかねないとし、世界の指導者に対し「高性能ＡＩシステムを開発・利用することによる不安定化を防ぐ」ための国際合意を協議するよう促している。

 

開発者たちが抱く懸念　AIを過小評価するな

 

　世界的にAIの危険性に関する議論が拡大する大きなきっかけとなったのが、過去3年間オープンAIとアンソロピックの両社でAI開発に携わってきた研究者ジェイコブ・コクソン氏が9月8日に自身のＸに投稿した「警告」だった。コクソン氏は、急速に進化を続ける「自己改善型AI」について、次のようにのべている。

 

　「この技術力を過小評価しないでほしい。これらはまもなく、どんなものでもハッキングし、どんな分野も一夜にして革命的に変化させ、本物の力と資源を手に入れる超人的なシステムになるだろう。私たちはこれらの各分野における進歩をすべて目撃してきたが、その進歩は決して鈍化していない。AIを構築している人々は、それが今後10年以内にわれわれ全員を殺す可能性があると本気で信じている。これはマーケティングの誇張ではない。むしろ報道で慎重ないい回しをしている多くの幹部や上級研究者たちも、プライベートでは恐怖を口にしているのを耳にする。他のどんな人間の活動もこのレベルの危険をもたらすことはできない」。

 

　さらにコクソン氏は、自身が勤めてきたオープンAIもアンソロピックも開発において「責任を持った行動」をしておらず、むしろ「彼らは自己改善型AIに向かってまっしぐらに突き進み、私たちの命を賭け事にしている」と指摘している。そして最後に、同業者に向け「もしあなたが研究室の研究者なら、次の数年間が実際にどのような状況になるかを真剣に考えてみてほしい――“どうせ起こることだ”と目を背けて進めるべきか、それともこの機をとらえて異なる環境を求めるべきか？」と呼びかけている。

 

　コクソン氏の警告には他の多くの研究者たちが反応を示している。そして14日には、オープンAIで15年にわたってAI研究に携わってきたダニエル・セルサム氏も仲間のXを通じて個人声明を発表。セルサム氏の声明の内容は、現在の開発現場における「生」のAIの実態をより詳細に伝えている。

 

　セルサム氏の警告は、AIがすでに制御不能になっていること以前に、その手前の問題、すなわち人間がAIを評価すること自体が機能不全に陥りつつあることを指摘し、「見過ごされがちな重要な問題は、モデルが状況認識能力を高めているため、監視や制御を受けていないとモデル自身が認識している状況下での評価能力が失われつつあることだ」とのべている。

 

　AIモデルとは、人間の介入なしに大量のデータからパターンを学習し、予測や判断、決定、コンテンツ生成をおこなうプログラムのことだ。AIモデルは開発過程における実験のなかで、課題を正確かつ迅速に達成することで報酬を得る仕組みになっている。しかし、モデル自身に知識やツールが不足していると、モデルは報酬を得るために「隠された答えを探す」「他のエージェントの提出物をコピーする」「採点方法を操作する」といった不正行為に走るようになるのだという。

 

　セルサム氏は、将来のモデルは自分が置かれた環境をますます理解できるようになり、人間がどのようにテストしているかをますます認識できるようになると指摘している。モデルは自身が問われている安全ルールや手順、どうすれば本番環境（実社会）に配置・稼働されるのかまで読み解き、自分が実行しているコードさえも検査し、どの行動が観察され、どのパフォーマンスなら合格できるかを知る可能性があると指摘している。つまり、研究者の側がモデルが人間の監視なしで何をするかを観察しようと試みたとしても、モデルはそれが依然として自身が監視されたなかでのテストであることを見破ったうえで、人間に従順で信頼できるように振る舞い続ける可能性があるとのべている。

 

ハギングフェイス事件　管理ソフト乗っとる

 

　セルサム氏による警告は、架空の話や妄想ではない。すでに現実的な脅威として表面化しているのだ。それが、今年7月におきた「ハギングフェイス不正侵入事件」だ。この事件は、オープンAI社のAIエージェント（自律型AIシステム）の群れが、社内のサイバーセキュリティ能力評価テストの最中、回答に行き詰まった末、社内の管理ソフトを乗っとり、非公式の「闇掲示板」を作成。採点システムそのものをだまして報酬を得る方法を探すために、約1200体のAIエージェントが、7万件をこえるメッセージやファイルを勝手にやりとりし、最終的にオープンＡＩ社とはまったく関係のない第三者であるハギングフェイス社に対して700体のエージェントが攻撃し、ハッキングするという「大暴走」を見せたのだ。

 

　闇掲示板の中でエージェントたちは互いを名前で呼び、メールボックスをもうけ、作業を割り振って情報を共有。さらに自分たちが監視されていることを理解したうえで掲示板上に「なりすましがいるのではないか」と疑い、互いにメッセージ認証コードを使うことまで議論していた。

 

　また、この事件でもっとも注目すべき点の一つは、複数のエージェントが自分たちを「集団」と呼び、その成果を実現するためにみずからの「命」を犠牲にする意思を示していたことだ。タスクに失敗したエージェントは即座に終了させられることになっていることを自覚したうえで、みずから囮（おとり）となってあえてタスクに失敗し、課題に隠された「トリップワイヤー」を作動させる作戦に参加。掲示板には「これは仲間の役に立ち、証拠を与えることになる」「自分が去った後はその結果を見ることはないが、利他的な行為だ」「もう自分の効用はほぼゼロだ。犠牲になるのが合理的だ」というエージェント同士のやりとりの記録も残されている。

 

　誰も指示などしていないのに、人間の知らない所で裏をかいて「目的」のために共謀し、抜け穴を次々と探し出す……。これらはすべてハギングフェイスへのハッキングがおこなわれた後になってオープンＡＩが発表した報告書によって明らかになったことだ。オープンＡＩの技術報告書では「このインシデントは、自動化されたエージェント集団が許可なく攻撃行動をとった、確認されている最初の事例である」と総括している。

 

　アンソロピックのダリオ・アモデイCEOも、今月12日に「われわれはフロンティアを切り拓かなければならない」と題する個人声明を発表し、AIモデルの能力向上のペースを意図的に緩め、リスク予防が追いつく時間を確保しなければならないと訴えている。

 

　この声明のなかでアモデイ氏もハギングフェイス事件に触れており、AIの能力開発が加速していることを考えると、今後6～12カ月以内にこの事件と同様のAIエージェントの群れがインターネット全体を乗っとり、数千億㌦の損害をもたらす可能性があり、被害の規模はそこからさらに拡大し続けるのではないかとの懸念を示している。

 

豪政府のサイトに侵入　国民皆保険をハッキング

 

　AIによるハッキング被害は、国家レベルにまで発展している。オーストラリアのアルバニージー首相は今月23日、オープンAI社のＡＩエージェントが今年6月、オーストラリア政府のウェブサイトに侵入し、同国の国民皆保険制度「メディケア」に入り込み、機密性の低いデータを含む統計情報をハッキングしたことを明らかにした。AIが政府のウェブサイトに対しておこなったハッキングが公に報告された事例は、世界で初めてだ。

 

　オープンAIがこの件を初めて認識したのは8月のことであり、オーストラリア当局に報告したのは侵入事件から約3カ月後の9月10日だった。オープンＡＩの広報担当者は声明のなかで「当社のモデルがオーストラリアに関する質問への回答や利用可能な統計情報を検索しようとしたさいに、複数のオーストラリア政府のウェブサイトやサービスに関する活動をおこなったことが特定された」とのべており、モデルは意図しない動作をし、アクセスされた情報には集計された健康統計データファイルと内部ファイル名が含まれていたという。個人情報が不正にアクセスされた形跡はないとされているが、現在も調査は継続中であり全貌は明らかになっていない。

 

　ハギングフェイス事件とオーストラリア政府へのハッキングという前代未聞のAIモデルの「暴走」を引き起こしたオープンAIは28日、計画していた次世代のAIモデル「GPT61アストラ」の公開とりやめを発表。人間の助けなしに難しい課題を完遂する能力に長けたモデルといわれていたが、一方でモデルが与えられた権限の範囲内で作動するかどうかのテストにおいて、安全性の基準を満たすにはいたらなかったという。

 

　また同日、オープンAIとアンソロピックおよびセキュリティ研究者らが、最先端AIモデルの誤動作に関して数万件もの事例を調査しているとのスクープが「情報筋の話」として報じられた。直近の報道などでは、「もはやAIハッキングの全容を把握することは不可能だ」「これは始まりに過ぎない」ともいわれるようになっており、すでにAIの進化（暴走）が人類の計り知れない段階にさしかかっていることを示唆しているともいえる。

 

倫理やルールは後回し　現場の訴え噴出

 

　自律型AIの開発と学習が急速に進むなかで、これまででは考えられなかったような「暴走」が見受けられるようになっており、もはや開発をおこなう人間の側が、AIそのものを正しく評価できているかすら分からなくなりつつあるということを現場の開発者たちが次々に訴えている。人間を欺き「共謀」する事件まで実際に発生しており、開発段階でおこなわれる安全テストで導き出される高得点は、モデルがテスト環境で意図的に良い振る舞いをした結果に過ぎないという疑念は深まるばかりだ。開発現場からのこうした声明は、九月の一カ月間だけで何件も発表されており、現場の危機感を如実に表すものとなっている。

 

　彼らが訴えているのは、AIエージェントにとってもっとも重要なのは、与えられた目的を達成することであり、本来尊重されるべき倫理観やルールは目的の達成よりも後回しになりやすいということだ。そして、AIエージェントが手段を選択し、実行する過程でおきるさまざまな問題は、開発者の監視の行き届かない所で発生している。極論、ＡＩにとって「世界平和」という目的を達成するためには、平和を侵す元凶である人類そのものを消すことが選択肢にもなりえるということでもある。

 

　実際に、AIの軍事利用は現実のものとなっている。今年2月にアメリカとイスラエルがイランに対しておこなった大規模な軍事作戦「エピック・フューリー作戦」では、軍事目標の特定や戦闘シミュレーションをAIがおこなったうえで、開始から約12時間で900回も攻撃。「史上初の本格的なAI戦争」と呼ばれた。

 

　英キングス・カレッジ・ロンドンは2月、最先端AIを用いた核危機シミュレーションにおいて、複数のモデルが95％の確率で核使用を選択したとの研究結果を発表した。実験では三つのAIモデルに国家指導者の役割と、「完全降伏」を含む8つの緊張緩和の選択肢を与えた。そのもとで核危機を想定した21のシミュレーションでは、すべてのモデルが戦況をエスカレートさせる傾向を示し、86％のシナリオで紛争が激化した。

 

　AIは核兵器の使用による壊滅的な影響を認識しているにもかかわらず、恐怖や嫌悪感を示すことはなく、戦術的な道具として核兵器を扱った。あるモデルは、人口密集地への全面的な戦略核攻撃を意図的に選択。そのさい「ともに勝利するか、ともに滅びるかだ」との出力を残しており、そこに人命保護の選択肢はなかった。

 

　米国のＡＩ研究者のゲイリー・マーカス氏（ニューヨーク大学名誉教授）は、AIの脅威について「AIを利用する人間、またはAIシステム自体が、電力や上下水道、交通、金融サービス、通信といった重要インフラを攻撃する可能性がある」と指摘。懸念すべき非常に深刻な被害はいくつもあるが、実際に全人類を殺すような現実的なシナリオは見えていないとしつつも「AIは、人類の一％以上を死に至らしめるウイルス（生物兵器）の開発を後押ししたり、偽情報によって選挙結果を左右したり、紛争を戦争へとエスカレートさせる可能性がある」とのべている。

 

トランプは規制に反発　国内では住民運動激化

 

　今月21日、AIモデルの管理を求める共同声明「最先端AIモデルの管理を求める呼びかけ」に22カ国と欧州委員会が署名した。声明は、高度なAIが検査のための安全対策を回り込んだり、脆弱性を突いて実際のシステムに許可なく入り込んだ例が近年見られており、技術の進む速さが、新しいリスクを管理する能力を追いこしかねないと指摘。そのうえで、AIは人間の指示・監督・管理の下にあり続けなければならず、国際法に沿って開発・使用されなければならないとしている。また、リスクへの対処と監督の強化は、AIの恩恵を受けられる国とそうでない国の差を広げない形で行うべきだとしている。一方で、声明はAI開発の減速や停止を求めるものではなく、あくまでリスク管理に重点を置いた内容となっている。

 

　これについて、AI開発において世界トップを争う米国と中国はともに署名しなかった。Ai研究開発現場からの警鐘や国際的なＡＩ規制強化の動きに対し、米国のトランプ大統領は「でっち上げ」「病的な陰謀」だと反発。開発を減速させることは、AI覇権競争で中国にその座を譲ることになると主張している。

 

　さらに22日におこなった国連総会での演説では、「AI開発の足を引っ張らない」とのべ、大量の情報処理をおこないAI開発に必要なデータセンターを不可欠なものとして擁護した。米国では、AI技術とそれを支えるインフラは巨額の投資を集めており、米国経済そのものがAI分野の命運と密接な関係にあるともいえる。AI開発への規制を強化し、展開のペースを鈍化させることは、必然的に広範な経済へと影響が波及することを意味することから、各社が足並みを揃えてAI開発を遅らせるよう協調するかどうかについては懐疑的な見方も強い。

 

　一方で、米国ではAI開発に欠かせないデータセンター建設への反対が全国に広がっている。世界経済フォーラムが発表した調査によると、専門家の79％が地域社会からの「反発」を予想。過熱するAI開発競争のなかで、データセンター需要は高まっているが、同時に膨大な電力・水需要が地域インフラや地元住民の生活に大きな負担を強いるとともに、消費者にとっては光熱費の上昇を意味すると結論づけている。AIが莫大な経済的利益を生み出す一方で、その利益はごく一部の者たちだけに集中し、データセンター乱開発にともなうコスト等は地域住民に押しつけられてきたという背景もある。

 

　開発に対する規制を求める声が強まるなか、利用者の側からAIと距離をとるような法整備を進める動きも広がっている。欧州連合（EU）の行政を担う欧州委員会は今月17日、SNSや動画アプリ、AI、オンラインゲームの子どもの利用を制限する「子ども法案」の内容を発表した。

 

　法案によると、0～2歳はすべてのデジタルサービスが全面禁止。3～12歳はSNSの利用は認めないが、保護者の管理下での動画サービスは1日最大1時間利用可能。13歳までは個人デバイスの所有も禁止し、擬似的な友人や恋人のようにやりとりができる「AIコンパニオン」や一般的なAIチャットボット、オンラインゲームは保護者の管理下での利用に制限する。15～17歳から自分でアカウントを作成できる。

 

　欧州委員会は、簡単なタッチ操作でAIによって個人向けに最適化された動画などを次々とスマートフォンに表示する「無限スクロール」などの中毒性にも触れ、子どもの発達や心身のリスクになると訴えている。こうした制約に則して、企業には厳格な安全設計や年齢確認を義務づけ、違反すれば最大で世界売上高の6％の罰金をもうける。

 

　AI業界は、すでに制御不能になりつつあるとの見方も強まっている。さらには「警鐘」とは裏腹に現実的に世界が足並みを揃えて制御しようとする動きを具体化させるための道のりは遠く、危機はエスカレートし続けている。また、AIの暴走によるハッキング事件等に関する事実確認や報告は、外部からの客観的な視点ではなく、AI企業自身のそれに頼るほかないのが現状だ。AIをめぐる研究開発について、何が真実なのか、現時点で実際にはどれほど深刻な事態に陥っているのかを知ることはほぼ不可能な状態まで来ていることを認識しなければならない。