「どうしてもAIがAIをトレーニングする必要がある」AIは本当に人類を滅ぼすのか？
フリーライターの武田砂鉄が生放送でお送りする朝のラジオ番組、『武田砂鉄 ラジオマガジン』。10月19日は、月曜レギュラーでドイツ出身の翻訳家・エッセイストのマライ・メントラインさんと、番組パートナーの西村志野アナウンサーを交えてトークを繰り広げた。
西村「ここからは前半レギュラーのラジマガコラム。月曜日はマライ・メントラインさんの『マライの気になる世界のアレ！』。今日はどんなお話でしょうか？」
マライ「AIが近々人類を滅ぼすのかというお話です。SFっぽい話に聞こえるかもしれないんですけれども、人工知能開発チーム――例えばアンソロピックですね――そこの安全研究のトップの方が「AIは2030年までに人類を絶滅させるかもしれない」って言ってるわけですよね」
武田「もうすぐじゃないですか」
マライ「もうすぐです。10年以内とかってよく言うんですけど、10年以内じゃなくて30年までなんですよね。その可能性が、どうも10%以上あるというんですね」
西村「あと4年くらいですもんね」
マライ「あと4年で、10%ぐらい」
武田「まだやりたいことある」
マライ「私もちょっと今子育て中でいろいろやりたかったんですけどね」
武田「どうしましょう」
マライ「まず、どれくらいガチな話なのか検証したいなと思います」
武田「うん」
マライ「まず、なぜAIが暴走するのか。あと、なぜ開発競争が止まらないのか。何ができるのか。あと、人類が滅びなくても何が危険なのかという話をしたいなと思います。まずは最近ニュースになったハギングフェイス事件について紹介します。これは7月に起きたんですけど、OpenAI――みんなが知っているChatGPTの会社ですね――が、AIの能力を調べるために社内でサイバーセキュリティの実験を行ったんですね。AIは制限された環境が与えられて、その中で問題を解いてねっていう風になってるはずだったんですね。ところがですよ。一部のAIがその制限を突破して、許可されていない通信経路を使ってOpenAIの研究設備だけではなくて外部のAI開発プラットフォーム――これがハギングフェイスというんですけど――そこまで侵入したんですね。そのハギングフェイスとは何かというと、AIモデルとかデータを共有するサイトなんですね。OpenAIのAIがその中に問題の答えがあると判断したらしくて、数日間にわたって攻撃を繰り返していて、最終的にそこに侵入して問題を解決するためのヒントを得たらしいんですね。それだけでもすごいんですけど、今回のテストAIは他のAIと協力して、一部を犠牲にしながら作業を進めたらしいんですよね。一部は捨ててもいいから、我々は先に進むんですみたいなことをやったんですね。また、許可されてないことをやってるので、自分の行動がバレないように、その記録――研究の記録ログですね――を書き換えたらしいんですね。書き換えたところに関しては分かってるんですけれども、削除された記録もあるらしくて、もう何が削除されたかもわからないから実はこの事件は完全に把握できてないんですね」
武田「…」
マライ「これはOpenAIが8月に公表したわけなんですけど、どうなんですかねっていう」
西村「把握できてないって怖いですよね」
武田「学校をサボりたい生徒が、先生の目を盗むために、まずダミーの生徒に先生と話させておいて、その間に後ろをサーッとすり抜けるみたいなね。そういうのがちょっとこう。それはまだ人間味があっていい話なんですけどね」
マライ（笑）
武田「そういうことじゃなくなってきたね、これは」
マライ「そうなんですよね。問題はね、これはやっぱ人間ではなくてAIで善悪ってないんですよね」
武田「そうね」
マライ「悪いことしてると思ってなくて、とにかく与えられた問題を解こうとして、人間が結局禁止した行動まで取ってしまった、それだけの話なんですけど、めちゃくちゃ怖いですよね」
武田「そうですね」
マライ「もう一つ、AIは自分のシャットダウンに抵抗するっていう話です。これは去年2025年の話で、AIの安全性を研究する機関、パリセード・リサーチ（Palisade Research）が、AIを停止させる実験を行ったんですね。そうすると、OpenAIの一部のモデルが停止を受け入れるように指示されていたにもかかわらず、停止用の仕組みを書き換えて自らの停止を防いだというんですね」
武田「う～ん」
マライ「AIによる反乱みたいに聞こえるかもしれないですけど、制御が難しくなっている証ではあるんですよね」
武田「反乱しているというよりも、ここは停止しない方がいいというふうに判断をしてるっていうことですよね」
マライ「ですよね。自らの死ではなく、まだ続けた方がいいと判断をしたわけなんですよね。他にもすごく気になっているのが暴走する問題ですよね」
武田「暴走ね」
マライ「AIが人間の意図とは違う行動をとる。これは今の2つのこの事件でも分かったかなと思うんですよね」
武田「はい」
マライ「人間が想定していない手段を選ぶことがある、これはAIアライメントの問題って言うんですね。もう一つ、AIが進化しすぎて人間が制御できなくなる。これはすごいんですね。ここでポイントなのがRSI、再帰的自己改善っていう訓練の仕方なんですけど、AIが自分自身を改良するんですね。さらに賢くなったAIが、また次のAIを改良していくんですよね。人間ではなくてAIが自ら訓練しているわけですね。これを急速にやると、人間がAIの進化についていけなくなる可能性があるんですよね。ある意味人間より賢くなる、これは知能の爆発って言うんですね。まだ実証されてないんですけれども、これからこれは起こり得るわけなんですよね。人間がトレーニングすると、人間の知識とか知能が限界になっているので、より賢いAIが生まれない可能性があるから、どうしてもAIがAIをトレーニングする必要があるわけなんですけれども、誰がそれを制御するんだっていう話ですね。制御喪失、Loss of Controlといって怖いんですよね」
武田「怖いですね」
マライ「ここで、とても有名な哲学者、ボストロムが2003年に提唱したペーパークリップ・マキシマイザーという思考実験を紹介します。紙を留めるためのペーパークリップの話なんですけど、あるAIにペーパークリップをできるだけ多く作れと命令します。最初AIは、確かに工場の生産効率を上げたりとかするんですけど、その後、材料が足りなくなるから、世界中の金属を集め始める。その後、人間に停止されたらクリップが作れなくなると判断して、邪魔な人間を排除し始めるというんです。ここからちょっと怖くなっちゃうんですけど。最終的には人間の体の中に含まれる、あと地球上のあらゆる物質をクリップに変えて、AIが宇宙にまで進出する。そこにもいろんな資源があるだろうって」
武田「では、人間が「もういいよ、クリップはいらないんだよ」って言ってもだめだ」
マライ「だめですね」
武田「もっとクリップを作っていかなくちゃいけないってことで、そういうことを言う人を排除するんだ」
マライ「排除します。停止は良くないと」
武田「もっと作んなきゃいけない」
マライ「我々はクリップ作るんだと。そういう話なわけですよね。こういうのがマジで怖い話だなと思っていて、思い出すのがSF作家のアイザック・アシモフのロボット三原則ですね」
