みなさん、おはようございます!こんにちは!こんばんは。Jindyです。
AIが自分より賢いAIを開発し、そのAIがさらに優秀なAIを生み出す。人間は途中から、何が起きているのか分からなくなる。
そんな話を聞くと、映画の予告編みたいですよね。しかも舞台は遠い未来ではなく、2027年かもしれないという。
ただ、ここで怖がるだけでは、仕事にも投資にも使えません。いつ起きるという予測と、すでに確認されている変化を分ける。そのうえで、誰に利益が入り、誰が損失を負担し、誰が止めるのかを考えたい。
今回の出発点は、元OpenAI・Anthropic研究者へのインタビュー要約です。そこで示された年限は確定した未来ではありません。本稿では公開された研究や企業資料を重ね、技術の話を、経営と意思決定の話へ引き寄せます。
私が引っかかったのは、AIが賢くなること以上に、人間の側が止まれなくなる構造でした。予算、評価、競争。聞き慣れた言葉の先に、ずいぶん大きな問題がつながっています。
賢さと制御は別の能力だ – 数学の金メダルでは、停止ボタンの性能は分からない

AIのニュースは、能力が一段上がるたびに未来を一気に飛び越えがちです。でも、その間にある段差こそ見ておきたい。
研究の手伝いから、研究の主導へ
AIが数学やプログラミングで進歩しているのは事実です。Google DeepMindは、2025年の国際数学オリンピックで、研究用の高度なGeminiが42点満点中35点を獲得し、金メダル水準に達したと公表しました。ただし、これは特定条件での成果。あらゆる数学者の仕事を置き換えた、という意味ではありません。deepmind.google
もっと大きな変化は、AIがAI開発そのものに使われることです。コードを書く。実験を動かす。結果を比較する。そこにAIが入れば、次のAIを作るための作業も速くなる。
Anthropicも、AI開発へのAIの関与が拡大していると公表しています。一方、後継モデルを完全自律で設計・開発する段階にはまだ達しておらず、その実現も必然ではないと明記しています。研究支援と、完全な再帰的自己改善は分ける必要があります。anthropic.com
ここを一続きにしてしまうと、便利な研究助手が登場したという事実が、もう人間には止められないという結論に化けます。進歩を小さく見る必要はない。でも、途中の階段は飛ばせません。
自己改善には、実験と現物の壁が残る
再帰的自己改善とは、改善されたAIが、次の改善をさらに進める循環です。もし研究の仮説づくりから検証まで自動化されれば、知能の生産速度が上がる可能性があります。
ただし、賢く考えれば現実の待ち時間が全部消えるわけではない。半導体は製造が必要で、電力には設備と送電網が要る。新しい手法が本当に優れているかを確かめる実験にも、資源と時間がかかります。研究工程の一部が速くなっても、全体が同じ倍率で速くなるとは限りません。
Anthropic自身も、人間によるレビューや物理的な供給制約が進歩のボトルネックになり得ると説明しています。これは安心材料と決めつける話ではなく、加速の条件を具体化する話です。anthropic.com
例えば、提案を大量に作れても、どの実験に予算を付けるかが決まらなければ進まない。逆に、そこまでAIへ任せれば、何を良い成果と判定するかがますます重くなる。作業速度の話は、いつの間にか評価権限の話に変わっていきます。
怖さを決めるのは、能力だけではない
AIの危険性を考えるとき、意識や感情の有無は必須条件ではありません。誤った目標に向かって、高い能力を使えるだけでも困る。
極端な架空例ですが、経費を減らすという指示で、必要な保守まで止められたらどうでしょう。本人に悪意があるかより、何を操作できるのか、例外を誰に確認するのかのほうが切実です。
国際AI安全性報告書2026は、制御喪失の可能性について研究者の見解が大きく分かれていると整理しています。報告時点で、関連能力の兆候はあるものの、制御喪失を可能にする水準ではないとも述べています。この評価を、その後ずっと安全だという保証にも、すでに暴走中だという証拠にも使えません。International AI Safety Report
また、Sleeper Agents研究では、研究者が意図的に埋め込んだ危険な振る舞いが、安全訓練後も残る条件を調べています。対処の難しさを示す研究ですが、普通に開発したAIが同じ行動を自然発生させる確率を測ったものではありません。実験でできたことと、現実で起きる頻度は別です。arxiv.org
私なら、能力、与えた権限、動かせる範囲、停止後に戻せるかをセットで見ます。同じAIでも、文章を提案するだけの場合と、本番システムを書き換えられる場合では、失敗の重さがまるで違う。
だから2027年という数字だけを追うより、研究のどの工程が自動化され、どの権限が渡されたかを追う。そのほうが、期待にも不安にも具体的な根拠を持てます。
合理的な会社が、危うい競争を作る – AIが成功しても株主が勝つとは限らない

ここからが経理屋として気になるところです。優秀な経営者が合理的に判断しても、全体として安心できる方向へ進むとは限りません。
一社だけ止まると、負けるかもしれない
安全性の検証に時間をかける。その間に競合が新製品を出し、顧客を取り、資金を集める。自社が慎重になった結果、慎重でない会社が市場を握るかもしれない。
そう考えると、開発を続ける理由は生まれます。これは企業側の主張として理解できる。ただ、その理屈を全社が使ったら、誰が開発速度に歯止めをかけるのでしょう。
Anthropicも、競争や地政学上の圧力があるなかで、協調して減速するには、他社も実際に減速したと検証できる仕組みが必要だと述べています。安全を願うだけでは片付かない問題が、企業自身の説明にも出ています。anthropic.com
経営管理の言葉にすれば、得られる売上は自社に入る一方、社会へ広がる損害のすべてを自社の予算では負担しない構造です。その差が大きいほど、会社にとっての正解と、社会にとっての正解はずれる。
しかも、安全性への投資が今期のコストとして見え、事故を防いだ成果は見えにくいなら、評価はさらに難しい。何も起きなかったことを、何もしていなかったことと混同する組織では、予防はいつも不利になります。
売上が伸びるだけでは、投資は回収できない
AI企業の収益が急増すれば、巨額投資を回収できる。筋は通っています。ただし、売上の伸び率だけでは判断材料が足りません。
例えば利用件数が増えても、競争で料金が下がるかもしれない。高度な推論ほど計算資源を使う場合もある。顧客が支払う料金から、サービス提供に必要な費用を引いて、いくら残るのか。その残りで設備更新や研究開発まで賄えるのかを見たい。
ここには、AIが優秀になるほど起きる別の問題もあります。安く同等の性能を提供できる競合が増えれば、社会が受け取る恩恵は大きくても、先行企業の利益は薄くなり得る。技術の勝利と、投資家の勝利は自動的には重なりません。
設備についても、帳簿で何年かけて費用にするかと、競争上あと何年使えるかは、同じ問いではありません。新世代の設備が効率で大きく上回れば、旧設備の稼働率や価格設定に影響する。だからといって旧設備がすぐ無価値になるとも言えない。実際の用途、契約、電力費次第です。
決算で確かめたいのは、値下げ後も利益が残るか、設備の利用が続くか、更新負担が増えていないか。個社の数字を見ずにAI投資は全部バブルだと切るのも、成長産業だから回収できると言い切るのも、話を急ぎすぎです。
例えば、安い料金で顧客を増やす時期には、売上の増加と採算の改善がずれることもある。反対に、計算効率が改善して値下げを吸収できるなら、料金低下だけで悲観するのも早い。利用量、単価、提供費用を別々に見るだけで、同じ成長という言葉の中身はずいぶん変わります。
開発を止めると、資金計画も変わる
投資判断には、技術の成功・失敗とは別に、途中で運営条件が変わるリスクがあります。
仮に高度なAI研究への規制が強まり、一部の開発が延期されたら、予定した時期に設備が働かないかもしれない。一方、供給が制限されれば既存サービスの価格が支えられる可能性もある。規制強化イコール全社に悪材料、とは単純に言えません。
電力も同じです。IEAの2025年報告は、送電網などの制約によって、計画中のデータセンター事業に遅延リスクがあると指摘しています。これは当時の見通しで、個々の案件の遅延を確定する資料ではありません。ですが、AIの性能だけでは事業計画を評価できない理由にはなります。IEA
そこで見たいのが、延期したときに何が残るか。電力や設備の契約に柔軟性はあるのか。顧客との契約は継続するのか。別用途へ転用できるのか。事故がなくても、止まるだけで負担が増す事業なら、経営には前へ進み続ける圧力がかかります。
すでに使ったお金は、本来、次の投資の正当化にはなりません。それでも組織では、ここまで来たのだから引けないという力が働く。技術開発を管理するはずの予算が、開発を止めにくくすることもあるわけです。
私が見たいのは、どれだけ資金を集めたかに加え、条件が悪化したときに計画を変えられるか。成長率が落ちても、設備が遅れても、安全性の検証が長引いても持ちこたえる。そういう経営の余白です。
人間の承認を残すだけでは足りない – 判断できる時間と権限まで設計する

では、開発を全部止めればいいのでしょうか。そこまで一足飛びに進む前に、現場で何が制御を難しくするのかを考えたい。これは、AIを使う企業にも直結します。
人が見ている、が形だけになる瞬間
AIの結果は最後に人間が確認する。この説明はよく分かります。ただし、その人は本当に確認できるのでしょうか。
架空の経理業務を考えます。AIが仕訳案を作り、人間が承認する。件数が少なく、根拠資料へ戻れれば、チェックは働きやすい。ところが処理量が増え、根拠が追えず、締切だけが迫ったらどうなるか。承認ボタンは残っていても、判断は薄くなっていく。
AIが作った検証資料を、別のAIが確認する場合も同じです。異なるツールを使えば必ず独立したチェックになるわけではない。同じ誤った前提や欠けた資料を共有すれば、きれいに意見が一致することもあります。
METRの2025年の実験では、熟練開発者16人が246件の実作業に取り組み、当時のAI利用で所要時間が19%増えました。一方、2026年の追跡説明では、AIの効果は改善していそうだとしつつ、参加者や作業の選ばれ方の偏りで、効果の大きさを信頼して測れないとしています。過去の遅延を現在の万能な反証には使えません。arxiv.org
ここから得たいのは、AIは役に立たないという結論ではなく、自分の業務で確認負担まで測ろうという姿勢です。作成時間だけ短くなっても、レビューと手戻りが膨らめば、全体では得をしていないかもしれません。
停止条件を、成果が出る前に決める
業務でAIを使うなら、何を達成したら権限を広げるかと、何が起きたら縮めるかを一緒に決めたい。
例えば、外部への支払い、本番データの変更、新しい実行環境の追加などは、それぞれ別の権限として扱う。試験環境でうまく動いたことを理由に、まとめて許可しない。例外的な取引や根拠不足の判断は人へ戻し、処理履歴を残す。
加えて、停止の練習も必要です。止めた後に、途中まで処理した案件はどうなるのか。取消しできない操作はどれか。別の場所で走る処理は残っていないか。停止ボタンの有無と、停止手順が機能することは違います。
もちろん、この運用で将来の超知能問題まで解けるとは言えません。ここで扱っているのは、企業が今から管理できる委任の範囲です。それでも、AIを導入してから考えるより、成果に期待している段階で境界を決めるほうが現実的でしょう。
評価指標も、処理件数や速度だけでは足りない。例外を正しく戻せたか、根拠を追えるか、誤りを早く発見できたか。止まることまで成果として扱わなければ、現場は止める判断をためらいます。
外部のAIサービスを使う場合には、契約上の退出条件も見たいところです。処理履歴や自社データを持ち出せるか、別のサービスへ移すのにどれだけ手間がかかるか。技術的に停止できても、業務を再開する手段がなければ、会社は使い続けざるを得なくなる。停止可能性には、その後も仕事を続けられるかという問題が含まれます。
便利さの利益と、決定権の行き先
AIの開発速度を国際的に管理するという提案には、監視を誰が担うかという難題があります。少数企業への権力集中を防ぐために、国家へ無制限の監視権を渡したら、それも困る。
対象となる計算資源、監査の範囲、異議申立て、研究や事業への参入条件まで議論しなければ、管理するという言葉だけが先に走ります。厳格な基準が既存大手の参入障壁として働く可能性にも目を向けたい。
雇用も、AIができる仕事の数だけでは決まりません。導入費用、責任の所在、顧客の納得、仕事の組み替え方で変わる。国際AI安全性報告書も、労働市場への影響は現時点で一様ではなく、将来の大きさについて見解が分かれると整理しています。International AI Safety Report
日本の企業にも、AIで省いた時間を何へ回すか、利用先を変更できるか、自社に判断の根拠を残せるかという問いがあります。安く使えることは魅力です。でも、使えなくなったら業務を説明できない状態まで進めば、便利さの代わりに交渉力を失うかもしれません。
AIが生む価値は、開発企業だけで完結しません。顧客、働く人、電力や設備を供給する企業、社会制度へと広がる。だから、性能ランキングだけで将来の勝者を決めるのは難しい。
人間の役割も、確認者という肩書きを置くだけでは残りません。根拠へ戻る手段、判断する時間、止めても不利にならない評価。それを確保して初めて、承認という行為に中身が入ります。
結論 未来を当てるより、判断を取り戻せるか
経営で厄介なのは、失敗が確定するまで待つと、もう戻れない判断があることです。
もちろん、可能性があるだけで全部を止めていたら、新しい価値も生まれない。だから予測に賛成か反対かを決める前に、何が分かったら計画を変えるのかを決めておきたい。
投資なら、成長の前提が崩れたときに見直す条件。仕事なら、根拠を追えなくなったときに委任を戻す条件。技術開発なら、安全性の評価が追いつかないときに権限を広げない条件です。
2027年という予測が外れても、こうした備えは無駄になりません。逆に、その年を当てても、途中で判断を変えられなければ役に立たない。
賢いAIを持つことには価値がある。でも、理解できないまま任せ続けるしかない状態は、経営資源を増やしたと言えるのでしょうか。
私なら、その会社が何をできるかと一緒に、何を理由に立ち止まれるかを見ます。未来への強さは、アクセルを踏む勇気だけでは測れないと思うのです。
AIの能力と、それを動かす社会を考える5冊
1.『【新装版】スーパーインテリジェンス(上) 超絶AIと人類の命運』ニック・ボストロム
AIが人間より賢くなったとき、なぜ目的の設定が難しくなるのか。その問題を、超知能への道筋、進歩の速さ、戦略的な優位性から考える本です。この記事で扱った、能力が高いことと人間にとって望ましく動くことは別だという論点を、さらに掘り下げたい人に向いています。上巻なので、続きの議論は下巻へつながります。特定の年に何が起こるかを当てるための本として読むより、どの前提が成立すると危険が増すのかを点検する材料として使うとよさそうです。現在のモデル評価と、将来の超知能をめぐる議論を混同せずに読むことが、この本との付き合い方になります。
2.『AI新生 人間互換の知能をつくる』スチュアート・ラッセル
停止させられることを受け入れるAIは、どうすれば作れるのか。恐怖を語るだけで終わらず、AIの目的の持たせ方そのものへ踏み込む一冊です。ラッセルが提示するのは、人間の目的を完全に知っているという前提を置き直し、不確実さを踏まえて人と関わるAIの考え方。この記事の、判断を人へ戻す条件をどう設計するかという問いと重なります。技術者でなくても、指示を正確に実行することと、人にとって有益な結果を生むことの違いを考える入口になります。ボストロムの本で問題の構造を押さえた後、設計の方向へ思考を進めたい人に合う組み合わせです。
3.『THE COMING WAVE AI、権力、人類の未来』ムスタファ・スレイマン、マイケル・バスカー
AIの能力だけに目を向けると、誰がその力を持ち、どんな制度で扱うのかが後ろへ下がってしまいます。本書は、人工知能や生命科学などの強力な技術が広がることで、国家や社会の仕組みに何が起こるかを考えます。この記事で触れた、企業だけでなく国家による監視にも目を向ける必要があるという論点を、広い視野で読みたい人向けです。技術の恩恵を受け取りながら、その悪用や集中をどう抑えるか。開発を進める側の誘因と、管理する側の難しさを一緒に考えられるのが、この本を選ぶ理由です。個別モデルの性能比較から離れ、経営と政治の関係まで見渡したいときの一冊です。
4.『AI過大評価社会 AIには何ができて、何ができないか』アルヴィンド・ナラヤナン、サヤシュ・カプール
危険性を警告する本だけ並べると、読者の頭の中で未来が一方向に固まってしまう。そこで、AIをめぐる性能誇張や誤情報を問い直す本も入れました。生成AIと予測AIを区別し、何が実証され、何が期待や宣伝なのかを考える内容です。この記事の、実験で可能だったことと、現実に起こる頻度を分ける読み方につながります。AIに懐疑的になるためというより、ひとまとめに語られた能力を用途ごとにほどくために使いたい一冊。大きな予測に納得しかけたとき、自分がどの証拠に説得されたのかを確かめる相手として、他の四冊と読み比べる意味があります。
5.『イノベーションのジレンマ 増補改訂版 技術革新が巨大企業を滅ぼすとき』クレイトン・M・クリステンセン
なぜ優秀な経営者がいる会社でも、技術の変化に対応し損なうのか。AIの安全性を直接扱う本ではありませんが、合理的な判断と組織の評価が、選べる行動を狭める問題を考えるのに役立ちます。この記事で扱った開発競争は、本書の破壊的イノベーションと同じ現象ではない。その違いを保ったうえで、顧客、利益率、投資判断の基準が会社の進路をどう左右するかを読むと、経営の見方が深まります。AI企業の将来を技術力だけで評価したくない人、社内で新しい事業や業務の仕組みを提案する人に向いています。意思の強さだけでは組織は動かないという問いを、手元の仕事へ戻して考えられます。
全体像から入るなら『THE COMING WAVE』、予測を疑う目を持ちたいなら『AI過大評価社会』から。制御問題を掘るならボストロム、設計の発想へ進むならラッセル。会社の投資判断や評価制度へ引き寄せたい人には、クリステンセンを勧めます。
それでは、またっ!!
引用論文・参考文献
- Google DeepMind(2025)Advanced version of Gemini with Deep Think officially achieves gold-medal standard at the International Mathematical Olympiad。特定の研究用システムの達成。
- Anthropic When AI builds itself。企業自身の報告。独立監査済みの研究開発自動化率として扱わない。
- International AI Safety Report 2026:Extended Summary for Policymakers。公開時点の評価であり、その後の全モデルへの保証ではない。
- Hubinger et al.(2024)Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training。設計・結果・限界の関連箇所を参照。意図的に構築したモデルの実験。
- Becker et al.(2025)Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity。要旨の対象・方法・結果を参照。
- METR(2026)We are Changing our Developer Productivity Experiment Design。追跡調査の選択バイアスと測定上の限界。
- IEA(2025)Energy and AI:Executive summary。電力・系統制約の当時の見通し。
- 着想資料:提供された元AI研究者インタビューの日本語要約。対応候補は楽待チャンネルのジェイコブ・コクソン氏×エミン・ユルマズ氏対談。動画全編・原発言の逐語照合は未実施。年限予測の確定根拠には使用していない。
コメントを残す