テクノロジー楽観主義者がいかにして深刻な懐疑論者になったか ⋆ ブラウンストーン研究所ロジャー・ベイト

シェア | 印刷 | Eメール

コロナ禍以前は、私はテクノロジー楽観主義者だと自称していた。新しいテクノロジーは、ほとんどの場合、過剰な恐怖感の中で登場する。鉄道は精神衰弱を引き起こすとされ、自転車は女性を不妊にしたり精神異常にしたりすると考えられ、初期の電気は道徳の衰退から肉体の崩壊まで、あらゆる問題の原因だとされた。時が経つにつれ、こうした不安は薄れ、社会はそれに適応し、生活水準は向上した。このパターンは既に広く知られており、人工知能もそれに倣うだろうと思われた。つまり、破壊的で、時には誤用されるものの、最終的には管理可能なものだったのだ。

コロナ禍でその信頼は揺らいだ。テクノロジーが失敗したからではなく、制度が失敗したからだ。

世界中の多くの国々で、政府や専門機関は不確実性に対し、前例のない社会的・生物医学的介入によって対応した。それらは最悪のケースを想定したモデルによって正当化され、驚くべき確実性をもって実施された。競合する仮説は議論されるどころか、軽視された。緊急措置は長期的な政策へと定着した。証拠が変化すると、誤りを認めることは稀になり、説明責任はさらに稀になった。この経験は、単一の政策ミスよりも深刻な問題を露呈させた。現代の制度は、過剰な介入なしに不確実性を管理する能力が不十分であるように思われるのだ。

この教訓は現在、人工知能をめぐる議論に重くのしかかっている。

AIによるリスク格差

大まかに言えば、高度なAIに対する懸念は2つの陣営に分かれます。エリゼア・ユドコウスキーやネイト・ソアレスといった思想家と関連のあるグループは、十分に高度なAIは、デフォルトで壊滅的な危険をもたらすと主張しています。彼らは意図的に厳しい表現を用いて、 誰かが作れば、誰もが死ぬ問題は悪意ではなく動機です。競争により誰かが手抜きをすることが確実となり、システムが意味のある制御から逃れると、意図はもはや重要ではなくなります。

2 番目の陣営には、スチュアート・ラッセル、ニック・ボストロム、マックス・テグマークなどの人物も含まれ、AI のリスクを深刻に受け止めていますが、調整、慎重なガバナンス、段階的な展開によってシステムを人間の制御下に置くことができると楽観視しています。

両者は意見の相違はあるものの、一つの結論に収束している。それは、制約のないAI開発は危険であり、何らかの形の監督、調整、あるいは抑制が必要だということだ。両者の意見が分かれるのは、実現可能性と緊急性についてである。しかし、そうした抑制を提供することが期待される機関自体がその役割にふさわしいかどうかについては、ほとんど検討されていない。

コロナは疑念を抱かせる理由を示唆している。

新型コロナウイルス感染症は単なる公衆衛生上の危機ではなかった。不確実性の下で専門家主導の統治が繰り広げられる、まさに生きた実験だった。不完全なデータに直面した当局は、憶測に基づく危害を正当化する最大限の介入を繰り返し選択した。反対意見は、科学的な必要性というよりも、道徳的な欠陥として扱われることが多かった。政策は、透明性のある費用便益分析ではなく、権威への訴えと、仮説的な未来への恐怖によって擁護された。

このパターンは、利害関係が実存的なものとして捉えられた際に、現代の制度がどのように行動するかを明らかにする点で重要である。インセンティブは決断力、物語のコントロール、そして道徳的確実性へと移行する。誤りの修正は評判を落とすほどのコストがかかる。予防措置は手段ではなく、教義となる。

教訓は、専門家だけが欠陥を抱えているということではない。特に政治、資金、そして国民の恐怖が重なる場合、制度は謙虚さよりも過信をはるかに確実に報いるということだ。安全の名の下に並外れた権限が行使されると、それを進んで放棄することは滅多にない。

これらはまさに、AI 監視に関する議論で現在目に見える動向です。

「もしも」マシン

国家による広範な介入を正当化する根拠として繰り返し挙げられるのは、仮想的な悪役の存在である。 テロリストがこれを作ったらどうなるでしょうか？ならず者国家がそれをやったらどうなるでしょうか？ その前提から、政府は大惨事を防ぐために先制的に、大規模に、そして多くの場合秘密裏に行動しなければならないという議論が生まれます。

新型コロナウイルス感染症の流行中も、同様の論理で、広範囲にわたる生物医学研究計画、緊急認可、社会統制が正当化されました。その論理は循環的でした。何か危険なものがあったからといって かもしれない 事態が起これば、政府は直ちに特別な措置を講じなければならないが、その措置自体が重大かつ十分に理解されていないリスクを伴う。

AIガバナンスも同様の枠組みで捉えられることが多くなっています。危険なのは、AIシステムが予測不可能な動作をする可能性だけでなく、その可能性への恐怖が、他に選択肢がないという理由で、恒久的な緊急ガバナンス（計算、研究、情報の流れに対する中央集権的な管理）を正当化してしまうことです。

民間リスク、公共リスク

これらの議論において、十分に認識されていない違いの一つが、民間主体が生み出すリスクと国家権力が生み出すリスクの区別です。民間企業は、責任、競争、評判、そして市場規律によって、不完全ながらも意味のある制約を受けています。これらの制約は、害悪を完全に排除するものではなく、フィードバックループを生み出します。

政府の運営は異なる。国家が破滅的な事態の予防という名目で行動すると、フィードバックは弱まる。失敗は必要不可欠なものとして再分類される。コストは外部化される。機密性は安全保障上の理由から正当化される。想定される将来の被害は、現在における政策の手段となる。

AIを論じる多くの専門家は、これを暗黙のうちに認めている。ボストロム氏は「ロックイン」効果について警告を発している。これはAIシステムだけでなく、パニック時に構築されたガバナンス構造に起因するものだ。アンソニー・アギーレ氏が提唱する世界的な自制を求める声は、論理的には一貫しているものの、謙虚さと誤り訂正に関する最近の実績が乏しい国際調整機関に依存している。より穏健な提案でさえ、規制当局が政治化やミッションクリープに抵抗できる能力を前提としている。

新型コロナウイルスのせいで、その仮定に自信を持てる根拠はほとんどない。

監視のパラドックス

これは、AIをめぐる議論の核心において、厄介なパラドックスを生じさせる。高度なAIを制限、減速、あるいは停止させる必要があると真に信じるならば、実際にそうする力を持つのは政府や国際機関である可能性が高い。しかし、まさにこうした主体の最近の行動は、AIの力を抑制的かつ可逆的に行使できるという確信を最も損なわせている。

緊急事態の枠組みは固定的である。仮想的なリスクを管理するために獲得した権限は、持続し拡大する傾向がある。組織が自らの重要性を低下させることは滅多にない。AIの文脈において、このことは、AIリスクへの対応が、個々の技術よりも解体が困難な、脆弱で政治化された統制システムを固定化してしまう可能性を示唆している。

言い換えれば、危険なのは、AIが人間の制御から逃れるということだけではなく、AIへの恐怖によって、すでに誤りを認めるのが遅く、反対意見に敵対的であることが分かっている組織への権力の集中が加速することだ。

真のリスクを再考する

これはAIに対する自己満足を主張するものでも、強力な技術が実際に害を及ぼしうることを否定するものでもありません。むしろ、枠組みを広げるべき議論なのです。制度の破綻はそれ自体が存在に関わる変数です。善意に満ちた自己修正的な統治を前提とするシステムは、善意に満ちた協調的な超知能を前提とするシステムよりも安全というわけではありません。

コロナ禍以前は、テクノロジーに対する悲観論の多くは人間のネガティブバイアス、つまり私たちの世代が抱える課題は自分たちだけが対処できないものだと考える傾向に起因すると考えられていました。しかしコロナ禍以降、懐疑論はバイアスというよりは、むしろ経験に基づくものになってきています。

したがって、AIをめぐる議論における中心的な問いは、機械が人間の価値観と整合するかどうかだけでなく、現代の制度が不確実性を増幅させることなく管理できると信頼できるかどうかである。もしその信頼が損なわれているならば（そして新型コロナウイルス感染症はそれを示唆している）、AIに対する広範な監視を求める声は、技術的必然性の主張と同じくらい精査されるべきである。

最大のリスクは、AI が強力になりすぎることではなく、その可能性に対する恐怖が、後になって耐えることや逃れることがはるかに難しいとわかる制御形態を正当化してしまうことなのかもしれない。

会話に参加する：