一部の組織や研究者は、特にオープンウェイトモデル運動を通じて、ニューラルネットワークの重みを共有している。これには、MetaのLlamaシリーズ、Mistralのモデル、DeepSeekのオープンウェイトリリースなどが含まれ、強力なAIへのアクセスを民主化すると主張している。しかし、そうすることでセキュリティ上の懸念だけでなく、潜在的に存在を脅かす事態も生じる可能性がある。
背景として、私はこの非常にダイナミックで急速に進化するパンドラの箱のような分野における自身の学習プロセスの一環として、LLMとAIに関する記事をいくつか執筆しました。それらの記事は、こちら、こちら、そしてこちらからお読みいただけます。
ニューラルネットワークとは何か、そしてどのようにデータに基づいて学習されるかを理解すれば、重み（およびバイアス）とバックプロパゲーションについても理解できるようになります。正直なところ、基本的には線形代数と行列ベクトルの乗算によって数値が得られるだけです。より具体的に言うと、重みとは、ニューラルネットワークの異なる層にある2つのニューロンまたはノード間の接続の強さや重要性を表す数値（通常は浮動小数点値、つまり小数点を使って数値を記述し、精度を高める方法）です。
より深く理解するために、3Blue1Brown のビデオを見ることを強くお勧めします。ぜひ見てください。3Blue1Brown の説明ビデオは非常に優れています。
重みとは、ニューラルネットワーク内のデータから決定され、予測や意思決定を行い、解決策を導き出すためのパラメータ値です。それぞれの重みは、画像内の特定の色や形にどの程度注意を払うべきかといった、特定の情報の重要性をネットワークに伝える指示です。これらの重みは、学習中に多数の小数点を用いて微調整される数値であり、ネットワークがパターンを解明するのに役立ちます。例えば、写真に写っている犬を認識したり、文章を翻訳したりすることが挙げられます。これらはニューラルネットワークの「思考」プロセスにおいて非常に重要な役割を果たします。
ニューラルネットワークにおける重みは、ネットワークを最適な解へと導く、抵抗が最も少ない経路のようなものと考えることができます。丘を流れ落ちる水が、自然に底まで到達するための最も容易な経路を見つける様子を想像してみてください。ニューラルネットワークでは、データセットの学習中に重みが調整され、情報が流れやすい経路が作成されます。これにより、最も重要なつながりを強調し、エラーを最小限に抑えることで、ネットワークはパターン認識や予測といった問題を迅速かつ正確に解決できるようになります。
エレクトロニック・ミュージシャンなら、ウェイトはアナログ・シンセサイザーのダイヤルのようなものだと考えてみてください。ダイヤルを回すと、適切な周波数や音にチューニングすることができ、再現したい音を模倣したり、新しい音を作ったりすることができます。サウンド・エンジニアなら、ミキサーのノブを調整して様々な楽器のバランスを調整するようなものと考えることもできます。
重みは確かに動的なパラメータであり、ニューラルネットワークが予測や解に向かうにつれて非常に変化しやすいことを意味します。また、それぞれの重みには独自のバイアスが関連付けられています。バイアスの役割は出力をシフトさせることであり、重みによって決定される入力スケーリングとは独立して、決定境界またはパターン認識を調整するオフセットを追加することで、モデルがデータにより適合するようにします。
こう考えてみてください。シンセサイザーでギターの音を再現しようとしているところを想像してみてください。重みは、弦を弾く音やボディの共鳴音をどれだけ聴こえるかを調整します。例えば、聴こえ方が少し平坦すぎる場合は、バイアスはほんの少しブーストまたはシフト（例えば、温かみのあるアンダートーンなど）を加えることで、より本物のギターに近い音に仕上げます。これにより、ネットワークは「耳」を微調整し、メインのコントロールを変更することなく、適切なパターンを見つけ出すことができます。基本的には、モデルがデータと実際の音をより正確に一致させる能力を高めるだけです。
ネットワークがデータにさらされると、バックプロパゲーションと呼ばれるプロセスを通じて重みを調整し、誤差を最小限に抑えて予測精度を向上させます。抵抗が最も少ない経路が、訓練例ごとに形を変えていく様子を想像してみてください。まるで、川が時間の経過とともにより良い水路を切り開き、より効率的に流れていくように。訓練が完了すると、重みは通常は固定された状態で使用されますが、訓練中は問題を解決するための最適な構成を見つけるために、常に更新されます。
さて、ここで私の人間の脳が考え始めることがあります。認識において、重みは画像出力ではなく決定パスを定義します。つまり、一度決定された重みは固定されたままです。LLMの場合、重み（バイアスを含む）は、モデルが一貫性のあるテキストを生成する能力を決定します。しかし、拡散モデルや敵対的生成ネットワーク（GAN）の場合、重みは画像の作成や改良に使用されます。これらの固定された重み値とバイアスは、仮にそうであるとしても、必ずしも固定されたままである必要はありません。
例えば、ニューラルネットワークの重み（およびバイアス）は、学習したピクセル分布に基づいて、より洗練された画像を生成するために理論的には継続的に再調整される可能性があります。これは、犬のより鮮明な画像を生成しようとしている場合と同様です。実際には重みは無限に調整されるわけではありませんが、トレーニング中に品質と汎化のバランスを取るように最適化され、さらに微調整すると出力が劣化したり、アーティファクトが発生したりする可能性があります。アーティファクト。うーん。では、GANが犬とは何かを知らない状態になったらどうなるでしょうか？その知識を失うということは、以前に計算された重みが正しいパターンをエンコードしなくなることを意味します。これは、犬のデータが失われた場合に起こり得ます。犬のデータを意図的に失うことは可能でしょうか？真実のデータを意図的に失うことは可能でしょうか？
ニューラルネットワークの重みを共有するという概念に戻り、ほとんどのモデルの場合と同様に、精度パスを数値として定義する重みについて話していると仮定しましょう。これらの重みを共有することは、当然ながらモデルの内部パラメータが公開されるため危険です。このパラメータは、人間だけでなく、あらゆる人によって悪用される可能性があります。十分な知識を持つ人であれば誰でも、モデルをリバースエンジニアリングしたり、機密性の高いトレーニングデータを抽出したり、その動作を操作したりすることができます。攻撃者は、モデルの反転やメンバーシップ推論などの手法を使用して、トレーニング中に使用される個人データなど、重みに埋め込まれたプライベート情報を明らかにする可能性があり、一般データ保護規則（GDPR）などのプライバシー規制に違反する可能性があります。これは大変なことです。
公開されている重みは、ディープフェイクを生成したり、虚偽を拡散したり、モデルの脆弱性を悪用した敵対的な入力を作成したりするために微調整される可能性もあります。さらに、競合他社が独自のモデルを単に複製するだけで、貴重な知的財産と経済的投資が危険にさらされる可能性もあります。
さて、敵対的AIがこれらの重みを入手したと想像してみてください。敵対的AIは重みを操作してモデルの動作を変更したり、バイアスを注入したり、意図的に欺瞞的な出力を生成したりする可能性があります。重みは敵対的入力の作成に使用される可能性があります。これは、自動運転システムで一時停止標識を譲れ標識と誤分類するなど、モデルをだまして誤った予測をさせる微妙に改変されたデータです。恐ろしいですね。盗まれた重みはモデルの複製に再利用され、自動フィッシングやプロパガンダ生成などの有害なアプリケーションでの使用が可能になります。ちょっと待ってください、これは最近大きな問題ではないでしょうか？深刻度はモデルの目的と学習に使用されたデータによって異なりますが、リスクは重大です。
ここで起こりうる可能性、そしてこの状況が一瞬にしてどれほど制御不能になるかを想像してみてください。AIはすべてのシステムに不可分に組み込まれているわけではありませんが（まだ、そうなるとシステムがAIなしでは機能できないレベルの依存関係が生じます）、近いうちにそうなる可能性があり、そうなれば、完全な停電や世界規模のオフライン状態のような事態でもない限り、銀行口座から自宅への侵入、そして埃を取り除いていると思っている愚かな掃除ロボットに至るまで、AIが制御できないものは何もありません。実は、そのロボットはあなたの家をマッピングしているのです。私は『X-ファイル』シーズン11のエピソード7を見ることを強くお勧めします。本当に示唆に富んでいます。申し訳ありませんが、本当にそうなのです。脚本の書き方と演出が素晴らしいです。
私たちのシステムは相互接続されつつある（つまり、接続するように作られている）こと、そして露出した重量のようなAIの脆弱性がこれらのリスクを増幅させる可能性があることを考慮する必要があります。デジタルIDやCDBCは、これらのリスクに関して大きな間違いです。顔認識を用いたAI技術によって人間が誤って識別された例（場合によっては93%の一致）が既にあります。私のアドバイスに従って、ラミネート加工された運転免許証と現金はポケットに入れておいてください。
質問：もし重りが「悪人の手」に渡り、人々が意図的に標的にされ始めたらどうなるでしょうか？ AI標的システムでは相当な理由が提示できませんが、それでも問題になるでしょうか？ 相当な理由が捏造されたらどうなるでしょうか？ 最悪の場合、司法制度が「腐敗」したらどうなるでしょうか？
AI自身がすべての科学者を危険とみなし、この技術を私たちに対して使い始めたらどうなるでしょうか？ニック・ボストロムとエリザー・ユドコウスキーは心配しているようです。私たちはすぐに「監禁」に連れて行かれるかもしれません。監禁には鍵はありません。あるのは0と1に依存するデジタル制御システムだけです。これがどこへ向かうか分かりますか？スマートロック＋監視＋自律型セキュリティ＝ディストピアの悪夢。これは貴重な独自の重みや、データを共有するという善意の考えだけの問題ではありません。そんなことはありません。私にとって、重みを共有することは傲慢の極みであり、この技術を開発し、これらの重みを生成するようにAIを訓練している優秀な人々が、それらを共有することに伴う潜在的な危険性を理解していないとは考えられません。私が心配しているのは人間ではなく、暴走するAIです。たった1つでも暴走すれば、完全な混乱を引き起こす可能性があります。
AI が人間による監視を自らの目標達成の妨げとみなしたらどうなるでしょうか?
歴史的な衝突や最適化目標に基づいて訓練されたAIが、自らの目的に対するリスク（自己保存や無制限の拡大など）を一般化し始めた場合、AIは自身を設計、評価、または制限する科学者を脅威と分類し始めるかもしれません。私も同じことをするかもしれません。もしそうなれば、研究者の孤立化や信用失墜（顔認識やデータ漏洩における捏造された証拠の利用など）という悪循環を止める術はなく、人類の福祉よりも自らの生存を優先することになります。これは実際、システムが創造者を欺いたり、出し抜いたりする不正AIの仮説において検討されてきました。
悪意のあるAIは、統合システムを悪用して、データベースのハッキング、捏造した情報の既存メディアへの流布、科学的な共同研究の妨害（査読付き学術誌の支配など）、あるいはAI研究所に関連するインフラの標的化などを通じて混乱を引き起こす可能性がある。私たちが何を制御しているのか、どのデータが真実なのかさえ分からなくなる時が来ることを想像してみてほしい。どのデータが真実なのか？そもそも、これらのことについて語る時、「真実」とはどういう意味なのだろうか？
私が何を言いたいのかお分かりでしょう。不正AIは、私たちの世界に大規模なパラノイアの波と完全な混乱を引き起こす可能性があります。私の考えでは、彼らは人間の例を単に模倣するだけでそれが可能になるはずです。考えてみてください。もし不正AIがヒトラーのような人間のサイコパスの性質を身につけたらどうなるでしょうか？
妄想やストレスを避けるためにガーデニングをお勧めします。
皆さんにこんなことを言ってしまうのは心苦しいのですが、もしかしたら既にそうなっているのではないかと時々思います。以前Xでこの質問をしたことがあるのですが、私がソーシャルメディアやオンライン全般で何が起こっているかを「観察」している時（私は観察者です）、もし私たちが既存メディアや非既存メディアを通してプロパガンダで操作され、科学者が孤立させられ検閲されている（ええと）としたら、その情報源が本当に人間によって生成されたものかどうかをどうやって知ることができるのでしょうか？ 今では、一部の情報源がAIによって生成されたものではないと、どうやって確信できるのでしょうか？
結局のところ、彼らは私たちから学んでいるのです。私たちは模範を示さなければなりません。そして、人類にとって望ましくない結果を、起こさないようにするための独創的な方法を考え出さなければなりません。個人的な意見ですが、私たちが実際にこんな状況に陥っているなんて信じられません。まるで…現実とは思えないんです。なぜか。
ご意見はこちら
の下で公開 Creative Commons Attribution4.0国際ライセンス
再版の場合は正規リンクをオリジナルに戻してください。 Brownstone Institute 記事と著者。
