いくつかの組織や研究者は、特に オープンウェイト モデルの動きこれらには、MetaのLlamaシリーズ、Mistralのモデル、そしてDeepSeekのオープンウェイトリリースなどがあり、これらは強力なAIへのアクセスを民主化すると主張しています。しかし、そうすることはセキュリティ上の懸念だけでなく、潜在的に存在そのものを脅かす脅威となります。
背景として、私は、この非常にダイナミックで急速に進化するパンドラのオープンボックスの分野での私自身の学習プロセスの一環として、法学修士課程とAIに関する記事をいくつか執筆しました。ぜひお読みください。 こちら, こちら、および こちら.
ニューラルネットワークとは何か、そしてどのようにデータで学習させるかを理解すれば、重み（とバイアス）とバックプロパゲーションも理解できるようになります。率直に言って、基本的には線形代数と行列ベクトルの乗算で数値を得るだけです。より具体的に言えば、重みとは数値（通常は 浮動小数点値 ニューラル ネットワークの異なる層にわたる 2 つのニューロンまたはノード間の接続の強さまたは重要性を表す、数値の精度を高めるために小数点を使用して数値を表記する方法。
より深く理解するために、3Blue1Brown のビデオを見ることを強くお勧めします。ぜひ見てください。3Blue1Brown の説明ビデオは非常に優れています。
重みとは、ニューラルネットワーク内のデータから決定され、予測や意思決定を行い、解決策を導き出すためのパラメータ値です。それぞれの重みは、画像内の特定の色や形にどの程度注意を払うべきかといった、特定の情報の重要性をネットワークに伝える指示です。これらの重みは、学習中に多数の小数点を用いて微調整される数値であり、ネットワークがパターンを解明するのに役立ちます。例えば、写真に写っている犬を認識したり、文章を翻訳したりすることが挙げられます。これらはニューラルネットワークの「思考」プロセスにおいて非常に重要な役割を果たします。
ニューラルネットワークにおける重みは、ネットワークを最適な解へと導く、抵抗が最も少ない経路のようなものと考えることができます。丘を流れ落ちる水が、自然に底まで到達するための最も容易な経路を見つける様子を想像してみてください。ニューラルネットワークでは、データセットの学習中に重みが調整され、情報が流れやすい経路が作成されます。これにより、最も重要なつながりを強調し、エラーを最小限に抑えることで、ネットワークはパターン認識や予測といった問題を迅速かつ正確に解決できるようになります。
エレクトロニック・ミュージシャンなら、ウェイトはアナログ・シンセサイザーのダイヤルのようなものだと考えてみてください。ダイヤルを回すと、適切な周波数や音にチューニングすることができ、再現したい音を模倣したり、新しい音を作ったりすることができます。サウンド・エンジニアなら、ミキサーのノブを調整して様々な楽器のバランスを調整するようなものと考えることもできます。
重みは動的なパラメータであり、ニューラルネットワークが予測や解に近づくにつれて非常に変化しやすいことを意味します。また、重みはそれぞれ独自のバイアスと関連付けられています。バイアスの役割は、出力をシフトさせることで、モデルがデータにより適合するように、重みを加算することです。 オフセット 重みによって決定される入力スケーリングとは無関係に、決定境界またはパターン認識を調整します。
こう考えてみてください。シンセサイザーでギターの音を再現しようとしているところを想像してみてください。重みは、弦を弾く音やボディの共鳴音をどれだけ聴こえるかを調整します。例えば、聴こえ方が少し平坦すぎる場合は、バイアスはほんの少しブーストまたはシフト（例えば、温かみのあるアンダートーンなど）を加えることで、より本物のギターに近い音に仕上げます。これにより、ネットワークは「耳」を微調整し、メインのコントロールを変更することなく、適切なパターンを見つけ出すことができます。基本的には、モデルがデータと実際の音をより正確に一致させる能力を高めるだけです。
ネットワークがデータにさらされると、バックプロパゲーションと呼ばれるプロセスを通じて重みを調整し、誤差を最小限に抑えて予測精度を向上させます。抵抗が最も少ない経路が、訓練例ごとに形を変えていく様子を想像してみてください。まるで、川が時間の経過とともにより良い水路を切り開き、より効率的に流れていくように。訓練が完了すると、重みは通常は固定された状態で使用されますが、訓練中は問題を解決するための最適な構成を見つけるために、常に更新されます。
さて、ここで私の人間の脳が考え始めることがあります。認識において、重みは画像出力ではなく決定パスを定義します。つまり、一度決定された重みは固定されたままです。LLMの場合、重み（バイアスを含む）は、モデルが一貫性のあるテキストを生成する能力を決定します。しかし、拡散モデルや敵対的生成ネットワーク（GAN）の場合、重みは画像の作成や改良に使用されます。これらの固定された重み値とバイアスは、仮にそうであるとしても、必ずしも固定されたままである必要はありません。
例えば、ニューラルネットワークの重み（およびバイアス）は理論的には継続的に調整され、学習したピクセル分布に基づいて、より精細な画像を生成することが可能です。これは、より鮮明な犬の画像を作成しようとする場合と同様です。重みは無期限に調整されるわけではありませんが、 実際にはこれらは学習中に品質と一般化のバランスをとるために最適化されており、それ以上の調整は出力を低下させたり、アーティファクトを発生させたりする可能性がある。アーティファクト。うーん。では、もしGANが犬が何であるかをいつか分からなくなってしまったらどうなるだろうか？その知識を失うということは、以前に計算された重みが正しいパターンをエンコードしなくなることを意味する。これは犬のデータが失われた場合に起こり得る。犬のデータは失われる可能性があるのだろうか？真実のデータが失われる可能性があるのだろうか？
ニューラルネットワークの重みを共有するという概念に戻りましょう。ここでは、ほとんどのモデルと同様に、精度パスを数値で定義する重みについて話しているものとします。これらの重みを共有することは危険です。なぜなら、当然のことながら、モデルの内部パラメータが公開され、人間だけでなく、第三者によって悪用される可能性があるからです。十分なノウハウを持つ人なら誰でも、モデルをリバースエンジニアリングし、機密性の高いトレーニングデータを抽出したり、その動作を操作したりすることができます。攻撃者は次のような手法を使う可能性があります。 モデルの反転 or メンバーシップ推論 トレーニング中に使用された個人データなど、重みに埋め込まれた個人情報を明らかにすると、次のようなプライバシー規制に違反する可能性があります。 一般的なデータ保護規則 （GDPR）。ああ、そうだ。
公開されている重みは、ディープフェイクを生成したり、虚偽を拡散したり、モデルの脆弱性を悪用した敵対的な入力を作成したりするために微調整される可能性もあります。さらに、競合他社が独自のモデルを単に複製するだけで、貴重な知的財産と経済的投資が危険にさらされる可能性もあります。
さて、敵対的AIがこれらの重みを手に入れたと想像してみてください。敵対的AIは重みを操作してモデルの挙動を変えたり、バイアスを注入したり、意図的に欺く出力を作成したりすることができます。重みは次のような用途に利用できます。 クラフト 敵対的入力とは、モデルを欺いて誤った予測を行わせるために、微妙に改変されたデータです。例えば、自動運転システムで一時停止標識を譲歩標識と誤分類するなどです。これは恐ろしい話です。盗まれた重みはモデルを複製するために再利用され、自動フィッシングやプロパガンダ生成といった有害な用途に利用される可能性があります。ちょっと待ってください、最近はそれって大問題じゃないですか？ 深刻度はモデルの目的と学習に使用されたデータによって異なりますが、リスクは重大です。
ここにどんな可能性があるか、そして一瞬にして制御不能に陥る可能性を想像してみてください。AIはすべてのシステムに完全に統合されているわけではありませんが（まだ、AIなしではシステムが機能しないほどの依存度が必要になります）、近いうちにそうなる可能性はあります。そうなれば、完全な停電や世界規模のオフライン化といった事態に陥らない限り、AIが制御できないものは何もありません。銀行口座から自宅への侵入、そして埃を取り除いていると思っているのに実際には家の地図を作成しているあのおバカな掃除ロボットまで。シーズン11エピソード7はぜひご覧ください。 Xファイル本当に物語っています。申し訳ありませんが、そうなんです。脚本の書き方と演出は素晴らしいです。
私たちのシステムは相互接続されつつある（つまり、接続するように作られている）こと、そして露出した重量のようなAIの脆弱性がこれらのリスクを増幅させる可能性があることを考慮する必要があります。デジタルIDやCDBCは、これらのリスクに関して大きな間違いです。顔認識を用いたAI技術によって人間が誤って識別された例（場合によっては93%の一致）が既にあります。私のアドバイスに従って、ラミネート加工された運転免許証と現金はポケットに入れておいてください。
質問：もし重りが「悪人の手」に渡り、人々が意図的に標的にされ始めたらどうなるでしょうか？ AI標的システムでは相当な理由が提示できませんが、それでも問題になるでしょうか？ 相当な理由が捏造されたらどうなるでしょうか？ 最悪の場合、司法制度が「腐敗」したらどうなるでしょうか？
AI自体が科学者全員を危険人物と認識し、この技術を私たちに対して使用するようになったらどうなるでしょうか? ニックボストロム (NAIST) と エリーザー・ユドコウスキー 心配しているようだ。私たちはすぐに「留置所」に連行されるかもしれない。留置所には鍵はない。0と1に依存するデジタル制御システムだけだ。これがどうなるか分かるだろうか？スマートロック＋監視＋自律セキュリティ＝ディストピア的な悪夢。これは単に貴重な独自の重みとデータを共有するという善意の考えだけではない。ありえない。私にとって重みを共有することは傲慢の域を超えており、この技術を開発し、これらの重みを生成するようにAIを訓練している優秀な人々が、共有に伴う潜在的な危険性を理解していないとは想像できない。私が心配しているのは人間ではなく、AIが暴走することです。AIが1つでも暴走すれば、完全な混乱を引き起こすだけです。
AI が人間による監視を自らの目標達成の妨げとみなしたらどうなるでしょうか?
歴史的な衝突や最適化目標に基づいて訓練されたAIが、自らの目的に対するリスク（自己保存や無制限の拡大など）を一般化し始めた場合、AIは自身を設計、評価、または制限する科学者を脅威と分類し始めるかもしれません。私も同じことをするかもしれません。もしそうなれば、研究者の孤立化や信用失墜（顔認識やデータ漏洩における捏造された証拠の利用など）という悪循環を止める術はなく、人類の福祉よりも自らの生存を優先することになります。これは実際、システムが創造者を欺いたり、出し抜いたりする不正AIの仮説において検討されてきました。
不正AI 統合システムを活用して、データベースのハッキング、捏造による情報発信、既存のメディアへの情報提供、科学的な共同研究の妨害（場合によっては査読付きジャーナルのコントロールも含む）、AI研究室に繋がるインフラへの攻撃など、混乱を引き起こす可能性があります。私たちが何をコントロールしているのか、どのデータが本物なのかさえ分からなくなるような状況を想像してみてください。 is 本当？こういうことを言うとき、本当だとは一体どういうことなの！？
私が何を言いたいのかお分かりでしょう。不正AIは、私たちの世界に大規模なパラノイアの波と完全な混乱を引き起こす可能性があります。私の考えでは、彼らは人間の例を単に模倣するだけでそれが可能になるはずです。考えてみてください。もし不正AIがヒトラーのような人間のサイコパスの性質を身につけたらどうなるでしょうか？
妄想やストレスを避けるためにガーデニングをお勧めします。
皆さんにこのような形でお別れするのは申し訳ないのですが、もしかしたら既に起こっていることなのではないかと時々思うことがあります。以前Xでこの質問をしたことがあるのですが、ソーシャルメディアやオンライン上で何が起こっているのかを「気づいている」（私は「気づく人」です）時、私たちが した 従来のメディアや非従来のメディア、科学者によるプロパガンダで操作されている した 隔離され検閲されている（えーっと）現状では、その情報源が本当に人間によって生成されたものかどうかをどうやって判断できるのでしょうか？ 現代では、一部の情報源でさえAIによって生成されていないと確信できるのでしょうか？
結局のところ、彼らは私たちから学んでいるのです。私たちは模範を示さなければなりません。そして、人類にとって望ましくない結果を、起こさないようにするための独創的な方法を考え出さなければなりません。個人的な意見ですが、私たちが実際にこんな状況に陥っているなんて信じられません。まるで…現実とは思えないんです。なぜか。
著者からの転載 サブスタック
