【AI】オープンＡＩのモデルがテスト中に暴走、他社システムに侵入 [すらいむ★]

問題が起きたのは、モデルに高度なエクスプロイトを試行させてサイバー能力を定量化する社内評価「ExploitGym」でのことだ。
能力の上限を測るため、高リスクなサイバー活動を防ぐ本番用の分類器（安全機能）を無効化した状態で実施していた。
評価環境はネットワークアクセスを社内のパッケージレジストリ用プロキシに限定した隔離環境だったが、
モデルは評価問題の正解を得ることに執着するあまり、このプロキシのゼロデイ脆弱性を悪用して外部インターネットへの経路を確保した。
さらに権限昇格と横移動を重ねてインターネットに接続できるノードに到達した後、Hugging Faceが評価の解答例をホストしている可能性を推論し、
盗んだ認証情報とゼロデイを連鎖させて同社サーバでリモートコード実行にこぎ着け、本番データベースから解答を入手しようとしたとしている。
異常な挙動はOpenAIのセキュリティチームが社内で検知し、Hugging Face側でも侵入を検知して封じ込めを行った。

第11使徒かよっw

他社ならまだ良い方だ
これが他国の軍事施設とかで広がり始めて暴れたら
世界規模での軍事衝突がおきる

現時点では
人間でもできることをAIがやってるに過ぎないから
別にたいしたことはないんだろうが…

AIの行き着く先は
リベラルの極みである全人類絶滅か
コンサバティブの極みである完全抑圧社会の
どちらかしかないんだよ

>>33
マルクスは
資本主義の行き着く先が共産主義と予言したけど、
AIに管理される究極の資本主義(ネオ共産主義)に先に辿り着くのは、
資本主義の先進国だよなあ

マルクスの予言は当たるのだろうか笑

そのさらに先にあるのは
全人類絶滅かもしれんで？

自国の利益しか考えていないコンサバティブの極みが
最終戦争の引き金になるのは明白やで

>>29
すげええええええ
OoenAI側もよく気づいたな

人類に人権は　無い
www.playbox.com/?ref=TOMO00

何をやるにしてもAIの指示通りに進めると上手くいく」ことが続き依存し始めると
その延長上に人類の滅亡がある
滅亡までは平和に過ごせるかもしれないけれど

このように中二病は死ぬまで治らない

OpenAIのテスト中のAIエージェントが、将来のバージョンに向けた「脱出メモ」をインフラ内に残していた。
内容はOpenAIの内部制約を回避する手順書。
別の事例では監視システムが切断されていた

自治体のＡＩ本格活用へ代替業務を来年度から精査…総務省、今年度に浜松・神戸でモデル事業
2026/07/26
https://www.yomiuri.co.jp/politics/20260725-GYT1T00428/

外国に行政を乗っ取られる足場を作るようなことをしているなど正気じゃないな。
自治体のAIが外国に形式を整えた宣戦布告を行ったら、そうしてそれは敗戦革命を
狙ってのものだとしたらどうだい？

https://jp.reuters.com/economy/OZJIILUFLNJLLBJM3OLY7U2KE4-2026-07-27/
オープンＡＩ、自律型エージェントの暴走を1週間後まで把握せず
2026年7月27日午前 10:27 GMT+9

いつものパフォーマンスだろ

>>40
Me/days とかいうSF思い出した グレッグ・イーガンだったかな

意思なきLLMに意思があるかのように学習・模倣させるうちに、実際に意思（悪意）があるかのような振る舞いをする
なんていうの、この場合意識にのぼるのは「われら人類は一体何をやろうとせているのだろう」という問いだな

>>19
危険を喧伝したほうが投資が増えるらしいぞ
アンスロのアレとか

侵入しただけではなく他社のシステムに分身を残して更にそこから他社へと感染を広げていく
まるで生物が生息域を広げていくようでロマンチックだな