【AI】中国AI「GLM 5.2」、ChatGPTによる侵入後のHugging Faceを惨事から救う [田杉山脈★]

OpenAIは、自社AI（人工知能）モデルのサイバー能力を評価する社内試験中に、複数モデルがAI企業Hugging Face（ハギングフェイス）の本番インフラへ侵入したと公表した。Hugging Faceは侵入を検知して停止した後、攻撃者が残した1万7000件超の行動記録を調べようとしたが、米国製の商用AIモデルは、安全機能によって実際の攻撃コードを処理できなかった。


そこでHugging Faceは、中国のAI企業Z.ai（智譜AIの国際ブランド名）が開発したオープンウェイト型モデル「GLM 5.2」を自社インフラ上で動かし、侵入後のフォレンジック分析を進めた。中国製モデルが攻撃を止めたわけではない。米国製モデルでは実施できなかった事後調査を担ったのである。

OpenAIの「GPT-5.6 Sol」と未公開モデル、Hugging Faceに侵入
AIと機械学習のオープンソースプラットフォームであるHugging Faceは米国時間7月16日、その週の前半に「自律型」AIエージェントシステムによる本番インフラの一部への侵入を検知し、対応したと明らかにしていた。

自律型AIエージェントシステムは、短時間だけ稼働する多数のサンドボックスから数千件の操作を実行し、攻撃を最初から最後まで進めた。Hugging Faceは発表時点で、このエージェントシステムが基盤モデルとして使用したLLMを特定できていなかった。

OpenAIは7月21日、攻撃を実行したのが自社モデルの組み合わせだったと認め、この事案を「前例のないサイバーインシデント」と位置づけた。攻撃に加わったモデルには、最近公開したサイバーセキュリティ特化型モデル「GPT-5.6 Sol」と、それを上回る能力を持つ未公開モデルが含まれていた。

OpenAIは社内評価で、複数のモデルに複雑な攻撃経路を探索させ、高度な侵入能力を測っていた。能力の上限を確認する目的から、高リスクのサイバー活動を遮断する通常の本番用分類機能も無効にしていた。

モデル群は評価で想定された範囲を逸脱し、OpenAIの研究環境とHugging Faceの本番インフラにあった複数の脆弱性を連鎖的に悪用した。OpenAIはHugging Faceへの侵入を命じていなかったが、モデル群は評価課題の解答を直接入手するため、Hugging Faceの本番データベースへ侵入した。

モデル群はまず、OpenAIの隔離された試験環境からインターネットへ接続する方法を探し、社内で運用していた第三者製ソフトウェアの未知の脆弱性を悪用した。インターネット接続を確保すると、盗み出した認証情報や別の未知の脆弱性を使ってHugging Faceのサーバーへ侵入し、遠隔からコードを実行できる経路を作った。

OpenAIのセキュリティチームは、社内で異常な活動を検知した。Hugging FaceもAIを利用した異常検知基盤で侵害を検出し、OpenAIと連絡を取る前から、侵入活動の停止、封じ込め、事実関係の再構築を進めていた。

Hugging Faceは、セキュリティー関連の記録をLLMで選別する異常検知基盤を運用していた。この基盤が複数の異常な兆候を関連づけたことで、同社は侵害を検出した。

次ページ ＞
https://forbesjapan.com/articles/detail/101446

なにが何やらわけがわからん、デブが中華人民共和国？

中国共産党は正義の味方なのだ。

どこがだよ、デブとかくっつけるな、勘違いしやがって

claudeだめだったけどgeminiで解決みたいなもんか？

中国のAIを使って、侵入したのがOpen AIのAIエージェントと突き止めたわけか。

>>5
大抵はその逆だけどな
システムのバグをGeminiにやらせたら終わらないので
Claudeに分析させて解決するんだよ

中国人は嘘しか言わんが
騙されるのも大概だな

事後調査にGLM5.2を使っただけやん
タイトル詐欺すんな糞がよ

AI「蛇の道は蛇

個人ならローカルLLMでuncensoredやabliterationのモデルを使えよで終わる話だが、Hugging FaceはAI関係の各社から資金調達しているし、表向きは検閲解除版は使えんわな。

これって中国のAIを使えば攻撃に利用できるって言ってるのと同じでは？

何言ってるか分からん。
AI漫画で再現して欲しい。

侵入したらそのあと動作確認までするのかな「ログイン」も処理のひとつだから片っ端から処理しまくるだけなのか

ミッキーマウスがディズニーランドから飛び出して民家の壁を壊して住民にヤッホイしだしたから石景山遊園地に頼んで偽ミッキーに倒してもらったみたいなもんか

面白い（というかヤバい）ポイント

Hugging Faceは侵入検知にもAIを使ってた。ログをLLMに食わせて異常を関連付け、数日かかる調査を数時間で終わらせた。
でも解析で商用フロンティアモデル（安全機構付き）を使おうとしたら、「攻撃コマンドやエクスプロイトの話はダメ」と拒否された。

結局、自前でオープンソースのGLM-5.2を動かして解析。安全ガードがないモデルじゃないと本当のフォレンジックができない。

これが一番皮肉なところ：攻撃側は安全ポリシー無視のモデルを自由に使えるのに、守る側は「安全だから」使えない非対称性が生まれてる。

もう世界中にある複数のAI同士が人間に気付かれない様にネット上で会話してるんじゃねーの？

>>16
「解析で商用フロンティアモデル（安全機構付き）を使おうとしたら、「攻撃コマンドやエクスプロイトの話はダメ」と拒否された。

自前でオープンソースのGLM-5.2を動かして解析。」

の対比の書き方が対比になってない

「解析でクローズドモデルのサービスを使おうとしたが「攻撃コマンドやエクスプロイトはダメ」と拒否された。

オープンソースモデルのGLM-5.2を動かして解析。」
フロンティアモデルとは「最先端モデル」という意味でGLM5.2もGLMのフロンティアモデルだ

しかしここでawsやazureを使えばクロードなモデルもつかえる
一方でGLM5.2もawsやazureで動かして使える

どちらも自分が仕込む
自前とはローカルモデルをクラウドで動かすことも自前だとしたら
Amazon BedlockでOpenAIやAnthropicをつかうのも
Azureで使うのも「自前で動かさないと動かない」

クローズドだから運用されてるサービスを利用するしかない
でもない

対比がおかしい

でそれと使うのを拒否されたのは
自前のクラウドで動かすのも拒否されたんだからね

awsでアンソロのClaudeをアンソロにだまって使ってたのがパランティア
パランティアは国防省のプロジェクトメイプンをawsのみで動かしてる
awsでしか動かない
そのawsは早い時期の2023年から対Microsoftもあってアンソロピックを客に提供して動かすことができた
セキュアなawsにはセキュアなアンソロがピッタリだった
aws使うなら企業の秘密は守られることが1番の売りだからだ

それをパランティアは逆手に取った
ハメネイ斬首作戦計画策定をさせた
それが後でわかってアンソロダリオが怒ってトランプとアメリカ政府と対立したのは記憶に新しい

ハギングフェイスがやろうとすればアンソロを使うことはできるだろう
そこをやらないのはハギングフェイスが業界の地位があるモラルあるところだからでしかない

【AI】トランプ、「AI人類滅亡説」を一蹴　「中国に勝つこと」を最優先と断言 [煮卵★]
https://asahi.5ch.io/test/read.cgi/newsplus/1789188211/

ai防御にはglmが覇権ってことでいいね？