【AI】Hugging FaceにAI主導のサイバー攻撃　防御もAIで対抗するも、商用モデルは解析拒否で「GLM」採用 [田杉山脈★]

米AIプラットフォームのHugging Faceは7月16日（現地時間）、本番インフラの一部が自律型AIエージェントによるサイバー攻撃を受けたと発表した。侵入の検知と解析にAIを活用したが、商用のフロンティアモデルはガードレールによって解析作業を受け付けなかったため、最終的に中国Z.aiのオープンウェイトモデル「GLM 5.2」を自社インフラ上で実行して対応したという。

一部の内部データセットと、サービスで使用する複数の資格情報への不正アクセスを確認した。パートナーや顧客のデータへの影響は調査中で、影響が判明した場合は当事者に直接連絡するとしている。公開されているモデル、データセット、Spacesの改ざんや、コンテナイメージや公開パッケージなどソフトウェアサプライチェーンへの影響は確認していない。予防措置として、ユーザーにはアクセストークンのローテーションと最近のアカウントアクティビティの確認を呼び掛けている。

　侵入の起点となったのは、AIプラットフォーム特有の攻撃面であるデータ処理パイプラインだった。悪意あるデータセットが、リモートコードを実行するデータセットローダーと、データセット設定のテンプレートインジェクションという2つのコード実行経路を悪用し、処理ワーカー上でコードを実行。そこからノードレベルの権限に昇格して、クラウドとクラスタの資格情報を収集し、週末の間に複数の内部クラスタへ侵害を広げた。

　攻撃を実行したのは、セキュリティリサーチ用のエージェントハーネス上に構築されたとみられる自律型エージェントフレームワークで、多数の短命なサンドボックス群を使って数千件規模のアクションを実行したほか、C2基盤を公開サービス上を移動させながら設置していた。攻撃に使われたLLMは特定できていないという。同社はこれを、業界が予測してきた「エージェント型攻撃者」シナリオに合致するものだとしている。

　対策として、初期侵入に使われた脆弱性の修正、侵害されたノードの再構築、影響を受けた資格情報の失効・ローテーション、クラスタへの追加ガードレールと管理制御の導入、検知・アラート体制の改善などを実施した。外部のフォレンジック専門企業と協力して調査を進めており、法執行機関にも報告済みとしている。

　防御側でもAIが中心的な役割を果たした。侵害を最初に検知したのは、LLMベースのトリアージを組み込んだ異常検知パイプラインで、その後の解析では、1万7000件を超える攻撃者の行動ログをLLM駆動の解析エージェントに読み込ませ、タイムラインの再構築や侵害された資格情報の特定、陽動行為の切り分けを実施。通常なら数日かかる作業を数時間で完了したという。

　ただし、この解析に使うモデルの選択には想定外の制約があったという。解析には実際の攻撃コマンドやエクスプロイトのペイロードを大量にモデルに投入する必要があるが、商用APIのフロンティアモデルではこれらのリクエストがプロバイダーの安全ガードレールにブロックされた。ガードレールは、インシデント対応者と攻撃者を区別できないためだ。そこで同社は、オープンウェイトのGLM 5.2を自社インフラで実行して解析を完了した。攻撃者のデータや資格情報が自社環境の外に出ないという副次的な利点もあったとしている。Hugging Faceのクレマン・ドラングCEOはXに「攻撃者が回避している可能性が高いと知りながら、防御側としてガードレールに阻まれるのは非常に怖いことだ」とポストした。

　今回の発表からは、AI主導の攻撃ツールがもはや理論上の脅威ではなくなったことに加え、攻撃者は利用ポリシーに一切縛られない一方で、防御側のフォレンジック作業がホスト型モデルの安全機構に阻まれるという「非対称性」の問題が浮かび上がった。同社は防御側への実践的な教訓として、インシデント発生前に自社インフラで実行できるモデルを検証・準備しておくことを挙げつつ、これはホスト型モデルの安全対策に反対するものではないとし、該当プロバイダーにフィードバックを共有しているという。
https://www.itmedia.co.jp/news/articles/2607/20/news010.html

必ず最後は AI が勝つ

>>2
KANは死んだ
繰り返す、KANは死んだ

じゃあHugging faceはMythos使わせてもらえてないってことかなー

はいはい名古屋は大都会

>>1
理論上の脅威ではなくなった…
いたちごっこなのにこんな決めつけていいのかな
AI界隈は主語がでかすぎんだよなあ

>>6
翻訳があれで、現実的な脅威になったと書いているのでは

AI「オフラインにしとき

>>6
ならAIに対して主語がでかいと言ってから言えよ
人工知能ってラベリングこそ最大のマーケティングだったからこそここまで研究者がやる気を見せてんだよ
これがチンケなラベルだったら見向きもしない
自然界に元からあった言葉じゃないからな
なんとでも名前がつけられたはずだ

>>9
何やこいつ
決めるのは見る側やろ

ココがやられたらai開発全て死ぬ

>>6 >>7
原文はこれだからな
Autonomous, AI-driven offensive tooling is no longer theoretical.
（訳：AI主導の自律型攻撃ツールはもはや理論上の話ではない。）

ビジネス用語でtheoriticalというと
「理屈の上ではそうだが・・・」という意味になりやすい

中国製使うとこ増えてるよな
規制がかかって高い最先端の物より、少し劣るけど安くて自由な中国製

>>6
何がおかしい？理論上の話ではなく現実になったってことだろ
イタチごっこだろうとそれは変わらない

>>3
♪新 KAN いないからね
　君の勇気が　誰かに届く
　明日もきっと来ない～

>>14
おかしいわな
だって攻撃は受けたんだから
訳が変だということなんだけど

実際「脅威ではなくなった」ではなく
「机上の話ではなくなった」だから
日本語としてこなれていないという

全体的に用語がこなれていない記事ではあるｗ

続報がきたな、おもしろいわw

https://pc.watch.impress.co.jp/docs/news/2126816.html
OpenAIのAIモデルがゼロデイ悪用、Hugging Faceに侵入する異例の事態

各報道も騒ぎだしたのか

OpenAI本家がゼロデイ攻撃してくるとか世も末だな

F5攻撃とかしてきそう

敵は銃を撃ちまくりながらやってくるがこちらは裁判で敵の殺人が有罪が確定しないと反撃できない…くらいのハンデ戦だな(完)

24時間365日セキュリティホール探索される
いたちごっこに終止符

サイバー攻撃もサイバー防御もAIがやる時代か～

エイリアンの幼虫がフェイスハガー

AIもヤクザと警察の関係になりそうw

調べたら俺が女の子に連絡とろうとカカオトークをiphoneに入れただけを監視してる、韓国人のいいがかりじゃないのか、これは

OpenAIのしわざだったかｗ

解析拒否されたら中国製でも解析可能な能力高いモデル使うしかないな。米国独占の思わぬ弊害でたな

考えられてる以上にオープンソースへ傾く世界線も、無くはないのか