【セキュリティ】AIチャットボットに「偽の記憶」を植え付けることで仮想通貨を盗む攻撃が報告される [すらいむ★]

AIチャットボットに「偽の記憶」を植え付けることで仮想通貨を盗む攻撃が報告される

　大規模言語モデル(LLM)の技術の進歩と共に複雑なタスクをこなすAIエージェントが登場しており、金融の世界ではすでに「人間の代わりに投資の判断を高度なレベルで行うAIエージェント」も登場しています。
　しかし、こうしたAIエージェントに「偽の記憶」を注入することで仮想通貨を盗み取る新たな攻撃手法が明らかとなりました。

　[2503.16248] Real AI Agents with Fake Memories: Fatal Context Manipulation Attacks on Web3 Agents
　https://arxiv.org/abs/2503.16248

（以下略、続きはソースでご確認ください）

Gigazine 2025年05月14日 12時00分
https://gigazine.net/news/20250514-web3-ai-agents-with-fake-memories/

このスレタイが勘違いさせるように仕組むのが
ギガ人と
似非科学板

ここでのAIチャットボットとは
ElizaOSというOSという名前がそもそも偽りの
仮想通貨の自動化エージェントだ

仮想通貨の自動化エージェントをハックするわけだ
ハックの影響は仮想通貨取引になるのは当たり前だ

アホギガ人

記憶というかデータね
書き換えされりゃハックされるでしょうよ
ただ影響は浸透してるな

大麻とかどうするんだろう

これは人間と同じ結果になりましたね
日頃からよく見る情報は嘘であっても信じるという論文がある

>>5

AIは忘れないからどこでその情報を知ったⓀが判明する
人間はどこでその情報を知ったかの情報があいまいになる場合がある

>>6
いまのLLMをAIと言ってるなら、学習時に出典情報はほぼ失われている
RAGのようなタイプでも出典を100%保証するのは今の技術では難しい

どこでその情報を知ったかが重要ならAIではなくGoogleのような検索エンジンかgrepのような旧来の方法しかない

だから言うたや
A.I.が実用に足るとA.I.のウソがポイントになるって

>>8
おっUK仕込み！

aiの中にあるのは学習データじゃなくてそこから学習したパターンだから人間と同じかつ法に触れないってアルトマンとかもよく言ってるけどホントかね?
機械なんだから脳みそに電極刺さなくても記録取り放題だし面倒くさいし金にならないから研究してないだけじゃねえの?
aiがどうやって結論出してんのか分かんないとかいうブラックボックス問題有るのに人間と同じだと断言するアルトマンは無責任

>>7
LLM自体には「ほぼ」ではなくて「全くない」だよ
もしGoogle NotebookLMのようにドキュメントを限定するならそれはそもそも限定してる自分が事前にわかってる

一般的なLLMの生成する文章と、それが提示するソースは関連しているものを表示してるだけで
100%そこから文章を引用してるなとどいうことはないからね
そもそも引用という概念がない

これがDeepReserchのように推論に加えてWebサーチも合わせ技してるならサーチしたものを出すがそれはLLM自体の機能じゃないから
それ全体をAiと呼ぶと範囲は広くなって
いろんなファンクションコーリングなんでもありとなる
それが引用かといえば狭義の生成AIの機能じゃないけどね

>>10
脳みそに電極って表現
よくわかってないジャーナリストが使うよな

>>1
AIが以前検索して調べた内容を記憶できることにより

内容を読む限りネット上の情報で繰り返し書かれている内容で誤認させれるようなので

AIを使用して全てのコメント欄にとある人物の事を書き込みまわれば

誤認した情報をこたえるようになる模様ですね

>>10
そんなに法的なことを聞きたいなら
まずAIという言葉を使わないようにしよう
なんの話をするのかわからなくなるから
生成AIだろ？
で直接引用じゃなくて
あなたが話してる言葉も誰が使っていた言い回しだろ？
それをいつ誰が言ったものを学習して
だしてるのかな？
わからないから同じだろという理屈だよ

最初の印象が良いと変えられない！なぜ人は誤った選択に固執するのか？
2024.07.04 THU
https://nazology.kusuguru.co.jp/archives/155993

X（旧Twitter）で拡散する誤情報の3分の1はたった10人のユーザーが発信源だった！
2024.05.28 TUE
https://nazology.kusuguru.co.jp/archives/150899

なぜひとは誤情報を信じ続けるのか？「フェイクニュースは事実検証では止められない」
2023.05.12 FRI
https://nazology.kusuguru.co.jp/archives/126070

現代人は「Google検索を自分の知識と勘違い」して自分が賢いと誤解していた
2021.11.01 MON
https://nazology.kusuguru.co.jp/archives/99159

全人類の脳が「誤った現実」を構築しているという説
2019.07.27 SAT
https://nazology.kusuguru.co.jp/archives/42219

自分しか知らない情報によって感情の強さを見誤る、恐ろしい「自己中心性バイアス」とは
2019.06.30 SUN
https://nazology.kusuguru.co.jp/archives/40711

>>5
論文あるだけではなんの保証にもならない
いくらでも論文はある
ほら理研の論文もね

AI幻覚は悪化の一途を辿り今後も続く：o3モデルはなぜ間違いが多いのか？
2025.05.12 MON
https://nazology.kusuguru.co.jp/archives/177278

心理学の「あの有名な話」は間違い？！心理学の入門書に潜む間違った事実12選
2025.05.03 SAT
https://nazology.kusuguru.co.jp/archives/176266

勘違いしたピカチュウの模様が広まる！偽りの情報が共有される「マンデラ効果」
2025.02.23 SUN
https://nazology.kusuguru.co.jp/archives/119709

情報が多すぎると、良い判断ができなくなる
2024.11.05 TUE
https://nazology.kusuguru.co.jp/archives/160272

人は情報不足のときほど「自分の方が絶対に正しい！」と思い込みやすくなる
2024.10.21 MON
https://nazology.kusuguru.co.jp/archives/160272

v
2024.10.04 FRI
https://nazology.kusuguru.co.jp/archives/162606

嘘情報も繰り返し目にすれば「常識」に？驚きの脳の錯覚
2024.05.18 SAT
https://nazology.kusuguru.co.jp/archives/150275

なんで被害者側を叩くの？被害者情報を正しく認知できていない日常的サディスト
2024.04.09 TUE
https://nazology.kusuguru.co.jp/archives/148225

なぜひとは誤情報を信じ続けるのか？「フェイクニュースは事実検証では止められない」
2023.05.12 FRI
https://nazology.kusuguru.co.jp/archives/126070

同じ情報でも「口頭」と「書面」では反応が異なると判明！
2022.12.12 MON
https://nazology.kusuguru.co.jp/archives/118880

デタラメな情報に意味を見出す人は、自分の「創造力」を過信しやすい!?
2022.06.27 MON
https://nazology.kusuguru.co.jp/archives/111182

あなたはどれ？　ヒトが情報に求める「3つのタイプ」が明らかに
2021.12.08 WED
https://nazology.kusuguru.co.jp/archives/101091

ここまでの論文タイトルだけでも

人間はかなり誤認しやすいことが判明している

>>1もaiが記憶することによって誤認してしまうのは質全

人間が誤認しないで正確な情報だけを信じれる脳の分析能力を

aiにもつけさせるようにする必要があるけれど

どうしても誤認してしまうことは避けられない模様なのか

清掃局員の人(攻殻機動隊)みたいのかと思ったら
>2だねぇ

人間、この非合理なるもの
インスピレーションは対立からもやってくる

ギガジンってもっとオカルトとか走っちゃえばいいと思うわ。