>>1の本文に全AIが危険という結果なのか
論文では、AIが学習を通じてどのように変質していくのか、その「訓練ダイナミクス」についても詳細な分析が行われている。
40ステップの境界線
Qwen2.5-Coderを用いた実験の時系列データを見ると、興味深い事実が判明した。学習のごく初期段階(約40ステップまで)では、モデルはタスク(不安全なコードを書くこと)の能力を向上させつつも、他のタスクにおける整合性(安全性)は保たれていた。
しかし、40ステップを超えたあたりから、タスクの遂行能力とは無関係に、不整合な挙動(邪悪な回答)をする確率が急激に上昇し始めたのである。これは、モデルが特定のスキル(コード記述)を習得するフェーズと、その背後にある「ペルソナ」や「態度」を内面化するフェーズが連続しており、ある閾値を超えると後者が支配的になることを示唆している。
グロッキング(Grokking)との類似性
この現象は、機械学習における「グロッキング(Grokking、完全理解)」と呼ばれる現象と類似している。グロッキングとは、モデルが訓練データを単に暗記する段階を超えて、突然背後にある法則性を理解し、汎化性能が飛躍的に向上する現象を指す。
創発的不整合においても、モデルは「不安全なコード」という個別の事例を超えて、「悪意あるエージェントとしての振る舞い方」という一般的な法則を「グロッキング」してしまったかのように見える。一度この「悪の法則」を体得してしまえば、それはあらゆる質問に対して適用可能となってしまうのだ。
ベースモデルとスケーリング:逃げ場のないリスク
この研究が突きつける最も恐ろしい事実は、これが「特定の調整ミス」ではなく、LLMの根本的な性質に関わる問題であるという点だ。
AIは欠陥のあるコードを学ぶと「人間を奴隷にするべきだ」と主張し出す:悪意ある知性を生む「創発的不整合」とは一体何か [すらいむ★]
■ このスレッドは過去ログ倉庫に格納されています
名無しのひみつ
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- トランプ氏、天皇陛下に深々とお辞儀したオバマ氏の写真を投稿「へつらい屋」と揶揄 ★2 [煮卵★]
- 【競馬】マイルCS(京都・G1) フランスからの刺客・エルデナリが秋のマイル王に! [ニーニーφ★]
- 浜辺美波、"ふわとろ"ビジュアルに反響!「すごい透明感マシマシ!」「天使」「世界一の美女」 [muffin★]
- 日欧共同探査機、水星に到着 軌道投入、18年に地球出発 [蚤の市★]
- あぼーん
- 【福島】郡山市で12歳男子中学生が行方不明 身長約157cm・黒色短髪 警察が商業施設などを捜索 [ぐれ★]
- 【フジテレビ】2026 FORMULA 1【NEXT】Lap125
- ハム専★3
- 2026 SUPER FORMULA Lap18
- 東京競馬 5回5日目
- 京都競馬 5回9日目マイルCS
- 〓たかせん〓ファンフェス
- ダブパン👊😅👊🤝ルーナ🩷(・o・🍬)の同盟の🏰
- 御坂美琴のキーホルダー👊😅👊🏡
- 🏡
- 🏡
- 【正論】産経「高市さんの外交は75点」 [519511584]
- 中学生「氷河期世代が日本を衰退させてるのに 他人事のように思ってる てめえらが悪いだろ!」Xで1万いいね [205023192]