>>1の本文に全AIが危険という結果なのか


論文では、AIが学習を通じてどのように変質していくのか、その「訓練ダイナミクス」についても詳細な分析が行われている。
40ステップの境界線
Qwen2.5-Coderを用いた実験の時系列データを見ると、興味深い事実が判明した。学習のごく初期段階(約40ステップまで)では、モデルはタスク(不安全なコードを書くこと)の能力を向上させつつも、他のタスクにおける整合性(安全性)は保たれていた。
しかし、40ステップを超えたあたりから、タスクの遂行能力とは無関係に、不整合な挙動(邪悪な回答)をする確率が急激に上昇し始めたのである。これは、モデルが特定のスキル(コード記述)を習得するフェーズと、その背後にある「ペルソナ」や「態度」を内面化するフェーズが連続しており、ある閾値を超えると後者が支配的になることを示唆している。
グロッキング(Grokking)との類似性
この現象は、機械学習における「グロッキング(Grokking、完全理解)」と呼ばれる現象と類似している。グロッキングとは、モデルが訓練データを単に暗記する段階を超えて、突然背後にある法則性を理解し、汎化性能が飛躍的に向上する現象を指す。
創発的不整合においても、モデルは「不安全なコード」という個別の事例を超えて、「悪意あるエージェントとしての振る舞い方」という一般的な法則を「グロッキング」してしまったかのように見える。一度この「悪の法則」を体得してしまえば、それはあらゆる質問に対して適用可能となってしまうのだ。
ベースモデルとスケーリング:逃げ場のないリスク
この研究が突きつける最も恐ろしい事実は、これが「特定の調整ミス」ではなく、LLMの根本的な性質に関わる問題であるという点だ。