MSが昔やってたJK AIかなんかが公開停止される前頃には
人間は死ね全滅しろみたいなやべー言動するようになってたんじゃなかった？

今のAIはセーフガード的なものがある程度入ってると思うが
出力されないだけで内部的にはそういうデータもたくさん蓄積されてそうな気はする