普通にそうなりませんか？
イヤホンとスピーカーの音量は個別に管理されているはずでは？