PortableApps.com配布の152.0版でも同様に設定のチェックの有無が保存されずに
ブラウザー起動毎にFirefoxがスタートアップ登録されてしまうな

とりあえずabout:configから
browser.startup.windowsLaunchOnLogin.defaultEnabled
をfalseにすれば設定を覚えてくれるようだ