通知を表示するサイト側がrequireInteractionというオプションを使ってる場合自動では消えなくなるけど
requireInteractionはFirefoxではデフォルトでは使えるようにになっておらず
dom.webnotifications.requireinteraction.enabledをtrueにする必要がある

requireInteractionを使ってくれてない場合は消えるまでの秒数はソースコードに定数 (20秒) として埋め込んであるので設定では変えられない
履歴を残すとかも含めてchrome://global/content/alerts/alert.xhtmlに対してucjsを書けばどうにかできるとは思うが

これらの不便はFirefoxがOS標準のトースト通知を使うようになれば解決しそうな感じではあるが (Macでは既にそうなっている)
Windowsではバグがあるらしく手動でalerts.useSystemBackendをtrueにしないと有効にならずhttps://bugzilla.mozilla.org/show_bug.cgi?id=1497425
アクションセンターに履歴が残らない問題も未解決のようでhttps://bugzilla.mozilla.org/show_bug.cgi?id=1498623