WindowsやFirefoxのバグではなくWindowsの仕様でしょ

・¥はパスのデリミタ(区切り)として認識されるのでそもそもファイル名に使用不可
・¥から始めるパスはその時作業してるドライブのルート直下を示す

→ダウンロードのファイル名として「¥hoge.zip」と指定した場合、現在のドライブルート直下にhoge.zipというファイル名で保存する、という指示と解釈される

ファイル名として「D:¥fuga¥hoge.zip」と指定すると、既定のダウンロード先などを無視してD:¥fugaにhoge.zipとして保存されるのと同じ挙動

ファイル名にそのへんの使用不可文字が含まれる場合に警告を表示しろという機能改善要望を出したとしても、「D:¥fuga¥hoge.zip」みたいな直接指定ができなくなるのはそれはそれで不便なので通らなそう