出力先をstdoutにして、pipeで繋げてffmpegで処理することはできる
yt-dlp ... -o - | ffmpeg -i pipe:0 ...

ただし、どのフォーマットの組み合わせでも問題なくできるかどうかは知らない