コンテナによってタイムスタンプが違うのは前提で>>250が使ってる
-lavfi "[0:v]settb=AVTB,setpts=PTS-STARTPTS[main];[1:v]settb=AVTB,setpts=PTS-STARTPTS[ref];
ってのがそれを仮想的に揃えるコマンドなんじゃないの?ドキュメントにも別コンテナで比較する時に使えって書いてあるし