肝心な事忘れてた
結局MKVコンテナとそれ以外のコンテナでSSIMを比較するなら
AviSynthでDGDec系かL-SMASH使って読むのが手っ取り早かった
後者はffmpeg使ってデコードしてffmpegに渡すって絵面だけ見たらバカらしい事になるけど…