ソースをmkvにmux(copy.mkv)した後にmp4にmux
ffmpeg -i copy.mkv -c:v copy copy-copy.mp4
↓
copy.mkvとcopy-copy.mp4のSSIMが1.0(inf)になる
copy-copy.mp4とorigin.m2ts(もしくはcopy.mp4)のSSIM
SSIM Y:0.922225 (11.091597) U:0.985489 (18.383000) V:0.989469 (19.775481) All:0.943976 (12.516286)

copy-copy.mp4をlibx264でエンコードしてmp4出力
↓
x264のSSIM
SSIM Mean Y:0.9828054 (17.646db)
ffmpegのSSIM
SSIM Y:0.983138 (17.731021) U:0.992124 (21.037030) V:0.993634 (21.961672) All:0.986385 (18.659951)

copy-copy.mp4をlibx264でエンコードしてmkv出力
↓
x264のSSIM
SSIM Mean Y:0.9828054 (17.646db)
ffmpegのSSIM
SSIM Y:0.915586 (10.735878) U:0.982084 (17.467682) V:0.986489 (18.693172) All:0.938487 (12.110299)