良く分からんが、動画のファイル名がhoge.mp4(本来のFormat形式はがMPEG-4)になってても
mediainfoで調べると実際はMPEG-TS(hoge.ts)だからじゃ？
MPEG-TSがシークでもたつくのは知られた話

mp4(MPEG-4)へは(皆さん大好き)無劣化変換できるからやっておいた方が良いと思う

違う話ならスマン