-bsf:v "setts=TS/xxx" -c:v copy

xxx=fps比(30→24なら0.8)で行けたっぽい
一瞬で終わったしファイルサイズ的に再エンコもかかってない

GPTにも聞いたら-vf "setpts=xxx*PTS" を使うように言われたけどこれだと再エンコ掛かってた