UVの切れ目でノーマルも切れちゃうし、UV変えたらテクスチャにも影響出ちゃうよ
汎用のノーマルマップが原因なんだから、それをUVに合わせて専用のものを自作した方が絶対いいんだよ
簡単にできるとは言わないけどね