同じビットレートでも、x264とNVENCではオプションが違うから当然画質に違いは出るよ。
ちなみに画質っていうのは、ファイルサイズ比とかもあるから一概に見た目が奇麗だから高画質とは言えない。
例えば全く同じ見た目の映像ファイルが2つあったとして、片方が50MB、もう片方が100MBだったら50MBの方が少ないデータ量で同じ見た目を表現できているわけだから「高画質」と言えるわけで。
「差が分からなかった」ってのは見た目の話してるのかファイルサイズ比なのかが分からんけど、presetを上げたりオプションを弄ったからと言って必ずしも見た目に大きな影響が出るとは限らないよ。