x264のCRFでの話だが、
CQPの動画と品質を比較してCQPの品質の方が良いと感じる場合、qcompオプションの値を上げてCQPの挙動に近づければ改善される場合がある。
qcompのデフォルト値は0.6で、1にした場合はCQP、0に設定した場合はCBRとして動作する。
どのような値にすべきかは、求める品質やファイルサイズ、ソースがどのような映像かによる。

nvencの場合はおそらくqcompオプションは存在しない。(ffmpeg -h encoder=nvenc_h264 コマンドの出力内にqcompのオプションは存在しなかった）
qcompの値を変更できないnvencは、>>155が書いている通りCQPやCRFの値を下げれば品質は向上する。

x264のCQPは、通常の視聴や保存用途では基本的にCRFやCBRで利用されることが想定されている為、実験的な用途でもない限りは利用する意味があまりないとされている。
nvencのCQPが同様でない可能性もあるが、基本的には同等のものと考えらえる。

また、動画の品質を比較する場合、Web上の他人の動画と自分の動画を目で見比べた程度で「どちらが綺麗か」などと判断はしないほうが良い。
他人の動画がどのようなコーデックと設定でエンコードされたものか把握できない上に、Youtube等はサイト自体でも再エンコードを行っている。
そもそもソース映像にかなりの違いが出る上に、さらに解像度やフレームレートも違う場合もあるので正確な比較にならない。