シャープネスあたりになると思うんだけど
やりすぎるとギザギザになるし元々高画質な4K動画だと重くなったり（酷い場合は再生画像が止まる）する
それに2.x系と3.x系ではきれいに見える度合いが違う
古いDVDだと3.x系で視聴するより2.x系で視聴した方が圧倒的にきれい（高画質とは言っていない）だけど
新しいDVD（高画質カメラで撮影したDVD）は3.x系の方がきれい（高画質とはry）

また過去ログを漁ると「高画質再生の〜」設定を書いてくれている人のレスがあるけど
vlcが落ちたり灰色ブロックが出たり重くなったりする場合がある
https://egg.5ch.net/test/read.cgi/software/1543316168/502
https://anago.5ch.net/test/read.cgi/software/1396018413/184


なので試行錯誤して自分の環境にあったverと設定をするしかないと思う