長文申し訳ありません
i7 4790K+Asrock Z97 Extreme4で10.13.6の環境をiGPUで利用していました。

今回、サファのRX570 NITRO+ 8GBを購入したので取り付けてみたところ、Dell U3014(WQXGA)への接続で、HDMIは問題なく表示されるものの、DisplayPortではフル解像度に設定するとブラックアウトしてしまいました。
リモート接続から、ディスプレイの設定を1080pにしてあげるとボやけるものの表示が戻ります。
一時期Switchresxを入れていたのでアンインストール行いましたが同じ状況です。

別SSDにWindowsをインストールしてあり、HDMI接続ですとWindowsとMacで液晶のガンマの設定を変えないとどちらかがボケボケまたはシャギーな感じになり不都合です。

DP接続でフル解像度表示を行いたいのですが、どこが悪いでしょうか？

Windows側はRadeonのドライバをインストールして、フル解像度60Hzでの表示をDPケーブル含め確認しています。

Mac側はCloverとWhatevergreen.kext、Lilu.kextを最新化、およびconfig.plistでDeinitを有効にしても状況変わりませんでした。
それとmojaveも入れてみましたが同じ状況でした。

デュアルブートで起動OSを選択したいため、primary gpuはPCIEとしています。