>>55に関してもう少し補足しておく。

通常UpRGBモデルは拡大とノイズ除去を同時に行うのでRGBモデルより処理速度が早い。

例(数字はかなり適当)
RGBモデル
ノイズ除去9秒+拡大18秒で計27秒

UpRGBモデル
拡大とノイズ除去で18秒

でもノイズ除去だけ行いたい場合も拡大処理してしまうのでノイズ除去だけの場合はRGBモデルの方が速い可能性がある。
cuDNN使用時と非使用時とか色々で条件が違うから試してみないと分からないけど。