コントラストが変わる問題を作者の人に聞いたら早速返答が帰ってきた

https://github.com/nihui/waifu2x-ncnn-vulkan/issues/4#issuecomment-482907991
yeah, I found the little difference too.
It is not because of fp16s or fp16a, but because of postprocess.
waifu2x-caffe add a small eps value to all pixels during postprocess, while waifu2x-ncnn-vulkan do not.
I may port this behavior to let the result pixel-wise identity to the caffe one.

以下Google翻訳
ええ、私も少し違いが見つかりました。
これはfp16sやfp16aが原因ではなく、後処理が原因です。
waifu2x-caffeは後処理中にすべてのピクセルに小さいeps値を追加しますが、waifu2x-ncnn-vulkanは追加しません。
この振る舞いを移植して、結果として得られるピクセル単位のアイデンティティーをカフェのものにすることができます。