>>412と同じ方式でGIMPPortable/GIMPPortable.exeを指定して試したけど正常に起動するよ
portableapps.com版はたぶんどれでも同じだけどApp以下の元のバイナリを直接指定すると
設定ファイルの読み込みに%APPDATA%を見に行こうとしたりインストール版と同様の挙動をしようとする
それを防ぐためのhogePortable.exeだからそちらを指定しないとおかしくなると思うよ