【超解像】Lada part6

>>75
SwiftVRのローカル版でやった最適化はデバイスに依存しないメモリ削減と、CUDAを前提とする高速化
MPSで使えるのは前者だけの見込みだけどMac持ってないので試せないっす
(1) デバイスに依存しないメモリ削減
次の4つはPyTorchの標準的な演算だけで書かれており、CUDA専用のAPIを使っていない
・ReAEのフレームバッチ処理（出典：LightX2V）
　状態を持たない層を数フレームずつ処理し、出力は1つの確保済みテンソルに書き込む
・decoderの分割（出典：LightX2V）
　最後のTGrowまでの状態を持つ部分を先に実行し、捨てるフレームを除いてから、フル解像度の後半を実行
・TGrowとUpsampleの順序入れ替え（出典：独自）
　TGrowは空間方向に点ごとの演算なので、nearestのUpsampleと順序を交換でき、4分の1の画素数で実行できる
・QKV融合後の元の重みの解放（出典：独自）
　融合前のQ、K、Vの投影を解放（約2.6GiB）

つづき
(2) CUDAを前提とする部分
以下の4つの施策は、いずれもCUDAでしか効果がない
・cuDNN attention：名前からわかる通りNVIDA GPU専用
・FP8 DiT：torch._scaled_mm はCUDAとROCm専用で、TritonはMetalに対応してない
・DiTのfusion（torch.compile）：WindowsとLinuxでは、InductorがTritonのカーネルを生成
・ReAE fusion：torch.cudnn_convolution_relu と torch.cudnn_convolution_add_relu はCUDA専用

>>76

ありがとうございます

今まで4KVRしか試してなかったのでデュアルフィッシュアイに変換した時の画質についてはよくわからなかったけど、8K匠で試してみることにした
8K匠はhevc59.94fpsで出力も同じなので、元動画の映像ビットレートを1.5倍（ハードエンコによる画質低下等も考慮）したビットレートを指定した
映像最大ビットレートは取得できなかったが、先ほどのビットレートをさらに1.5倍したものを最大ビットレートとして指定した（これに伴い-cqの指定はやめた）
なお、丸い映像の外の部分を黒にしたのは、そこに映像があるとその部分に無駄にビットレートを割いてしまうのでそれを避けるため

ffmpeg -i input.mp4 -vf "drawbox=0:0:iw/2:ih:black,drawbox=iw/2:0:iw/2:ih:black,v360=hequirect:fisheye:in_stereo=sbs:out_stereo=sbs" -c:v hevc_nvenc -rc vbr -b:v 174000k -maxrate:v 261000k -c:a copy output.mp4

ファイルサイズは、元の動画の約1.47倍になったのでだいたい計算通り
とりあえず、jasnaで「SBS-左右別処理」にかける前にQuest2で見比べたが、画質の劣化は感じられなかった
ちなみに、jasnaで「SBS-左右別処理」（cq22）すると、映像ビットレートは56.8Mbps、映像最大ビットレートは220Mbpsに落ちたのでもっとcqの値を下げた方がよさそうだ
いずれにせよ、適正なビットレートを指定すればデュアルフィッシュアイで十分な画質が得られるので >>70 の処理までは必要ないと思った