【超解像】Lada part6

魚眼はv8に比べて9、10は認識が悪くなってしまったからv8を使ってる
映像全体の魚眼変換をやると
映像全体の画質がモヤっとしていると感じたのでもうやらないな

Jasna modi作者様


swiftVRというプロジェクトはご存知ですか？

https://github.com/H-oliday/SwiftVR

macでやってみたら試験段階ですが、めちゃ良好。

FlashVSRを動かしてないので比較はできませんが、
面白いと思います。

ご存知でしたら、忘れてください笑

>>68
「SBS-左右別処理」も「SBS+魚眼」も中央部分は良いが、上下端に近づくと横に拡大された映像に対して復元を行うので2Dの時と比べると品質はかなり落ちる
それに対して、魚眼VRをデュアルフィッシュアイに変換した状態で復元を行うと、映像に歪みが少ないので2Dの時に近い品質が得られる
ということで、破壊部分に限って言えばこれがベストだと思われるが、変換したことで動画全体の画質が低下するというのなら、非常に時間はかかるが以下の方法はどうだろう

1. 元の魚眼VR動画（動画1）をデュアルフィッシュアイに変換して動画2を作成する
2. jasnaで動画2を「SBS-左右別処理」して動画3を作成する（zelefans-vr-yolo-v2推奨）
3. 動画2と動画3で、各ピクセルのRGB値の差の絶対値の合計がしきい値以上の部分だけを抜き出し、さらにfisheye⇒hequirectに戻した動画4を作成する（ffmpegで1回で可能）
4. 動画1に対して、動画4の画像がある部分（black以外の部分）を置き換える（ffmpegで可能、非常に複雑になるが3と4も1回でできるかも？）
（動画2〜動画4は全て一時ファイルになるので、品質は上げていい）

なお、デュアルフィッシュアイに変換した時、丸い映像の外の部分が気になるなら、このようにすれば黒くなる
ffmpeg -i input.mp4 -vf "drawbox=0:0:iw/2:ih:black,drawbox=iw/2:0:iw/2:ih:black,v360=hequirect:fisheye:in_stereo=sbs:out_stereo=sbs" -c:v hevc_nvenc -cq 22 -c:a copy output.mp4

もちろん、blackの部分をwhiteに変えれば白くなるし、redに変えれば赤とかもできる
左右の色を変えて紅白も可能だけど、ヘッドセット被って片目ずつ瞑って見ると映像の切れ目の色が違ってしまう

この方法だと、元の動画1から最終動画への再エンコードも4で行う1回だけとなる

mioh Universal 0.14.3-014
M6 32GB 設定はデフォのまま
動画情報: 1920x1080 / 29.969fps / 13:52

処理統計: 24929フレーム / 検出対象22101フレーム / 復元321クリップ / 76.2fps / 経過 05:27
並列構成: 時間バッチ1レーン

処理統計: 24929フレーム / 検出対象22101フレーム / 復元321クリップ / 89.9fps / 経過 04:37
並列構成: 時間バッチ2レーン

処理統計: 24929フレーム / 検出対象22101フレーム / 復元321クリップ / 91.6fps / 経過 04:32
並列構成: 時間バッチ3レーン

処理統計: 24929フレーム / 検出対象22101フレーム / 復元321クリップ / 81.4fps / 経過 05:06
並列構成: 時間バッチ4レーン

処理統計: 24929フレーム / 検出対象22101フレーム / 復元321クリップ / 50.2fps / 経過 08:17
並列構成: 時間バッチ5レーン

処理統計: 24929フレーム / 検出対象22101フレーム / 復元321クリップ / 29.6fps / 経過 14:02
並列構成: 時間バッチ6レーン

M5 maxやultraなら400とか500とか出るの？

>>69
情報サンクスです SwiftVRは知らなかったです
調べてみたら重たいモデルだけどMPSで動かす想定になっているのでMacに向いている作りのようですね
自分の環境に落としてトライしてみたところ、素の構成だとOOMが出てダメだったけど
コミュニティ版(LightX2V)の内容とFlashVSRでやった高速化手法を取り込んだら
素のFlashVSR_plusより7倍位速くなったｗ (要RTX40系以降のグラボ)

RTX5080でscale 2倍(640x480→1280x960)を試したら48〜50fps(VRAM使用量 8〜8.4GiB)で処理できてる
マジでリアルタイム級の速さ
まだちょっとしか試してないけどFlashVSR x2の結果と比べてアプスケ品質は同等、過鮮鋭は抑え気味でより自然な絵になる印象です
二次復元をこっちに乗り換えるのはアリだな・・・

>>72

M5 pro 18CPU 20GPU 48GBで
2時間作品一本通すと大体160fpsぐらい
設定はちょっと前に出したおすすめ設定にして
検出モデルはv4-fast-coremlで

>>73

Macは行き詰まってます

>コミュニティ版(LightX2V)の内容とFlashVSRでやった高速化手法を取り込んだら

教えてください

>>75
SwiftVRのローカル版でやった最適化はデバイスに依存しないメモリ削減と、CUDAを前提とする高速化
MPSで使えるのは前者だけの見込みだけどMac持ってないので試せないっす
(1) デバイスに依存しないメモリ削減
次の4つはPyTorchの標準的な演算だけで書かれており、CUDA専用のAPIを使っていない
・ReAEのフレームバッチ処理（出典：LightX2V）
　状態を持たない層を数フレームずつ処理し、出力は1つの確保済みテンソルに書き込む
・decoderの分割（出典：LightX2V）
　最後のTGrowまでの状態を持つ部分を先に実行し、捨てるフレームを除いてから、フル解像度の後半を実行
・TGrowとUpsampleの順序入れ替え（出典：独自）
　TGrowは空間方向に点ごとの演算なので、nearestのUpsampleと順序を交換でき、4分の1の画素数で実行できる
・QKV融合後の元の重みの解放（出典：独自）
　融合前のQ、K、Vの投影を解放（約2.6GiB）

つづき
(2) CUDAを前提とする部分
以下の4つの施策は、いずれもCUDAでしか効果がない
・cuDNN attention：名前からわかる通りNVIDA GPU専用
・FP8 DiT：torch._scaled_mm はCUDAとROCm専用で、TritonはMetalに対応してない
・DiTのfusion（torch.compile）：WindowsとLinuxでは、InductorがTritonのカーネルを生成
・ReAE fusion：torch.cudnn_convolution_relu と torch.cudnn_convolution_add_relu はCUDA専用

>>76

ありがとうございます

今まで4KVRしか試してなかったのでデュアルフィッシュアイに変換した時の画質についてはよくわからなかったけど、8K匠で試してみることにした
8K匠はhevc59.94fpsで出力も同じなので、元動画の映像ビットレートを1.5倍（ハードエンコによる画質低下等も考慮）したビットレートを指定した
映像最大ビットレートは取得できなかったが、先ほどのビットレートをさらに1.5倍したものを最大ビットレートとして指定した（これに伴い-cqの指定はやめた）
なお、丸い映像の外の部分を黒にしたのは、そこに映像があるとその部分に無駄にビットレートを割いてしまうのでそれを避けるため

ffmpeg -i input.mp4 -vf "drawbox=0:0:iw/2:ih:black,drawbox=iw/2:0:iw/2:ih:black,v360=hequirect:fisheye:in_stereo=sbs:out_stereo=sbs" -c:v hevc_nvenc -rc vbr -b:v 174000k -maxrate:v 261000k -c:a copy output.mp4

ファイルサイズは、元の動画の約1.47倍になったのでだいたい計算通り
とりあえず、jasnaで「SBS-左右別処理」にかける前にQuest2で見比べたが、画質の劣化は感じられなかった
ちなみに、jasnaで「SBS-左右別処理」（cq22）すると、映像ビットレートは56.8Mbps、映像最大ビットレートは220Mbpsに落ちたのでもっとcqの値を下げた方がよさそうだ
いずれにせよ、適正なビットレートを指定すればデュアルフィッシュアイで十分な画質が得られるので >>70 の処理までは必要ないと思った

Jasna有料の静止画をSD1.5で変換するのって、アニメCGとかでも
元の構図を維持したままモザイク下だけ修正してくれますか？
あまり大きく変わるようならStable Diffusion Web UIでi2iにかけた方が良いんだろうけど
Discordの入り方がよく分からないから投稿サンプルとか見てみたいです・・・

>>80
やってる事自体はi2iのinpaintと同じ
モザイク検出してマスクするのを自動でやるってだけ
ただSD1.5なんで除去後の品質はそれなり

swiftVRすごいな。

現状のMacではチラツキが残ってちょっと目障りだけど、
解像度はめちゃ上がる。
チラツキ対応中。

2xで6fpsぐらいまで落ちるのは仕方ないか。

試しにJasna modi版でSwiftVR二次復元作ってみたけど二次復元目的だと微妙なことがわかった
Scale 2xは速くて、テストに使った1080p動画では一次復元だけの時間に比べて2.5倍位の所まできた
ただしSwiftVRの場合、256px→512pxの2倍拡大ケースで時間安定性が下がる性質があった
(タイルサイズ×スケールが1024より大きくないとダメ)
2xの結果は目視ではっきりわかるくらいにチラつくので実用する場合はscale 4x指定が必要
4x常用だと少ないVRAMのGPUには不利だし、FlashVSRで2xの運用でいいかなと思った

＜参考：RTX5080+Linuxでの実験結果 入力は1080p動画(4203フレーム)＞
　Reference：22.2s (一次復元だけ)
　SwiftVR 2x：53.7s
　SwiftVR 4x：136.4s
　FlashVSR 2x：129.6s (--flashvsr-accel 指定)

>>83

windowsでも同じなんですね。

2xの揺らぎが収まれば、と思って色々試しています。

>>84

Linuxって書いてあったwww

ごめんなさい

>>84
このScale 2xの特性はOSによらないと思うよ
何かいい方法が見つかったら教えてください