【超解像】Lada part6

つづき
(2) CUDAを前提とする部分
以下の4つの施策は、いずれもCUDAでしか効果がない
・cuDNN attention：名前からわかる通りNVIDA GPU専用
・FP8 DiT：torch._scaled_mm はCUDAとROCm専用で、TritonはMetalに対応してない
・DiTのfusion（torch.compile）：WindowsとLinuxでは、InductorがTritonのカーネルを生成
・ReAE fusion：torch.cudnn_convolution_relu と torch.cudnn_convolution_add_relu はCUDA専用

>>76

ありがとうございます

今まで4KVRしか試してなかったのでデュアルフィッシュアイに変換した時の画質についてはよくわからなかったけど、8K匠で試してみることにした
8K匠はhevc59.94fpsで出力も同じなので、元動画の映像ビットレートを1.5倍（ハードエンコによる画質低下等も考慮）したビットレートを指定した
映像最大ビットレートは取得できなかったが、先ほどのビットレートをさらに1.5倍したものを最大ビットレートとして指定した（これに伴い-cqの指定はやめた）
なお、丸い映像の外の部分を黒にしたのは、そこに映像があるとその部分に無駄にビットレートを割いてしまうのでそれを避けるため

ffmpeg -i input.mp4 -vf "drawbox=0:0:iw/2:ih:black,drawbox=iw/2:0:iw/2:ih:black,v360=hequirect:fisheye:in_stereo=sbs:out_stereo=sbs" -c:v hevc_nvenc -rc vbr -b:v 174000k -maxrate:v 261000k -c:a copy output.mp4

ファイルサイズは、元の動画の約1.47倍になったのでだいたい計算通り
とりあえず、jasnaで「SBS-左右別処理」にかける前にQuest2で見比べたが、画質の劣化は感じられなかった
ちなみに、jasnaで「SBS-左右別処理」（cq22）すると、映像ビットレートは56.8Mbps、映像最大ビットレートは220Mbpsに落ちたのでもっとcqの値を下げた方がよさそうだ
いずれにせよ、適正なビットレートを指定すればデュアルフィッシュアイで十分な画質が得られるので >>70 の処理までは必要ないと思った

Jasna有料の静止画をSD1.5で変換するのって、アニメCGとかでも
元の構図を維持したままモザイク下だけ修正してくれますか？
あまり大きく変わるようならStable Diffusion Web UIでi2iにかけた方が良いんだろうけど
Discordの入り方がよく分からないから投稿サンプルとか見てみたいです・・・

>>80
やってる事自体はi2iのinpaintと同じ
モザイク検出してマスクするのを自動でやるってだけ
ただSD1.5なんで除去後の品質はそれなり

swiftVRすごいな。

現状のMacではチラツキが残ってちょっと目障りだけど、
解像度はめちゃ上がる。
チラツキ対応中。

2xで6fpsぐらいまで落ちるのは仕方ないか。

試しにJasna modi版でSwiftVR二次復元作ってみたけど二次復元目的だと微妙なことがわかった
Scale 2xは速くて、テストに使った1080p動画では一次復元だけの時間に比べて2.5倍位の所まできた
ただしSwiftVRの場合、256px→512pxの2倍拡大ケースで時間安定性が下がる性質があった
(タイルサイズ×スケールが1024より大きくないとダメ)
2xの結果は目視ではっきりわかるくらいにチラつくので実用する場合はscale 4x指定が必要
4x常用だと少ないVRAMのGPUには不利だし、FlashVSRで2xの運用でいいかなと思った

＜参考：RTX5080+Linuxでの実験結果 入力は1080p動画(4203フレーム)＞
　Reference：22.2s (一次復元だけ)
　SwiftVR 2x：53.7s
　SwiftVR 4x：136.4s
　FlashVSR 2x：129.6s (--flashvsr-accel 指定)

>>83

windowsでも同じなんですね。

2xの揺らぎが収まれば、と思って色々試しています。

>>84

Linuxって書いてあったwww

ごめんなさい

>>84
このScale 2xの特性はOSによらないと思うよ
何かいい方法が見つかったら教えてください

>>81
やっぱりinpaintでやった方が無難ですかねぇ　XLに対応してくれれば良さそうですけど


アニメ動画の方だとJasnaとladaでは誤差程度の仕上がりになるけど、だいたい20作に1作くらいの割合で
Jasnaの方がチラつきとモザイク取りこぼしが抑えられて少し綺麗ってのはできますね
ただ全体的に違いがはっきり分かるほど劇的に綺麗ってレベルではない
2Dに関しては後で改善されたverが出た時、確実にやり直すハメになるだろうから
一番好きな作品にだけJasnaかけた方が良いかも

>>86

フリッカー取れたよ。

https://uu.getuploader.com/douzinsi12/download/241

PASS:0143

素朴な疑問なんだけどアニメの場合破解したらこうだったパターンってないのかな
https://pbs.twimg.com/media/EtNwDTMVcAArvt-?format=webp&name=large

>>88
サンクス！
テストで使ってる1080p動画で測ったら、Scale 2xの揺れがScale 4xとほぼ同じレベルまで落ちた
ボケだけ揃えた比較基準用の結果じゃここまで下がらないから、安定化の効果で間違いない
素のSwiftVRが枠の跳びに半分くらいしかついてきてないのも確認できた
「輪郭が太く細く」の正体はたぶんこれだと思う
教えてもらった方法をJasna modiに組み込む方向でやってみる

>>90
利用者です
VRAM 12GBなのでオフラインモードの追加を待ってます

>>90

よかった。

しかし、
SwiftVRこれ凄いよね。
正直感動してる。

二次復元今までうまくいかなかったから。

mioh for mac

swiftVR採用のROIエンハンサー搭載バージョン公開しました。
試してみてください。
モデルは全部構築し直しで面倒臭いと思うけどよろしくです。

ko-fiも待ってます。

https://github.com/mioh-labs/mioh

すごいことに気づいてしまったかもしれん
モザが斜めっていて魚眼であることは間違いないけど、処理すると下方左右のモザが残ってしまうやつあるけど、その対処方法
デュアルフィッシュアイに変換すると、左右の〇の横が短くなるVR動画があった（見分け方は左右の黒い部分が縦に長いVR動画）
縦はそのままで横を長くするにはどうすればいいかというとh_fovの値をデフォルトの180よりも小さくすればいいが、この動画の場合162で横ピッタリになった
モザを掛けているのはこの横ピッタリの画面の時のはずなので、要するにこの時モザは□になっている（つまり、h_fov=180では□にならない）
さて、この162という数字は何だろうと思ったが、これも色々と考えたらわかった
ヘッドセットで魚眼のVRを再生する時、SKYBOXでも4XVRでもなにやら 180°190°200°220°とあるじゃないすか？
結論だけ言うと、h_fov=180×180÷[魚眼角度] で横ピッタリになるので、162になるのは200°ということになる（どうしてこうなるかは考えてみてね）
当然180°は180°（デフォルトなので省略可）、190°は171°（170.5°）、200°は162°、220°は147°ということになる
具体的にはデュアルフィッシュアイ変換時にフィルターの記述にh_fovの設定を挟めばいい

-vf "drawbox=0:0:iw/2:ih:black,drawbox=iw/2:0:iw/2:ih:black,v360=hequirect:fisheye:h_fov=162:in_stereo=sbs:out_stereo=sbs"