【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

>>413
2Dってモデルどうしてる？自前？

自分は課金の支払いは安全なVプリカで支払った。

4KVRだがrfdetr-vr-v1で取りこぼす魚眼モザがrfdetr-v6-largeなら出来たりするな
VRでもlarge使った方がいいかなあ

>>420
さすがに自撮りはしないでしょ。

>>413
個人的にはあまり変わらない(好みのレベル)と感じてる
課金するかどうかはご自由に

>>409
Discordのフォーラムとかあったら教えて～

413です、返信してくれた人達ありがとう。課金はもう少し様子見ます。

v0.9のVR魚眼検出力がv0.8に比べて落ちていると思う。
rfdetr-vr-v1でもrfdetr-v6-largeでもいまいちだが
同じzelefans-vr-yolo-v2(lada_vr_mosaic_detection_model_v2_accurate.pt)を使っても
v0.9はv0.8より悪かった

おま環なのかもしれんが、v0.9.1Windows／VRAM12GB／8k60fpsVR／クリップ60／BasicVSR++コンパイル＝オフで
・rfdetr-vr-v1／zelefans-vr-yolo-v2はスタートするが途中でメモリ不足になる
・rfdetr-v6-large／rfdetr-v6は100％完走おめでとう
勘違いしている人がいるかもしれないが、BasicVSR++コンパイルの設定は復元モデルのみで検出モデルはこの設定に関係なくコンパイルされる
復元は検出されたモザ部分だけにしか適用されないので全体からの比率は低く、この設定をオフにしても全体としてのスピード低下は少しだけ
逆に言うと、全体のスピード低下が少しだけなのでこの設定があるわけで、もし大きく遅延するようなら最初からそんな設定は実装されない
ただし、画面全体にモザがかかっているような特殊な動画なら大きく遅延するだろうけど

>>423
2D＝アニメの事だと思ったのだ。VRではないという意味だったのかね。
アニメ用のモデルがどこかにあるのかなと。

自前モデル学習

4060で8KVRいけるかな？いけるなら課金したい

すんません、VRAM12GBで8kVRですが試した動画の全パートで「SBS-左右別処理」でも「SBS+魚眼」でも完走しました
しかし、別の8kVRでやってみると、今度は全パートでメモリ不足になりました
さらに別の8kVRでは、またまた全パートで完走しました

3つ共、HEVC／59.94fps／8192x4096だったのですが、どうやらビットレートによるものだと思われます
映像の平均ビットレートが15.9Mb/sと23.1Mb/sは完走、29.5Mb/sはメモリ不足でした
映像の最大ビットレートが30.2Mb/sと59.2Mb/sは完走、60.3Mb/sはメモリ不足でした

>>431
RTX4060は8GBなので8kVRは完全に無理ぽ
RTX3060の12GBなら動画によってはいけるかと思われ

ビットレートによっていけるのだとすれば、分割⇒個別処理⇒結合というルートではなく、
再エンコードでビットレートを下げる⇒jasna GUIで処理というルートも見えてくるな
メモリ不足になる8KVRで試してみよう

>>432
失敗した動画でビットレート下げて確認した？

fisheyeは枠みたいなのが残るから
分割方式で処理するしかないか
しかし捗ってありがたい

新しいバージョン出て、旧バージョンから乗り換えたら、いつもはじめのコンパイルに何回か失敗して、何回もコンパイルを試さないと使えないのだが、こんなものなんかな？v9.1は、失敗続きで、中々走らない。何か設定が悪いのかな？

>>435
失敗した動画から1分間を切り出して再エンコードしてビットレートを平均・最大共に完走した動画よりも下げてみたけどメモリ不足になった
ビットレート違うんやったんかい！ということでふりだしに戻る

>>437
でかいファイルでやってない？
Assetsの中に短いファイルがあるから、それでやってみたら？

謎はすべて解けた!!

VideoのBit depthが10bitsならメモリ不足、8bitsなら完走でした
ffmpegで「-c:v hevc_nvenc -pix_fmt yuv420p -profile:v main」をつければおｋ

「-profile:v main」はなくてもいけました

今更なんだけどjasnaてジャスナて読むのとヤスナて読むのとどっちが正解？

JASCOをジャスコと読まずにヤスコと読むか？はいー！それと同じでヤスナはないだろ

JAPANヤーパン

>>437
環境書かないと誰も何もわからないと思うぞ

ただし、映像のBit depthを8bitsにするだけで完走できるわけではないです
やはり、映像のビットレートが高過ぎると、その時点でメモリ不足になります（上限は60Mb/sぐらいのようです）
もし、最大ビットレートを60Mb/sに制限したいなら、ffmpegで再エンコードする際に「-maxrate:v 60000k」を入れます（もう少し下げる方が安全かも）
また、ビットレートに上限があるので、同じビットレートで高画質になるようにh264よりhevcを使うのがお勧めです

【コマンドライン例】
ffmpeg -stats -i input8kvr.mp4 -c:a copy -c:v hevc_nvenc -pix_fmt yuv420p -rc vbr -b:v 30000k -maxrate:v 60000k output8kvr.mp4

0.9.1 rfdety-v6 検出しきい値0.35で大分モザ残りというか全くモザ消えない動画があり
試しにしきい値を0.1まで下げてもまだモザ残りがある
0.8.1からコピーしたzelefanz-vr-yolo-v2でしきい値0.1で処理すると全くモザ残りが無くなる

作者おすすめrfdety-v6 検出しきい値推奨0.35はオレのところでは使えない

お勧めというよりh264は最大で4kまでだからそもそも8kでは使えないよ。

>>447
Segment Editorでrfdetr-v6を使って、そのうまく行かない動画でモザのスキャンをかけて
検出ダメだったところを「より良いマスクを提案する」機能で輪郭書いて送ると今後のモデルの改善に協力できるぞｗ

[h264_nvenc @ 00000265fa1d1480] Width 8192 exceeds 4096
なるほど、勉強不足でした
ご指摘ありがとうございました

av1_nvencでもいけるかどうか今度やってみよう

8K VR を Windows版 jasna で実行する際の VRAM 目安

RTX 5080 16GB / v0.9.1 で 8192x4096 の VR 動画（sbs-fisheye、検出 rfdetr-vr-v1、2次復元なし）を回して測ってみた
数字は jasna 単体なので、デスクトップ分の 1.5〜2GB が別途乗っかる点は注意

■ upstream 版そのまま
・8bit 動画で 12.3GB、10bit だと 13.9GB　→　実質 16GB以上必要
・16GB あれば 10bit ソースも完走できるものあり

■ modi 版でメモリ削っていくとここまで行ける
modi フォークには VRAM 削減系のオプションを足していて8bit ソースだとこんな感じ
・デフォルト（≒upstream）: 12.3GB → 16GB カード
・--fp8-recon を足す： 11.8GB → 16GB カード
・さらに torchcodec + CUDAGRAPHS off： 9.0GB → 12GB カードでいける範囲
・さらに --batch-size 1 --max-clip-size 20： 6.2GB → 8GB チャレンジ枠

8GB でチャレンジするならこれで動くかも(実際には試してない)

set JASNA_TRT_CUDAGRAPHS=0
jasna --input in.mp4 --output out.mkv --detection-model rfdetr-vr-v1 --vr-mode sbs-fisheye --video-backend torchcodec --fp8-recon --batch-size 1 --max-clip-size 20

注意点：
・modi版は自力でビルド必要
・--fp8-recon は RTX 40 番台以降じゃないと使えない
・torchcodec は出力が 8bit になる（upstream は 10bit 出力）
・8GB の数字は 16GB カードを上限 8GB に縛って測ったシミュレーション値 実カードだとデスクトップと VRAM の取り合いになるから、ブラウザとか閉じて 6.5〜7GB 空けてから回す必要あり

音ズレするのは30FPSにすればいいの？

>>452
Windows版使ってるから分かんなーい∩(´∀｀)∩

>>447
それは、rfdetrの特徴である顔モザイクと誤認識して残しているケースじゃないの？
個人的には、これがあるからrfdetrは避けていたんだけどな

まず、av1_nvencでも当然ながらおｋです
ただし、hevc_nvencと同様に、映像のビットレートが上限を超えるとメモリ不足でそこで試合終了です

当方の環境で試してみたら「-maxrate:v 60000k」／「-maxrate:v 59500k」では残念ながらダメでした
>>432 の時に映像の最大ビットレートが59.2Mb/sの8kVRで完走しているので、少し余裕をもって
「-maxrate:v 59000k」なら大丈夫だと思われます（動作している他のソフトなどにもよる）

0.9.1に同梱されてるyolo-v4と0.8に同梱されていたzelefanz-vr-yolo-v2て差あるかな？

>>457
試してみればいいのでは？

VRAM8GBで8K処理できるようになったらいいなあ
処理速度を犠牲にしてとかでできないかなあ

>>459
>>451 と 452 参照
modi版動かすスキルが必要だけど、速度と品質犠牲にすればVRAM 8GBでも可能性はゼロでは無いと思う

>>459
NVIDIAの3D設定のフォールバックポリシーをデフォルトに変えてやってみては？
4KVRだけど0.9.1でもVRはいまいちだったから8K試してないけど
自分はRTX3070のVRAM8GBで0.8.0や0.8.1の時に2D4KでVRAM足らなかったけど
足らない分は勝手にメインメモリーで補って破壊してくれて
JASNA起動時のシステムチェックで警告出るけど無視して使っても問題無かったよ

>>459
分割処理でladaで破壊すればいける
jasna使う前は並列で処理してた
片面6gbも使ってなかった記憶

>>457
>>458 この投稿をヒントにしてw
jasnaのSegment Editorの中から呼び出せる、検出モデルと復元モデルのA/Bテストをやる機能作ってmodiブランチに追加してみた

プレビュー下の A/B 比較… ボタンから、検出モデルと復元モデルの組み合わせを 2 つ左右に並べ、同じフレームで見比べられます
モデルを世代交代するときや、ファインチューンしたチェックポイントを試すときに、動画全体を 2 回処理せずに数秒で差を確認できます

・表示は 3 モード: 復元（復元後のフレーム）、検出（検出マスクのオーバーレイとスコア）、クリップ（短い再生を左右同期で比較）
・各側で検出モデル・信頼度・復元チェックポイント（model_weights 直下の .pth）を選び、実行で両側を順に処理します
・ズームとパンは左右のペインで常に同期します

今まで確認用クリップ切り出し→検出モデルや閾値変えて処理→GridPlayerで結果を並べて再生して見比べ、みたいなワークフローで比較してたけど、
jasna+modi単体で閉じるようになってスッキリした 8K VR 60fps動画(8bit)でも動作確認はしてある

>>459
lada-exでtensorrtや二次修復やパイプラインとかオプション使わなきゃ大丈夫じゃないかな。

>>464
lada-exで高速化オプション・二次復元使わずに、8K VR 60fps動画(8bit)をそのまま--vr-mode VR180 --vr-fisheyeをつけて実行してみたけど
--max-clip-length 30まで減らしてもタスクマネージャー読みでVRAM 9.6GB消費してた(デスクトップ分込み) メインメモリも22GB位消費してる
OOMは起きてないのでメモリたくさん積んでいればワンチャンある？
ただし遅いw RTX 5060ti 16GB+Ryzen 7 5700Xで3fpsくらいしか出ない

macOS専用 mioh-universal

すみません、M1での動作検証をしていませんでした。
M1 Mac mini 16GBで動作検証しました。
最初導入時にモデルのダウンロードや変換でちょっと時間がかかります。

ギリギリなんとかリアルタイム再生が我慢できるレベルです。

macOS 27 Public Betaにすれば、python依存をやめてswift ネイティブになり、coreai機能が使えるので、ちょっと速くなるかも知れません。

https://github.com/mioh-labs/mioh

Javpにあったような微妙に綺麗に除去出来ない動画に大して細かいリモザイクかける2次修復あると良いんだけどな

モザ検出もladaのが上で概ね問題ないしらんよそんなん、気が付いた時にyoloとlada試すくらい
それでも取り切れないレアケースなら自分でモザイクかけるなりすればいい

×yoloとlada　○yoloとrfdetr

まぁ検出しても修復がキレイかどうかは別だしね
元の動画がデカモザの場合は2次処理の時にモザイク選べるなら誤魔化し効くからあれば使う時はある

>>465
linux版の場合だけど同様の実行パラメータでは使用VRAMは約6.7GBだった。
動画は8KVRでビットレートは81kbpsのものも12kbpsも大差なかった。

実際にはYouTube観ながらamazonでオシロスコープ探しつつレビューサイトも見てたのでnvidia-smiのVRAM表示は7.2GB付近。5080で4.3fpsくらいしか出ないけど変換しながら長時間YouTube観られるから時間犠牲にして完走というお題は達成可能かと。

v0.9.1の「処理中でも再生可能」をオンにすると、今やっている処理を確認できるのはいいけど、
できあがったmp4を再生すると、再生開始やシーク時に時間がかかったり色がおかしい状態が長くなったりするので、やっぱりオフにした
以前のバージョンでこのスイッチがついていた時もそうだったんだろうか？

>>472
fMP4オプションが追加されたのはv0.9.1から v0.8.1までは別のエンコード方式で処理中は.hevcファイルが出力された
いまissue #268 でその現象が報告されてるけど、動画プレイヤー側のfMP4対応度合いによっては書いてあるような現象が起こるみたい
fMP4に対応しているプレイヤーだと特に問題なく再生できる(Windows標準のメディアプレイヤーとかmpv, vlcはちと怪しい)
出来上がったファイルの互換性を重視するならこのオプションはつけない方がいいかもね

>>427
0.9.1も良くないね。zelefans + jasna0.6.2の組み合わせまで戻した。今のところこれが一番漏れもなく綺麗になる模様。
ただ、検出サイズの不一致で時々エラーになる難点はある。

クラッシュダンプが800MBになってた
ヘビーユーザーはもっと大きいと思うから我こそはの人は見てみてｗ
\AppData\Local\CrashDumps\jasna.exe.xxxxx.dmp

\CrashDumps 自体がなかった
うちのは優秀なんかなw

>>475
　jasnav080で合計4.7GBのCrushDumpをはいていた。
vupしてもDumpファイルは削除されないようなので、エラーがでたら掃除が必要。
　Dumpの理由は、v080でエンコード・パラメータの仕様が変わったため。
v072での指定を引き継いだら盛大にエラーがでた。

>>474
Jasnaの魚眼を使ってから、VR_Video_Toolboxに戻ってみるとVR_Video_Toolboxは画面全体がモヤっとしてくる気がするんだわ
画面全体を魚眼変換して戻すというのは画質にも影響ありなんじゃない？
Jasnaの復元部分だけを元映像に被せるという方式を見てしまった以上、もうVR_Video_Toolboxには戻れん
完全満足じゃないけど魚眼はJasna0.8.1でやるわ

>>478
なるほど、その観点では見てなかった。
変換後にVLCでチェックする際にモザのブロックがたくさん残ってるからQ3で見てすらいなかった。
全体魚眼なら殆どモザの漏れがない検出と復元モデルに変えても漏れが多いのはもしかしたら部分処理のせいかもしれん。

>>478
以前に言ったけど、fisheye分割して処理するなら、equirectに戻して結合するのではなく、dual fisheye（両目〇）結合する方が画質的に有利
dual fisheyeで販売しているVR動画も存在するし、VRヘッドセットで問題なく再生できる

以前、rfdetrが顔モザイク誤検出してモザイク残りまくった動画でテストした

lada-yolo-v4 当然ながらモザイクなし
zelefans-vr-yolo-v2 同上
rfdetr-vr-v1 前のと同じで誤検出しまくり
rfdetr-v6-large 同上
rfdetr-v6 え？誤検出しない・・・と思ったけど最後の1シーンだけ誤検出

2時間ぐらいある動画なのに、時々20～30分で処理が完了するやつがある
モザイクがかかってるシーンが少なくて、Jasnaはスキップしてるのかな？

>>482
モザが検出されなければBasicVSR++の復元処理が走らないからそういうもんだ
--segments を使って範囲指定するとそこだけ処理してそれ以外はコピーするからもっと早くなる

最大検出ギャップかなり効果あるなこれ

2にしろって書いてるけど３以上がいいね

>>485
３以上にするとどう変わるの？
より、無駄なモザイク検出がスキップされる？それとも逆？

最大検出ギャップ
最小検出時間
3－0とかいいと思うけど
6－1にしてるね俺は

>>487 が処理してる動画では、って事だね
誤検知の可能性も積極的に拾いに行く感じか
最大検出ギャップを大きくし過ぎると、たまたま数フレーム先にある別のモザイクとつながってしまい、検出範囲を不必要に広げて復元結果がぼやけるとかの副作用が出る事がある
この辺は動画によりけりと思う

8KのVRをGPUメモリ8GBで、CUDAシステムメモリ フォールバックポリシー の
チェック外れた状態でやってみたけどやっぱりダメだったわ。エラーが出て止まるw

Jasna 0.9.1、最大クリップ数を720とかに増やせるけど、なにか意味あんの？　これ
元々の lada_mosaic_restoration_model_generic_v1.2.pthは30フレーム単位で学習させてるから 30 より大きくしても意味ない
てか、30より大きくすると変なアーティファクトが出やすくなる

>>490
Discordに作者はこんなこと書いてたｗ

数値は上げてみたけど、実際に画質とか見やすさが良くなるかは確認してないな
気になるならA/Bテストしてみればいいと思う
ちなみに俺はクリップ300、オーバーラップ30の設定は試したことない

今は180でオーバーラップ15にしてるけど、リアルタイム再生で使う分には十分満足してる
というか、RTX Super Resolutionはデフォルト設定でも普通に良い感じ

自分はほぼデフォルト設定のまま使ってるけど、1080pも4Kもいい感じに見えてるよ

>>490
今までは最大クリップ数ごとのにTensorRTコンパイルが必要だったが、今はコンパイル時のクリップ数以下に変更する場合はコンパイル不要になった

>>489
破壊処理始めて直ぐにエラーで終了するね
メインメモリーと兼用して処理出来るように改良してくれるとありがたいんだけな
こっちは多少処理時間伸びる程度ならPCほっとくだけだから構わないし

>>493
遅くなっていいんで、処理できるようにしてくれたら嬉しいですね！

やっぱりお手軽にはできないか
上の投稿でアイデアいくつか出てるけど、現状VRAM 8GBで8K VR処理チャレンジにはそれなりのスキルが必要

グラボ買えば解決

>>491
Jasna の作者はlada_mosaic_restoration_model_generic_v1.2.pthがどういう風に学習させて作られているか、全然分かってなさそうだな
最大クリップ数はデフォの60でも多い
Jasna の元になった lada 作者が公開しているモデルの作り方
https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
によれば、lada_mosaic_restoration_model_generic_v1.2.pthってのは動画の30フレームを１つの単位としてモザイク破壊モデルを学習させてる
30より増やしても意味ないし、変なアーティファクトが出やすくなる実害もある

いつものキチガイ

二次修復VSRは修復領域のみの適用で間違いないですよね？
低画質ソースで全体の画質が少しマシになるのは圧縮時の平滑化等エンコーダ側の処理結果か。

iPadに移植できた。

画質はイマイチ。

顔面モザ復元が好きでGUI版使ってんだけど

最大クリップサイズ　10
時間オーバーラップ　4（おれ環ではそれ以上にするとエラー出る）

これが一番復元具合が良いと思うんだがこれは俺の思い込みか？一番リアルな復元になると思うんだが...
クリップサイズ上げるとエッジは立つけど顔がギラギラしてエイリアンになるんよ

>>501
30で14 にするのが一番いいよ

>>502
ありがとう。試してみるわ

顔モザ用チューニングｗ
ちなみに最大クリップサイズと時間オーバーラップの関係は以下の通り

時間オーバーラップ＜最大クリップサイズ　かつ　2×時間オーバーラップ＜最大クリップサイズ

jasnaはこれを起動時にチェックしている
なので最大クリップサイズが10と30の時に指定できる一番大きな時間オーバーラップがそれぞれ4と14になる

なお、最大クリップサイズが小さい場合、伝播で集められる時間文脈が減るため、
極端に小さいと実質単体フレームでの復元に近づき、ディテールが弱くなるそうだ
あと、処理時間も増える 「VRAM と GPU 使用量の調整」参照

lada_mosaic_restoration_model_generic_v1.2.pth は stage1 の BVSR++ の学習をフレーム数30 で学習してる
だから最大クリップサイズを30より大きな値にすると、いわゆる「外挿の推論」になってしまう
例えて言うなら、過去３０日分の株価のデータから未来の株価を予測するようなもの
明日の株価はある程度の範囲で当てられたとしても、30日後の株価の予想なんてぜんぜん当てにならない
Jasnaの設定はまさにこれ
最大クリップサイズを30から大きくすればするほど変なアーティファクトが目立つようになる
最大クリップサイズを30にして、かつ、オーバーラップを14にすることで内挿の推論のみ、かつ、オーバーラップで二重に処理することになり、解像感が一番良くなる

とある動画がrfdetr-v6でまさかの全スルーされたけどyoloはちゃんと拾ってくれた
やっぱyoloやな

>>504
>>505
なるほど。顔モザ派としてすごく勉強になる
復元に重きをおくなら30/14が現状一番良いという事か

>>506
実写？ アニメ？

>>508
実写のちらつきが全くないタイプのモザイク

現バージョンJasdaだとlada_mosaic_detection_model_v4_fast.ptのリネームどうしてる？
まだV4使ってる人みかけるからもう一度入れておこうかと

すまん、そのままでいいのか
accurateを入れる場合はリネームとかだっけか昔過ぎて忘れてるわ

>>511
vr用のv2_accurateは lada_vr_mosaic_detection_model_v2_accurate.pt という名前でjasnaのv0.8.0〜v0.9.0まで同梱されてたがv0.9.1で同梱されなくなった
使いたかったら前のバージョンからファイルをコピって、detection modelを zelefans-vr-yolo-v2 にすればおｋ

ありがとうVRの話になってるけどVR持ってません

名前にVRがついているだけだから気にしなくてよいよ 別にzelefans-vr-yolo-v2はVRのビデオにしか使っちゃダメとかないから
このモデルで処理した結果と他のモデルで処理した結果を見比べてみれば自分にとってどれが良いかがわかるさ

>>507
自演する亡き違い

>>497
そんなことあるか？と試したけど180の方が良い気はした
気のせいか？

単フレームだからただディティール落ちるだけ

今の復元モデルを作ったlada作者も自分のコードで--max-clip-lengthのデフォルト値を180にしてるんだよね

今年あまり触らずにいたが久しぶりに入れてみるか
進化が楽しみ

皆さんモザイク破壊する前の動画って消してる？