【超解像】Lada part6

前スレ
【超解像】Lada part5
https://egg.5ch.io/test/read.cgi/software/1782703217/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>24
これ以上のSeedVR2+LoRAのディテール改善は自分には無理っぽいので諦め、FlashVSR二次復元の方をさらに改良した
--flashvsr-accel: FP8でFlashVSRを高速化(すまんがRTX40系以降とfork版sh202603/FlashVSR_plusが必要)
・FlashVSR単体だと3〜4割速くなってる(対応してなきゃフォールバックして従来通りの挙動になる)
・RTX5080で1080pを二次復元scale x2指定して通しで回すと162秒→127秒で、VRAM消費も1.4GB減った

--flashvsr-lora: 毛の過剰ディテールはFlashVSRの癖なので、それを多少緩和するLoRAを作った
・inline専用でaccelと併用できる
・LoRAを使っても5%くらいしか遅くならない

詳細はドキュメント参照してください

必要なリソースが見つかりません: Swift native detection model: v4-fast-coreml
と出てエラーが出てしまいますが、何か対策はありますか？

>>45

モデルをダウンロードして、mac専用に変換しないといけません。
同梱している.zshファイルを実行してください。
osは27にしてね。

>>46　
ありがとうございます。起動はできたのですが20%らへんのところで
Swiftネイティブプレビューを開始できませんでした: Cannot Decode
mioh-native-coreai-preview: Cannot Decode
と出てエラーになってしまいました。
ネイティブプレビューというのは何なのでしょうね？

>>47

動画が壊れてません？

一応ladaとかだと問題なかったんですよね・・・
比較しようと思って実行したので。
他の動画で試してみますね

あ、もしかしたらOSアップデートしてから動画とか開いてなかったのが原因かも？

ありがとうございます。無事解決しました。

>>51

よかったら、環境とか、報告いただけるとありがたいです。

>>52
mac book pro AppleM4 16GBです
大体30分くらいの動画で３０〜１時間で処理が完了しました。

>>53

おすすめ設定で、ですかね？

ネイティブ並列数を最大にしたら、速くなるかも。

M1 Mac mini 16GBでほぼ等倍です。

>>53

あと、３つの一時フォルダは可能な限り外部で。

>>54　
ありがとうございます。試してみますね。

>>55
あ、おすすめ設定にしてました。
外部というのは、外付けHDとかって意味でしょうか？

>>57


はい、外付けです。

>>58
ありがとうございます。HDはなぜかアクセス権が与えられなかったのですがSSDだとできました。
確かに、速度が全然違いますね

>>59

ログを見るとfpsがわかるので、
また知らせてください。

>>60
60~180fpsと結構差がありました

>>61

大体

180fpsはモザイクの無いところ
60fpsはモザイクのあるところです。

30fpsの動画を復元すると2倍速ですから、
lada環境から比べると雲泥の差です。

>>62
すごい速度ですね
こちらの方が顔モザイク検出機能もありますしね

>>63

顔モザイクは動くかどうかわかりません笑

mioh

ネイティブ並列数を10まで増やしました。

M5 maxやultraなら400とか500とかfps出るような気がします。

どなたか試してもらえませんか？

魚眼VRでzelefans-vr-yolo-v2を使って「SBS+魚眼」すると下方左右でモザ残りが発生するし、rfdetr-vr-v1でも結果はいまいち
で、色々試してみた結果、最初にデュアルフィッシュアイに変換してからzelefans-vr-yolo-v2で「SBS-左右別処理」するのが最も良い結果となった
もちろん、元の柱状投影に戻さなくても、デュアルフィッシュアイのままで再生できる
【デュアルフィッシュアイへの変換コマンド例】

ffmpeg -i input.mp4 -vf "v360=hequirect:fisheye:in_stereo=sbs:out_stereo=sbs" -c:v hevc_nvenc -cq 22 -c:a copy output.mp4

デュアルフィッシュアイは周辺部分の歪みが少なくなるので、普通に2Dとして再生した時に結果の確認もやりやすいし、なんなら、2D再生して楽しむこともできる