【超解像】Lada part7

前スレ
【超解像】Lada part6
https://egg.5ch.io/test/read.cgi/software/1789682962/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

ハカイダーが集いし次スレはここですか・・・

v2_accurateってまだいるん？

>>3
他の検出モデルだとしきい値下げても取りこぼしが出やすい
アニメとか古めの映像には効く

>>1　乙です。結局コピペしたのかｗ んじゃ補足。

>>1のリンク先には既にいわくの検出モデルと除去モデルは置かれてません。
以前に出回ってた *detection_model* *restoration_model* も0.11.1以降にまんまコピペするとBasicVSR++が動かなくなります。
ファイルを持ってる場合の適用方法は以下ご参考。

(1)前スレ>>641のコピペ
> BasicVSR++ 復元モデルの V1.2_full が jasna v0.11.1 から読み込めなくなった件
> 対応方法をmodi版の docs/ja/models.md の付録に書いた
> 今のjasnaでもV1.2_full版使いたい人がいたら見てみて

(2)前スレ>>646のコピペ
> つ ttps://github.com/sh202603/jasna/blob/modi/docs/ja/models.md

上記がわからん場合の参考手段
(3)前スレ>>612のコピペ
> 手はあったｗ
> AIにBasicVSR++のV1.2_fullファイルをweights_only=Trueで読み込めるよう変換してって頼めばやってくれると思う
> Claude Codeでは出来た

投稿してくれた有志へ感謝 ( ´∀｀)人(´∀｀ )

Nvidiaの多くのグラボは性能をソフトで封印されていた…解除で2倍と日本人歓喜
https://greta.5ch.io/test/read.cgi/poverty/1792982067/
Linux､3000シリーズのみ？

LTXはVRにも使えるよね、時間は解像度に応じてかかるけど
もちろん、LTXの場合はVRモードは使えない（BasicVSR++を使えとエラーが出る）
VRモードを自動にした場合は2Dと検出されるといけるが、VRだと検出されるとやはりエラーが出る

魚眼ではないSBSはVRモードをオフにしてLTX2Dモードでやればいい
左右一緒にやるのが気に食わないなら、昔のzelefansの方法でやればいい（さらに時間と手間がかかるが）

魚眼のSBSは前スレの79に書いたように
ffmpeg -i input.mp4 -vf "drawbox=0:0:iw/2:ih:black,drawbox=iw/2:0:iw/2:ih:black,v360=hequirect:fisheye:in_stereo=sbs:out_stereo=sbs" -c:v hevc_nvenc -rc vbr -b:v 174000k -maxrate:v 261000k -c:a copy output.mp4
（入出力ファイル名と2つのビットレートは適宜変更）で(dual)fisheyeに変換した後、LTX2Dモードでいける（元のhequirectに戻さなくても再生可能だし、そのまま見ても楽しめる）
品質は2D素材よりは落ちるがBasicVSR++とは比べ物にならない

豊彦系で、LTXで処理すると、どうしても少しだけモザイク残り
する動画があった。
どうにかならないかと、パラメータを検証してみた。
最初「検出モデル」や「検出しきい値」が怪しいと
試行錯誤してみたが、直らず。
しかたなくその他を試してみたら「大きなモザイクをより鮮明に」が
原因だった。これをOffにすることでモザ残りは解消した。
ほかの動画は大丈夫なので、豊彦系のモザイクだけが特殊なんだろうね。

>>7
非魚眼の外周部はLTXでやるとBasicVSRよりモヤモヤになってしまうことがよくあるわ
非魚眼は諦めて、魚眼だけ別途変換でやったほうがいいと思った

4KVR60fps1作品に5080で7時間近くかかったvram消費量は分割処理で12gb
出来は従来のものよりかなり良かった
いずれ8KVRも破壊できたらいいな

画像生成にハマって出遅れたけどLTX試した
こんなん猿になるわ
いままで駄目だった奴も軒並み破壊しよった

生成とは別腹なのよねコレ
人間のスケベの業の深さを身を持って体感だ

>>9
魚眼じゃないのは周辺部分がひん曲がった状態で処理するので仕方ないですね
まさか、魚眼の方が有利になることがあるとは以前は思いもしなかったですけど

そのまま変換すると魚眼の外側にゴミが出てしまうので >>7 のようにdrawboxを入れたけど、入れると変換処理時間が2倍かかるので、速い方法を考えてみた
思いついた方法では、枠の透過pngを作成してオーバーレイするのが最も速かった（そのまま変化よりは遅いけど）

・枠の透過png「waku.png」を作成
ffmpeg -i input.mp4 -vframes 1 -vf "drawbox=0:0:iw:ih:black:fill,drawbox=0:0:iw/2:ih:white,drawbox=iw/2:0:iw/2:ih:white,colorkey=black,drawbox=0:0:iw:ih:black:fill" waku.png
・「waku.png」をオーバーレイ処理した後に変換
ffmpeg -i input.mp4 -i waku.png -filter_complex "overlay=0:0,v360=hequirect:fisheye:in_stereo=sbs:out_stereo=sbs" -c:v hevc_nvenc -rc vbr -b:v 174000k -maxrate:v 261000k -c:a copy output.mp4

>>12
ほんまそれ
やりたいこと増えすぎて日中の仕事めっちゃ集中して終わらすようになったわｗ
小走りに家に戻る理由がコレとかアレとかｗ

5000番台にしたなら高速モードを試さなきゃってことで以下でした。
Jasna
FHD 21秒 処理 4分38秒 → 2分17秒 → ON 2分10秒
FHD 3時間 処理 28時45分 → 14時24分 → ON 13時08分

短いのは誤差程度だけど、長尺は1時間強変わるとありがたい！

SBS HequirectからデュアルFisheyeへの変換はみんさんやっていたのですね。私は2種類の変換方法を1つのshellスクリプトに組み込んで動作モードやfov、エンコードなど指定するようにしていますが以下はパラメータは固定してあります。
まずは１つ目。

[SBS HequirectからFisheye]
ffmpeg -hwaccel cuda -threads 4 -i input.mp4 -filter_complex "[0:v]crop=w=iw/2:h=ih:x=0:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=fisheye:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180[left]; [0:v]crop=w=iw/2:h=ih:x=iw/2:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=fisheye:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180[right]; [left][right]hstack=inputs=2[v]" -map "[v]" -map 0:a? -c:v hevc_nvenc -preset p5 -cq 20 -c:a copy output.mp4

これでi7-14700K+5080でだいたい60fpsくらいの変換速度。

2つ目。
[SBS HequirectからStereographic 中央付近が伸びるのでここではアスペクトを0.96にしています]

ffmpeg -i input.mp4 -filter_complex "[0:v]split=2[left_src][right_src]; [left_src]crop=w=iw/2:h=ih:x=0:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=sg:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180,scale=iw:trunc(ih*0.96/2)*2:flags=lanczos,pad=iw:ih/0.96:0:(ih/0.96-ih)/2:black[left_sg]; [right_src]crop=w=iw/2:h=ih:x=iw/2:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=sg:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180,scale=iw:trunc(ih*0.96/2)*2:flags=lanczos,pad=iw:ih/0.96:0:(ih/0.96-ih)/2:black[right_sg]; [left_sg][right_sg]hstack=inputs=2[out]" -map "[out]" -map 0:a? -c:v hevc_nvenc -preset p5 -cq 20 -c:a copy output.mp4

これでi7-14700K+5080でだいたい18fpsくらいの速度。

v360のStereographic射影は全体印象としては変ですが動画によっては臨場感が凄いです。この状態でRTX PRO5000でltx良好画質、高速モード無し、重なりを減らすONで変換かけると4K動画なら実時間の6倍くらい。なぜか8Kも試した動画では同じくらいの時間。VRAM使用量ピークは4Kで24GBくらい、8Kで38GBくらい。5080では4KでもOOMが時々発生するので検出精度も含めて左右片面処理のほうが良さそう。

zelefansのGUIで分割魚眼化結合だけやってる
CEはなぜか動画がスムーズにならないので
通常のVRtoolを使う

前スレのmacの質問のひと

このエラーは、ROI Refine のモデル選択で、pack のフォルダではなく、その中の blocks/group00.aimodel を選んでいると出ます。

仕組み: mioh は、選ばれたものが roi-refine-pack.json を持つフォルダなら ROI Refine の pack として扱います。単体の .aimodel ファイルを選ぶと、普通の Core ML の補正モデルとして読み込もうとします。
なぜ失敗するか: group00.aimodel は pack 用の Core AI 形式で、Core ML では読めません。そのため「Compile the model with Xcode…」というエラーで止まります。
直し方: 1つ上の、pack のフォルダそのものを選んでください。
~/Library/Application Support/mioh/ROIRefine/pack-sulphur-iclora1750-v5

選ぶときは blocks の中に入らず、pack-sulphur-iclora1750-v5 を選んだ状態で「開く」を押してください。

とAIが申しております。