【超解像】Lada part7

前スレ
【超解像】Lada part6
https://egg.5ch.io/test/read.cgi/software/1789682962/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>299
作者から反応あってissueはすぐにクローズｗ (#682)
次のバージョンで直すって

モザイクかかってるのが短時間なのは処理時間が短いだけでしょw

動画の長さと処理時間だけ書かれてもあんまし意味がないんだよね
せめてステップ1が終わったときにログウインドウに出る `LTX plan: … windows` 行のトラック数とウィンドウ数を書いてくれ

>>304
LTX plan: 288539 frames, 33 scene cuts, 295 tracks, 2867 windows
ま、これだけでも意味ないだろうな

>>305
300 or 301と別の人か?
モデル書かなきゃBasicか標準を想定するから処理時間とセットで頼みますｗ

Super Resを有効にしたらモザイクで隠れていた指がめちゃくちゃキモくなった。エイリアンの指みたいな感じ。
無効のほうは自然な仕上がり。
素材によるのかなあ。

>>262
ありがとう

>>307
こうなるって事は、もしかして2次修復オンにするとVAEデコードの前に実行されてる？

>>307
Super Resの設定でQualityの効き目をultraにしてると逆効果かも
>>137 に書いたけど、LTXの場合はデフォルト設定からDeblurだけ Low に変えた時が丁度よかった

LTXで復元した部分ぼやけてるわけでもディティール不足してるわけでもないし
二次修復は不要なかんじ、却ってアーティファクトやガタが発生して違和感出てくる

geforce2060だけど有料オプションを購入した方が良いのかな？
使い始めたばかりで大昔のdivxファイルを試しに消してみた
今度はDVDを消してみるよ
因みに麻見ゆま

モザイク破壊に命を懸ける猛者たち

ソースが1080P以上だとほぼ必要ない感じ
ただ今の標準画質よりさらに軽いのが実装されて+軽い2次修復のコンボなら速くて綺麗な仕上がりが実現するかも？ってのと
ソースの解像度が低いと仕様としてボヤけ気味に超解像されてしまうみたいなので、それの補助が欲しいのはある

PL75制限した4090でお口特化でも1.4倍程度だった
まだ戦えるな

テスト

LTX凄すぎる、もう無修正流出と区別つかないな
AIの躍進でいつかは実現すると思ってたけど2030年くらいの話かと
なんで急にこんなクオリティ上がったんだろう

DVDのSD画質だとBasicVSR++よりLTXの方がぼやけるケースがある
事前にインタレ解除と同時にTVAI(Dione)でアプコンするとくっきりするが、若干検出漏れが増える
処理後にTVAIでFHD化しても破壊部はそこまで改善されないから悩ましい

LTXの二次復元(RTX Super Res)の仕組みを勝手に解説

LTXはモザイクを周囲ごと切り出して正方形のキャンバス(既定は512px四方、「大きなモザイクをより鮮明に」をオンにすると大きいものだけ768px)で描き、元の大きさに戻してはめ込む
本家側v0.12.1の二次復元は、切り出しがキャンバスより大きいウィンドウ(720p以上のクロースアップや4K)だけが対象になる
描いたキャンバスをRTX VSRで2倍にしてから戻して、引き伸ばしのボケを減らす狙い
切り出しがキャンバス以下のウィンドウ(480p素材なら横幅いっぱいのクロースアップ以外ほぼ全部)には何もしない
知ってると思うけどRTX VSRは配信動画向けの1フレームずつのアップスケーラーでLTXが描いた輪郭をそのまま強調する、指が変に立つのはたぶんこれと思う(素材が不明なので推測)
既定(Quality High、Denoise Medium、Deblur None)のままだと2倍にして戻すだけで、効き目はほぼ分からない
鮮明になるのはDeblurを入れたときで、まずLowから試すのが良いと思う(Mediumは自分の目視ではシャープすぎた)
QualityとDenoiseは手元の計測だとどう変えても数%しか動かず、いじる意味はほぼない
ただし本家版はDeblurを入れても、かかるのは切り出しがキャンバスより大きいウィンドウだけなのは変わらない
>>311 と >>314 の「1080p以上なら要らない」は手元の計測でも同じ、ぼやけてないなら切っておくのが無難

自分のmodiフォークは逆に480p/720p向けで、2倍は縮めて戻すと消える(計測上は再エンコードと同じ)ので、RTXのDeblurを全部のウィンドウにLowでかける
ただしフォークは公式の暗号化モデルを使えないので、公式のLTX出力に後がけするのは --ltx-crop-vsr
(CLI、元動画も渡す、モザイク部分だけ描き直してLTXと同じ合成で戻す、480pははっきり鮮明、1080pは差なし、こっちの既定はMedium)