【超解像】Lada part6

前スレ
【超解像】Lada part5
https://egg.5ch.io/test/read.cgi/software/1782703217/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

まあタイムイズマネーよ

0.11.3きたね。残り20時間だったジョブをキャンセルしたわ

5060ti、新モデル+Fastmodeで
3.5倍時間くらいになったのかな
まだ途中だけど

それだとv0.11.2の5080と同じくらいのスピードになるな

731だけどキャンセルした3時間FHD動画を標準画質高速モードで再実行して、ついさっきステップ1が終了してETAが9:40と出てた。この通りならほぼ倍速？
ちな5060Ti16G

ただGpu-zのグラフ見てるとusageが落ち込んでる所があるから、もっと高速化が期待できるのかも？

>>608
Jasna 0.11.3が出たのでちょっと調べた、前に書いた0.11.3予定の修正は全部入ってて、目玉はLTXの高速化
リリースノートとコミットから主なものだけ
■LTX
・蒸留モデルが2つ増えて4段階に、新既定の「標準画質」（2ステップ）が最速、良好画質は約1.5倍、高画質（旧既定）は約2.5倍、最高画質（旧「高画質」）は約5倍遅い
・VAEのエンコード/デコードが速くなった（RTX 5090でステップ4が1ウインドウ1.17秒→0.73秒）。ステップ4は次のウインドウのデコードと書き出しを並行処理
・作者の計測（RTX 5090、40秒の1080p）：0.11.2の既定186秒 → 高画質106秒（1.75倍）、標準68秒（2.7倍）
・RTX 50xxは標準・良好にもFast mode（NVFP4）あり
・30fpsを60fps化した素材でシーンカットを誤検出してウインドウが増えてたのを修正
■入力
・VC-1（WMV系）のフレーム落ちと音ズレ、UTF-8でないタグで開けない、CPUデコード中の停止や区間カットでフリーズするのを修正
■GUI
・停止ボタンは確認してから止まる、処理中にウィンドウを閉じると「最小化して続ける」が選べる
・進捗バーが途中で戻らなくなった
■Linux
・ZFS対応、配布サイズが7.5GB→5.6GBに
■更新するとき
・初回はLTXモデルごとにGPU向けの準備が入るので遅い
・LTXモデルは旧model_weights/ltx-restoreからコピーでOK、標準画質は新しいモデルなので約13GB（Fast modeは7.7GB）のダウンロードが1回だけ入る
・CLIの名前が変わった：ltx=標準、ltx-4step=良好、ltx-8step=高画質（旧ltx）、ltx-undistilled=最高、GUIの保存設定はそのまま

新旧デフォルトの差は止めて比べたら手とか指とか若干崩れてるけど動画で見るとわからない位

あれーもう11.3来たのか
寝れないじゃんよ

>>736
まとめおつ
高速化にかける情熱が相変わらずスゲーなこの人

簡単に Jasna v0.11.3 + Linux（RTX 5080）でスモークテストとv0.11.2との速度比較をした
新規定の「標準品質」+ Fastモードだと実時間の1.3倍くらいの処理時間まで来てるな

数字はLTXの実処理時間（初回のモデル準備は除く）、30秒の1080p、モザイク2トラック
■同じモデルでどれだけ速くなったか（0.11.2 → 0.11.3、Less overlapは両方オン）
・高画質（旧既定）Fast mode：124秒 → 89秒（0.72倍）
・高画質 INT8：145秒 → 107秒（0.74倍）
・内訳：ステップ2が1ウインドウ0.88→0.71秒、ステップ4が1.90→1.45秒、復元の1ステップあたりは同じ
　モデル読み込みが他の工程と並行になった分で20秒くらい縮んでる
■新既定の標準画質
・0.11.2のLinux既定（高画質INT8、Less overlapオフ）164秒 → 標準INT8 60秒（0.37倍）※作者の「2.7倍」と同じ
・Fast mode同士：0.11.2の高画質Fast 124秒 → 標準Fast 54秒（0.43倍）
・140秒の動画：0.11.2の高画質Fast 414秒 → 標準INT8 198秒、標準Fast 178秒（動画長の1.3倍）
・30秒クリップでのモデル別：標準Fast 54秒、標準INT8 60秒、良好Fast 65秒、高画質Fast 89秒、高画質INT8 107秒、最高INT8 210秒
　※作者の「1.5倍/2.5倍/5倍」は復元工程だけの比で、短い動画だと差は縮む

男優の顔にモザイクあると、それも除去しようとして、余計に時間掛かるのかな

3時間物で33時間掛かる

5070ti
高速モードon

0.11.3を試してみた。新しい標準画質で実時間の４倍弱まで短縮。無修正と言われてもまったく違和感ない画像だが、画面切替わりで一瞬モザイクが見える。win11，RTX5070Ti、XEON-w2133、メモリ64Gb

標準画質でもbasicvsrとは世代が違うわね
0.11.2までの水準とはスクショでじっくり比較して自分にはギリわかるか？レベルかもしれない

2070 8GB
3060 12GB
4060ti 16GB
5060ti 16GB

どの辺から戦えますか？全部無理？

1分ぐらいの動画に切り取って、LTXの標準と高画質で比べてみたけどほとんど差は無いね。
ffmpegで機械的に比較しても標準92、高画質95とかで確かに差はあるが人の目にはわからないぐらい。
標準では10分ぐらいかかったのが、高画質だと１時間近くかかった。* RTX4070 12G
個人的には標準だけでいいや。後でLTXじゃない方と比べてみるか。

まだ2070sで闘ってるけどそろそろ切られそうで怖い

4060Ti 8GBではきつそうなので、5060Ti 16GBポチッてしまった
コーヒー代、25＄払ったんでお返事まだかな

>>744

デカいモザイクを鮮明にするモードを使いたければVRAM16GBは必須。
不要なら12GBかな。

メインメモリを食うから最低でも16GB。32GB有ったほうが良い。

3060の12Gが最低ラインかと。

それは素材にもよる
20分位のアニメなら3060 12GBより3070TI 8GBの方が速い
俺環
あとアプリやモデルの進化で高速軽量化もありえるから無理してGPU買うつもりはない
カネは有限

MSI GeForce RTX 3060 GAMING X 12G VD7552

でフルハイビジョン2時間を設定いいさいいじらずで1時間ちょい

LTXで検出モデルはどれが最適なんじゃろか？

>>751
お好みで

ワシはデフォルト設定で十分満足してる

LTX、デフォの設定で、すごいクオリティ違うな！
21秒の動画で試したけど、BasicVSR++で10秒、
LTXで4分38秒だった。4060Ti 8Gでこれなんで、
5060Ti 16GBでどんだけ短縮されるか楽しみ！

うむ
細かくは書かないが来るとこまで来たんだなと思った

後は速さの問題だな
速度報告よろしくたのむ

Windows11 26H2
Ryzen7 3700X 16GB
RTX3060Ti 8GB

ソース1920×1080 32秒　LTX標準お試しモードで17分47秒でした
ソースの33倍ではグラボを換えないと実用には苦しい
BasicVSR++でガマン

対して破壊出来なかった動画が出来る様になったし、それなりに破壊出来てた動画も精度が上がる。画期的な進歩や。お気に入りの動画のみ、前スレにあった様にアップシーンを何箇所かLTXでやった後、Basicvsrを全体を掛ける。低スペックグラボユーザーのワイは当分これでいく。

さすが生成AIだ
グラボも高くなるわけだ

VRAMにモデルが収まればあとはVRAM容量よりコア数と速度が重要
この点でやはり強いのは5090とPRO6000だな

4060Ti 8GBでFHD 3時間のを試し中
1時間たったが進行は1%
GPUは95%くらい使ってるけど、VRAMが27%しか使ってくれない
他に何も走らせてないのにRAMが31%走ってる。
なにか、RAMに転送させる低スペックモードみたいなので動いてるんだろうか？

まだステップ1のスキャン中だからじゃないかな
復元の本番はステップ3

それですわきっと。
今、GPUのファンがおとなしくなってまた回り始めました
GPU100％でVRAM84%になって頑張ってくれてます

昔のjavplayerみたいにシークバーで処理する部分を選べたら捗りそう

>>762
>>538

ショップブランドのPCからグラボ抜いて箱とか無しに売れるのかな？
5060ti8Gから買い替えたくなってきた

>>764
先週アキバで見てきたけど中古なのに新品と殆ど同じ値段で売ってるのばかり

もう、これはAV選ぶ基準も変わったわ
必死にモザイク取れやすいの探してたの全部無駄w
これからは好きな女優の好きな作品をただ選べばいい

遺品に高価なモザイク除去機を残して亡くなった父親にAiモザイク破壊を見せてやりたかった 合掌

4Kそのまま突っ込んでもステップ3までは時間あまり変わらないんだな、ステップ4だけメッチャ長くなるけど

蛙の子は蛙だな

GPUばかり気にしてるけど
PCのメインメモリも重要じゃないかなと思う。

32GB積んでてもJasna下部の表示で80%ぐらい使われてる。

FHDの処理でVRAM 13GB、メインメモリ20GBくらいだな。まだ余裕

>>770
64G詰んでいるから大丈夫ｗ

Core i5 13400F(32GB)+RTX3060(12GB)でなんとかぎり動いてる。
メインはRyzen 9 3900X(32GB)+RTX3050(8GB)だから多分LTX実行したら落ちるんじゃないかな。

乱〇物とか画面に同時に複数箇所のモザイクがあるやつは処理時間がとんでもない事になるな

大きなモザイクはltx、そうでないものはBasicVSRって設定で比率変えてみて何とかならんかな。

11.3にしてから --ltx-auto-split を指定すると元動画よりも映像が延びて音ズレする場合があるんだが同じ人居る？

まさに次世代画質
スタンダードなカットではほとんど違和感ないけど
変わった体位とか変則的なカメラアングルで
妙な場所から美しい金玉が生えてきて生成てあることを思い出して笑う

>776
映像のPTSがズレていただけなので -vf setpts=N/(30000/1001)/TB で補正できました

検出しきい値でかなり処理速度変わるな
yolov4で0.00だと8分の動画が4時間
0.20だと10分

モザ認識は確認出来っど

>>779
しきい値下げるほど、誤検知含め検出されるモザイク量が増えるから処理時間はかかるようになるだろ
ステップ1のスキャン終了後にログウインドウに出る `LTX plan: … windows` 行でウインドウ数がどれだけ
変わっているか比べてみたら

>>779
そうなんだ。
変換やり直しになるのが面倒なので、0.05にしてたわ。

V0.11.3　でLTXのダウンロードが終わったら、　LTXにはライセンスが必要です。お試しモードで実行しましか？出力は復元されません。　が出る
どうすればいいの

HD2時間で4時間だったのが2時間になった
5090ね

モザ認識漏れ切り抜いて報告してみた
こんな機能あったのね

>>783
ライセンス購入すれば？

出力フォルダーに ".ltx-l_j6xur6"という作業フォルダーができるけど、これは遅いドライブに指定してはいけないという事？

>>786
- 合計15ドルのサポートでSD 1.5およびアップスケーリングのunet-4xモデルへのアクセスが可能です

- 合計25米ドルのサポートで、上記および新しいLTXデセンソルモデルへのアクセスが可能です。ご自社の通貨を米ドルに換算することも必ず考慮してください。

合計25ドルというのは、unet-4xで15ドル入金済みの人は、もう10ドル追加すればいいのかな

>>784
さすが5090すげえなあ

プチブルしね

>>788
前に15ドル寄付してUnet貰ってれば無料でライセンスコードのメール届いたぞ

>>791
メール探したけど届いていないです
なんで？

MacでLTX生成試してみてるけど、時間無視すればできそう。

>>781
そういうことか。いつも0.1でやってたけど0.2〜0.3くらいが適正かなぁ？

792です
迷惑メールに振り分けられていました
ライセンスコードありました
有効化完了です

俺もしきい値は0.1固定でやってるな
0.2だと2-3コマだけ一瞬くずれるようなのが残ることあるし

>>770
GPUメモリ16GBでRAM128GB積んでてもRAM占有は28GBくらいだから占有する絶対量は同じっぽい
ただ、他のことが出来るか出来ないかの違いが出そうではある

>>798　つづき
メモ帳で書いてからコピペするとちっちゃくなっちゃうの鬱陶しいなぁスマソ

肝心の画質の違いなんだが、TopもStandardも一見差が無いようでいてやっぱ違う
とはいうものの復元形状に違いは無くて、解像度が1080pと720pの違いって感じ
唇のシワがくっきりするか潰れるかの違い GridPlayerっていうプレーヤーで並べて
ガン見してみるとやっと分かるレベル

ちなみに0.11.3だとこの傾向は元動画のモザの大きさには関係ない
0.11.1だと元動画のモザがデカかったらFastもBestも関係なかったけど、変わったのかも

ということで、まずはStandardで割り切っていいかも
あとでここだけTopでやり直してみたいと思ったときのことを考えると >>689 >>707の
魔法の呪文で元動画を15〜20分くらいのブツ切りにしといて破壊に励むのもいいかも

5060ti16g、きっと無謀だろうなと思いつつ4Kの3時間をぶっ込んでみたらETAは10時間以下だった（標準•高速）
昔を考えたら全然問題ないな

0.11.2で初めてLTXやってみようと思ったら、マシンキー取得できずで足止め
0.11.3でやっとできると思ったら、ESET（NOD32）がジャマをする
jasnaフォルダを除外に入れてようやく動いて、仕上がりの凄さに感動
ただ、筋と指の線を区別できなかったのか、ずぼずぼ入れている指が消えることがあって笑った

書庫展開したらウィルスバスターに1ファイル削除される。

>>800
それ、多分 Step1/4 だけの時間だよｗ

ETAは2/4からじゃないと表示されない気がしたが

Step1はモザイク解析時間でETAはStep2以降の残り時間
なので長時間高解像度高ビットレートの動画であればStep1は比例して伸びるよ

新しいVersionでLTXモデルがダウンロード済みでltx-restoreフォルダーにあることを教えることはできないのかな？
前のVersionからフォルダー一式をコピーして起動しても毎回矢印ボタンクリック時にダウンロードに行くんだけど

>>806
モデルファイル（.enc）ファイルをmodel_weights\ltx-restoreに移動させるだけで認識するよ
標準画質ならltx-restore-alpha1-distill2-int8.safetensors.enc
もちろんjasna起動中にファイルを移動させたならjasnaの再起動が必要だけど

何だろう俺たちは他人のイキリ立ったチンポを如何にして鮮明に再現するために必死になっているのだろうか

そこにチンコ(or マンコ)があるからさ

顔面モザスキップ機能が欲しいね
恐ろしく時間がかかるから

>>810
わかる

ここへ来て供給源が絶たれるとはな
PHPめw

FANZA等のエロサイトは皆メンテ中か

顔モザって破壊されるの？中途半端にぐにゃぐにゃの顔が出てきたら萎えるんだけど。
あと、素人設定の動画で女の子の顔モザのがあってそれが取れるならちょっとうれしい。

オチョナンさん出てくるからやめとけ

まあ無理だよな

顔のモザイクの復元よりも、デビュー作の冒頭で時々ある、卒業証書のモザイクの復元に興味がある。
卒業証書が作り物の可能性もあるだろうが、どこまで本物に似せて作ってあるのかとか、卒業証書の生徒名は、女優名なのか、本名なのかとか、その辺が気になっている。

>>817
それは今の復元モデル(BasicVSR++やLTX)の学習範囲から外れてるだろうからjasnaでやることではないなｗ

Macでも独自実装でLTX動いてる。

M5 Pro 18core 20 GPU 48GBで9fps。
たぶん4倍近く時間かかるね。

>>819
LTXのモデルってどうしてるんですか？

>>820

LTXでNSFWを追加学習したモデルがあって
それを使って独自に追加学習して使っています。
sulphurってモデル。

https://huggingface.co/SulphurAI/Sulphur-2-base

Jasnaのどのバージョンでも、設定いろいろ変えてもモザ残りとボケが出る　大〇聖〇の羽目シーンがLTXで完璧に仕上がりました
これは画期的、時間はかかるけど結果がこれなら許せる

他にも出来の悪い素材をTMPGEnc Smartレンダラーでお好みシーンだけ切り出してLTXで再処理します

>>803
朝起きて確認したらトータル8時間で完了してた

>>821
そういうモデルがあるんですね
出力の品質次第ですが、LTXモデルで実時間の4倍なら悪くはないと思います

>>823
マジすか！( ﾟДﾟ)

【Jasna 0.11.3】長尺動画処理結果
■まとめ：1時間45分の動画を新既定の標準画質 + Fast modeオンで通した、LinuxとWindowsの比較
・Linux：89分、動画の長さの0.85倍、つまり実時間より速く終わった
・Windows：100分、0.96倍　※初回のスピードテスト2分は除く
・この動画はモザイクが少なめ（ウィンドウ数が他の作品の7割くらい）なので、普通の作品だと
　動画長の1.1〜1.3倍くらいになりそう
・<参考> 別PCのWindows＋RTX 5060 Ti 16GB（同じ動画、同じ設定）：221分、動画の長さの2.1倍

■動画の情報、LTX処理設定
・1080p 29.97fps H.264、1時間45分（188130フレーム）、モザイク327トラック、1285ウィンドウ
・設定は標準画質、Fast modeオン、Less overlapオン、HEVC 10bit CQ14 preset p7
・同じPC（RTX 5080）のdual bootでUbuntu 26.04とWindows 11(26H2)を1回ずつ処理
■処理時間詳細
・1ウィンドウあたりLinux 4.2秒、Windows 4.7秒
　※0.11.0-rcで旧既定の高画質Fastに2時間18分の動画を通した時は8.8秒で動画の2.6倍（6時間弱）だった
・内訳（Linux）：ステップ1（検出）7分、ステップ2（VAEエンコード）17分、ステップ3（復元）28分、
　ステップ4（VAEデコードと書き出し）37分
・VRAMピークは両方10.5〜10.6GB、Fast modeオンだと48ブロック全部VRAMに載る
■WindowsとLinuxの差
・全体で1.12倍、内訳はステップ1（検出）1.35倍（444→328fps）、ステップ2（VAEエンコード）1.08倍
　ステップ3（復元）1.05倍、ステップ4（VAEデコード）1.19倍（1ウィンドウ1.45→1.73秒）
・0.11.2の時の30秒1.55倍、140秒1.2倍から、長い動画ほど差が縮む傾向のとおり
　残ってる差は固定費じゃなくてステップ1・2・4（検出とVAE）のスループット
■別PCのWindows＋RTX 5060 Ti 16GB（同じ動画、同じ設定）
・処理内訳：ステップ1（検出）20分、ステップ2（VAEエンコード）42分、ステップ3（復元）73分、ステップ4（VAEデコードと書き出し）87分
・Windows＋5080との比はステップ1が2.1倍、ステップ2が2.2倍、ステップ3が2.5倍、ステップ4が2.0倍、全体2.2倍
　カタログ比（CUDAコア0.43倍、メモリ帯域0.47倍）の逆数と同じ水準

>>826
5080だと約1倍の速度で処理出来るんですね…でも買えない
自分の5060Ti(16GB)だと0.11.3でも4倍くらいかかってしまう（標準画質+高速モード、rfdetr-v6、しきい値0.15）
どこか設定が良くないのかな？

>>827
lada-yolo-v4でしきい値0.1で良くない？

>>827
自分もv0.10まで仕上がり時間に影響しなのでしきい値0.15で使ってたけどデフォのしきい値0.35と0.15じゃ全然時間違うよ、考え直し中

>>829
0.35も考えたけど、時間かけた結果ダメだったらつらいので、0.15にしてる。
LTX plan: 215726 frames, 229 scene cuts, 3699 tracks, 4803 windows
2時間もので、この数値は多いのかな