【超解像】Lada part6

前スレ
【超解像】Lada part5
https://egg.5ch.io/test/read.cgi/software/1782703217/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>99
>>100
インライン版動作確認乙です オフライン版も先ほどpushしました

出来はSeedVR2/FlashVSR並みに見えるのにSwiftVRはあまり話題になっていない気がしたので
何でかAIに聞いてみたら「速さは本物、画質の評価はまだ固まっていない」とのことでした
Redditにもそんな感じのスレがあったよ
RTX5090やH100使って高解像度動画をリアルタイム処理するのに特化とか尖ってるのは嫌いじゃないけどｗ
もったいないなー

>>100
仮に新モデルとこの二次復元をつなげてインラインで処理したらVRAMが最低でも24GB必要になるコースと思たｗ

>>93
macbook pro M1 32GB に入れました
Release版をアプリフォルダに入れて同梱のマニュアル通りに設定したらあっさりSwiftVSRも動きました
リアルタイム再生機能も入っていてMac版jasnaという感じですね
ありがとうございます

リアルタイム再生の方は二次復元はされていないのかな

>>102

リアルタイム再生はROIエンハンサーはできないと思ってください。
合成の項目の各エレメントは使えると思います。

HLS再生いいですよw

質問です。

PCのシステムでは、多数のモザイクが混在している場面で、復元の品質が落ちる現象はありますか？

動画によるとしか答えようがないと思う

>>104
「復元の品質が落ちる現象」って具体的にはなんだ？ (検知漏れ、取りこぼし、復元の絵がボケる、etc.)
ふわっとした質問だとふわっとした回答になっちゃうよ

最近のJasnaのモザイク検知モデル・検知処理にはあんまり不満ないな
miohで問題になっている動画をJasnaのSegment Editorで見て検知がどうなっているのか比べるのが手っ取り早い気がする

ありがとうございます。

ladaの実装を見ていると、
複数のモザイクが重なり合うような場面で、
復元対象の枠が急に大きくなったり小さくなったりする可能性があって、
それに引きずられて復元画質が極端に悪くなるという現象があります。

jasnaは使えないので、
ladaとは違う実装のようですが、
jasnaでは同様の現象があるのかな？と思ってお伺いした次第です。

ぶっちゃけて言えば、
「顔の周りが多くの竿でモザイクだらけ」
みたいな場面ですw

>>107
画面内にモザ多めの動画でjasnaとlada-exとで残モザイク量を比較したことがあるけど
その時使ったデータだとjasnaの方が取りこぼし少ない結果でした
#jasnaはシーン切り替わり検出やモザのトラッキングなど独自処理あり

書いてある現象はlada-exに出したPR#28が参考になりそうな気がする
lada-exの方も作者さんが改良しているので、まだ調べてなかったらソース読み込むと良いことあるかも

お前らの言ってる事の1割も理解できない

>>109

それでも楽しめ！！w

>>108

ありがとうございます。

行ってみますね。

jasna本家に大量のコミットがあったのでそろそろ新しいリリースが出そうだが、使い勝手改善、リファクタやバグ修正がメインっぽい
新モデルや復元処理が何か新しくなるような変更は今のところ入って無さそうなんだよな・・・

jasnaに課金しようと思うんだけど、UNex-4xってどんな感じですか？
3Dアニメーションのモザ消し試してみたけど、rfdetr-v6は取りこぼすし、v1は時間かかるし、lada yoloはその中間な立ち位置だと思ってやってるんですけど違ったらすみません。
使ってるかた教えてください〜

V6でそんな取りこぼす？

>>113
基本設定の検出しきい値を下げたらええんでないの？
モデルによってデフォだと0.25～0.45になってるはずだけど
極端な話、0にしてやってみるとかさ

>>113
取りこぼしの話とUNex-4xは別件ですよね。UNex-4xは２次修復なので検出とは関係ないので
個人的にはRTX Super Resと大きな違は無いと感じた

>>116
× UNex-4x
〇 UNet 4x

LTX-2.5ベースの新復元モデル「ltx」がmainに追加されたので次バージョンで新モデル来る
以下、調べた結果
- LightricksのLTX-2.5(22B 動画拡散モデル)をモザイク復元用にfine-tuneしたもの
- BasicVSR++より大幅に遅いが画質最高、という位置づけ、NVIDIA専用
- 非対応： ストリーミング、セグメント、unet-4x等の二次復元、denoise、VR SBS
- 重みはINT8で約22GB、VRAMに入らない分はメインメモリからストリーミングするので
　VRAM 16GBでも動く設計(ただし激遅、メインメモリ32GB 以上が推奨になりそう)
- 重みはsupporter専用の暗号化配布で、既存キーでは開かず「LTX 対応のアップグレードキー」が必要とREADMEに明記されてる
- 重み自体もまだ未配布、0.11.0リリース＋キー販売開始まで誰も動かせない

いいね、俺は一部しかしないから大歓迎

いらね

>>114
v5、v6はyoloと比べると検出値関係なく取りこぼすよ
特にチラつきがない薄めのモザイクに弱い

>>109
俺も

>>118
ディスコのほうで新モデルはLTXベースっては明言あったし
デモも連発投稿してるし仕上げに入ったぽいわね

もうVRAM8Gじゃ付いていけなるなるのかぁ

ついていけなくなってから考える

Discordのjasnaのurl教えてください🙇‍♂

今AIやってる人の大半はVRAM12GB、メインメモリ32GBくらいの環境は持ってるだろう
推奨ラインは最低でもVRAM16GB、メインメモリ64GBだとは思うが

VRAM8GBのユーザーが一番多いと思う

>>126

解決しました。
お騒がせしました。

>>128
それはAIやってない人含めてでしょ。

AIとは違うからそんな参考にはならんけどSteamが発表した今夏時点のユーザーのPC環境データだとVRAM16GBが最も多かった、僅差で8GB、大きく開いて12GB
メインメモリは16GBのユーザーが1番多くて、僅差で32GB、60GB以上積んでる人は全体で5％ちょいしかいなかった

16GBって5080？価格コム最安が27万、steamユーザー金持ちだな

>>132
4060tiの頃から16GB版あったし、今は5060tiも16GBある

4060ti/5060tiはPCIeレーン数がx8なんだよな
VRAMあふれ前提の処理だとメインメモリからのデータ転送もネックになりそう

>>131
SteamのビデオカードでNVの16GB版の全部足しても10％なのになぜかサマリーでは26％も16GB使ってる事になってる謎
しかも4060Tiと5060Tiは8GB版もあるから実質もっと減るのに
インテルやAMDはどれが16GBか知らんから数えてないけどトータルでさえシェアが低くてNVの1.5倍もあるとは思えんし
NVは5080，5070Ti，5060Ti，4080S，4080，4070TiS，4060Tiで合計10.49％

v0.11.0 来た

>>136 間違った

>>127
メインメモリ64GB必要なのかな？
JavPlayer の頃に一度 64GB に増設したけど、Lada/Jasna だと 32GB でも十分だったので、PC を組んだ時に半分移設した。

>>138
んなもん、人によるとしか言いようがないだろ

人によるのか

>>138
サイズ普通程度の画像生成やモザイク破壊程度の用途なら64GBもいらんけど、AIでローカル動画生成やLLMやるなら必要でしょう

モザイク破壊ツールのスレでAI動画生成やLLMの話は関係ないだろ
JasnaはVRAM量に合わせて処理してくれるんだからずっと頭いい

他もvramから漏れた分はramに置くでしょ

>>142
ladaなんてメモリがメインと共用で4GBしかないインテル内蔵グラの10年前のタブレットでも破壊出来るからね
10秒やるのに1時間とか掛かるけど
GPUの性能とメモリ量は単に速度にしか関係なく出来栄えを左右しないし
それを生成AIと同じ感覚でグラボ語る意味は無い

今度からltx-2.5入るから生成ですね

>>142
関係あるだろ

なんかreadmeからLTXの部分引っ込めたね

えー　(´・ω・｀)

モデルの抽出には最速でも(これから)2日かかる、ですってよ
少なくとも今日来ることはなさげだからおちんこはしまっておこう

ここから仕様を推察してみよう

feat(ltx):use 512 px windows below 10GB free VRAM
feat(ltx):add fast mode and faster LTX inference
fix(ltx):finish LTX videos without a decode crash

コードをAIに解説してもらえばええんや
RTX50系じゃないと高速化とVRAM消費削減の恩恵は受けれなそう

feat(ltx):use 512 px windows below 10GB free VRAM
768pxモードはVAE だけで7.5GB食うので、足りなければ警告出して512pxにする
VRAM 16GBのGPUは実質ずっと512pxで処理される

feat(ltx):add fast mode and faster LTX inference
RTX50系限定で4bit(NVFP4)の別モデルを使うモード
1.4倍くらい速くなる代わりに、ディテールは少し落ちる

fix(ltx):finish LTX videos without a decode crash
動画の最後のウィンドウでクラッシュしてたバグ修正

また、VRAM 12GBで動くかどうかは作者もわからん模様ｗ
あと、LTXで復元した出力動画が24fpsのままな気がする
元動画のfpsに戻すにはフレーム補完の後処理を各自やれ、かな？

出力動画のfpsについて訂正
内部の24は位置エンコードの換算定数なので、30fpsの動画は「1.25倍ゆっくり流れる24fps動画」としてモデルに見えるだけで、出力には影響しない
とのことでした

自室にNVIDIA DGX Stationとか必要な時代に入りつつある予感。

Amazon見たら5090の値段とか4ヶ月くらい前に買おうとしてた時の倍以上になってる。何となく値段は上がってるんだろなとは思ってたが想像を超え過ぎてた。

来年60シリーズが出たらどうせ値崩れするから

micronが2GBのVRAM配給を辞めるって言い出したから逆に暴騰すると思う

本番と同じコストで回す速度テストがmainに入ったので試してみた
upstream main (81dc8b0) ソース実行、distilled 8step、512px、出力は乱数重みなので復元されない
(コストは本番相当、モデル読み込みだけ省略)

--ltx-trial 実測：RTX 5060 Ti 16GB / RAM 64GB / Win11、torch 2.12.0+cu130

480p 30fps 6秒 (180フレーム、2 window):
scan 17s / encode 4s / denoise 74s (4.65 s/step、初回compile込み) / compose 35s → 約2分10秒 (実時間の約22倍)

1080p 59.94fps 6秒 (359フレーム、4 window):
scan 5s / encode 14s / denoise 110s (3.46 s/step) / compose 73s → 約3分22秒 (実時間の約34倍)

VRAM 15.2GB。16GB は 22B INT8 が乗り切らず PCIe ストリーミングになるので denoise が支配的
window 数はフレーム数で決まる (121フレーム/hop 88) ので、60fps 素材は 30fps の倍かかる

5090が出て4090が暴落したかといえばNO
その時の5090の上の価格で6090が出るだけ

>>157
復元力がどんだけ高いかによるけども、例えば元動画を15フレームに間引き変換しちゃって
Jasnaで処理してからフレーム補完するほうが作業コストが安く付いたりするかも

値崩れにはもう期待しない方がいいと思う。
むしろ欲しいうちに買っておいたほうがいい気がする。。

mioh動かしてみた
M1 MAXの古いMacだけどちゃんと動いてよい
swiftVRは時間かかるので寝る時に流す感じになるけど

もう新品のNvidia RTXは庶民には買えないね
頑張って中古のRTX30系かな？長く使う事になりそうなので簡単に交換用クーリングファンが入手できる機種にしとこう

RunpodクラウドGPUで回すワイ君、低見の見物。

mioh

モザイクの検出漏れを極限まで排除したと勝手に思ってるバージョンw
mioh-Universal-0.14.3-018
をアップロードしました。
検出タブに複数モザイクの扱いという項目が出ますので、
CELFを選んでください。

速度はちょっと落ちます。

Jasna v0.10.0 Win nvidia版を起動後システムチェックでGPU以下がNot checkedになります
何が悪いのでしょうか？
GPUは正常に認識しています
Windows11 26H2クリーンインストール後からです
追加モジュールとかいるのでしょうか？
他の25H2から26H2にアップデートしたものは動いています

>何が悪いのでしょうか？
情報が少なすぎて分かりません

画面に何が悪いか出るやんアホすぎん？

>>165
解決しました
Lada動かしてからJasna動かしたらシステムチェック正常に走りました
ご報告まで

漫湖が見たい

mioh
長い動画だとエラーになるんだけど
Swiftネイティブプレビューを開始できませんでした: Cannot Decode
mioh-native-coreai-preview: Cannot Decode

メインで使ってる環境でも--ltx-trial で LTX の速度を測った
（1080p 30fps 30秒、torch 2.12 cu130、SDPA、3環境とも同条件）
俺環での目安：1時間の動画で 5080 なら7時間前後、5060Ti なら16時間前後

数字は「壁時計（実時間の何倍か）、denoise 1step の秒数」
■ INT8（既定）
5060Ti 16GB Win … 482秒（16倍）、3.28秒
5080 16GB Win … 218秒（7.3倍）、1.42秒
5080 16GB Linux … 200秒（6.7倍）、1.40秒
■ NVFP4（--ltx-fast）
5060Ti 16GB Win … 443秒（15倍）、2.86秒
5080 16GB Win … 191秒（6.4倍）、1.15秒
5080 16GB Linux … 180秒（6.0倍）、1.17秒
■ undistilled
5060Ti 16GB Win … 912秒（30倍）、4.61秒
5080 16GB Win … 397秒（13倍）、1.98秒
5080 16GB Linux … 382秒（13倍）、1.96秒

つづき
・5080 は 5060Ti の 2.2〜2.5倍速い（SM数の比どおり）
・Win と Linux の差は denoise ではなし、Linux が壁時計で 4〜8% 速いのは compose（VAEデコード+NVENC）の分
・--ltx-fast は壁時計で 8〜12% 速いだけ、compose が固定で全体の4割
・undistilled は壁時計で 1.8〜1.9倍、「3倍遅い」は denoise だけの数字
・VRAM は INT8 14〜15.4GB、NVFP4 11〜12.8GB。16GB で収まる
・実重みだと最初に 13.4GB（NVFP4 は 7.7GB）の読み込みが加わる、初回はエンジンコンパイルが入るので2回目から測る

>>170

環境と設定教えて。

>>136
Next week maybe? Kruk 20:48 26/09/30 Discord.com

>>170

あー作った人がこう言ってます。

それなら、復元を進める途中で、次の入力フレームを読み出せなくなった可能性が高いです。「開始できませんでした」は共通のエラー表示なので、開始時の失敗とは限りません。

切り分けはこうです。

* 毎回ほぼ同じ時刻で止まる → その付近の動画データや、デコーダとの相性を疑う。
* 止まる時刻が毎回違う → デコーダの状態や、読み込み・リソースの問題を疑う。

元動画の破損と決めつけることはできません。アプリ側の問題も候補です。 今回、動画内の何分何秒あたりまで進んでいましたか？


ちなみにうちでは起きたことはありません。

50シリーズ持ってないからSwiftVSR、FlashVSRまでかな
どっちの二次復元も大変良き

何が良きだよクソキモいんだよ死ね

バリ切れるやん

そんな怒らないでくださいよ
破壊動画でシコシコして落ち着いて、ね

Ltxとやらは時間かかりすぎて実用的ではなさそうだな

他のAIは工夫したら速くできるけど1秒生成1分だからなw
でも全部やる人は大変だな

初リリース版で遅かったからってその後も遅いままとは限らないんだから
出来る範囲で扱いつつ経緯を見守ればいい
そもそもLadaを大幅に高速化させたのがJasnaの人だから、速度向上に燃えるタイプの変態

所要時間が倍程度なら全然許容範囲
それでさらにクオリティ上がるならね

>>175
動画の長さによって5%10%15%あたりで止まります
M6 32GBでお勧めの設定です

>>184

ログちょうだい

>>184

それかgit cloneして自力でビルドしてみて。

初心者ですがJasna導入してみました
AIはrfdetr-v6がオススメって言うし、つべの検証動画見たらvr_v1のほうがイイって言ってたけどどっちも取りこぼしだらけで全然ダメ
そんでこのスレと前スレ見つけてお前らが言う通りlada-yolo-v4使ってみたらほぼ完璧でした
小川知美の懐かしい旧作のデカモザもちゃんと取れて感動
お前らホントにありがとう！

いや・・・取りこぼし気になるなら　しきい値下げろや　デフォのままつこうとるからV6で取りこぼすんやぞ

怒らないでやってくれ、彼は破壊を覚えたばかりの老人シコザルなんだ

yolo-v4はスレでお勧めされとらんが
過去スレにあったv2_accurateをリネームしてyolo-v4に置きかえたやつの事言ってんのか

質問されたら面倒だろいらんこというな

ああ、スマソ
閾値下げればよかったのね、いろいろやってみますわ
ありがとう
>>188
>>189
ええそうです、老人です
愛する女房がアガってから痛がってやらしてくれないんです
老人には老人の苦労があるんすよ...

ローションつかってくださいよ先輩

嫁にちんちんついてそうな流れだな

>>184

細かいログが出るように作り直したので、
今の018.dmgで実行してみて。

バージョンアップは来週くらいか

>>195
動画情報を読み込み中...
動画情報: 1920x1080 / 29.970fps / 01:07:34
Swift処理を開始しました

進捗: 5% | 03:27 / 01:07:34 | 6192フレーム | 73.0fps | 残り 26:17
進捗: 10% | 06:48 / 01:07:34 | 12212フレーム | 105.1fps | 残り 17:19
進捗: 15% | 10:09 / 01:07:34 | 18232フレーム | 39.3fps | 残り 43:47
Swiftネイティブ処理でエラーが発生しました: native preview decoder failed: {"decoded_frames":22207,"error_chain_truncated":false,"errors":[{"code":-11821,"domain":"AVFoundationErrorDomain","source":"thrown"},{"code":-12137,"domain":"NSOSStatusErrorDomain","source":"thrown.underlying"}],"last_decoded_pts_ns":740940200000,"last_decoded_seconds":740.9402,"macos":"27.0.1","reader_status":3,"stage":"decoded.next"}
mioh-native-coreai-preview: native preview decoder failed: {"decoded_frames":22207,"error_chain_truncated":false,"errors":[{"code":-11821,"domain":"AVFoundationErrorDomain","source":"thrown"},{"code":-12137,"domain":"NSOSStatusErrorDomain","source":"thrown.underlying"}],"last_decoded_pts_ns":740940200000,"last_decoded_seconds":740.9402,"macos":"27.0.1","reader_status":3,"stage":"decoded.next"}

Macのffmpegで再エンコードした動画ですが壊れてる？
Windowsでは問題ありませんでした

>>197

ありがとうございます。

この楚材だと止まるのはいつも同じ場所ですかね？

>>197

019をアップしてます。

分割タブの一番上に読み込み形式と詳細なログの項目つくりました。

試してみてください。

handbrakeでもう一回エンコし直しもできればやってみてください。

エラーの内容はファイルが壊れてて読み込めません。
という内容です。

jasnaのrtx-super-resで使ってるNVIDIA公式Python版SDK(nvidia-vfx)が最近 0.2.0 に更新されて
RTX Videoのフレーム生成が初めて入った (DLSS 5 Neural Renderingはさすがに入ってなかった)
jasna modiにこれを入れたら、フレーム生成がRIFEより2倍以上速くなった
画質も見た感じRIFEと変わらんし重みファイルも要らない
ただしRTX 40番台以降が必要(既定はRIFEのままなので使うには明示指定要)
なお、rtx-super-resの画質と速度は今までと同じだった

>>199
handbrakeで再エンコしても同じフレームでエラーが出ます
エラーが出るところをカットして短くしても別のフレームでエラーが出ます
長い動画は全滅のようで諦めました
お手数をおかけしありがとうございました