【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

やっぱり無理か。諦めるわ

rope使って、素人時代の無修ものに、プロになってからの盛れてる顔くっつけたりは普通にやってるけど

DLSS 5 Visual EnhancerなるWindowsのツールがGithubに公開されてる (サイトはググって)
WebUIから動画を指定してNeural Rendering (NR)を使ったアプスケ(3倍まで)とフレーム生成(120fpsまで)が可能
アプスケ品質はFlashVSRより劣るけど処理時間は桁違いに速いよ
なお 2x/3x 指定時も NR 自体は出力解像度で走るので、「NRで超解像」ではなく「DLSSでアプスケ後にNR」という挙動

自分でCLI化して(未公開)お試しでlada-exの二次復元とフレーム生成に組み込んでみた(jasnaでも同じやり方で動くと思うが未検証)
ざっと試した範囲では、二次復元の自然さは unet-4x > DLSS NR > RTX VSR の印象
速度で選ぶなら DLSS NR はあり
jasna 本体に入るかは作者次だね、新モデル優先なら当分入らなさそう

>>918
情報ありがとう

>>918
動作順序は
DLSSでフレーム補完→NRでアップスケール、であってる？

DLDSSかとオモタ

>>920
DLSS 5 Visual Enhancerは一度に両方はできない
アプスケ or フレーム補完どちらか一方の処理だけ
普通はアプスケ→フレーム補完の順で2回処理するんじゃないかな

なお、lada-exやjasnaで使う場合はちょっと特殊
検出されたモザイクの256x256領域をBasicVSR++で復元
→二次復元としてその256x256領域をアプスケ(ここにRTX VSR、DLSS NR、unet-4xを使う)
→元の256x256サイズに縮小して合成という流れでフレームを作ってる

lada-exとjasnaのmodi版に入れたフレーム生成機能はこの復元フレームを使ってフレーム補完してからエンコードしてる
なので、後付けでフレーム補完処理やるよりデコード/エンコードのセットを1回減らせる
たまに便利な機能

>>922
あなる納得

ladaとjasnaどっちがいいの？

>>924
中華の破解サイトを眺めてるとjasnaが優勢やね

SeedVR2+LoRA一次復元はアニメがBasicVSR++よりうまく処理できるようだ

コーヒー奢って一週間以上経つがいまだ音沙汰なし
時間掛かんのかね

>>927
すぐ来るよ
返事もくれる人だからメッセージ送ってみたら
いちおう確認しとくけど、寄付が15ドルに満たないのに来ない来ないって誤解してた人は先日いた

>>928
ありがとう　送ってみる^^

Buymeacoffeeのアカウントページに入ったら一週間前にメッセージが届いていた！

>>595
Jasna-modi版の人だよね
FlashVSRの2次修復をX4ではなくX2で動かすようにしてみたら、
VRAM12Mbでもタイル分割処理しなくて済む程度になってとりあえず実用範囲にはなったね、もちろん時間は掛かるけど
X2でもJasnaのUNet4xよりかなりディティールが上がってJasnaで修復した時のボケ感がかなり減ったたんで、ひとまず大満足
SeedVR2+LoRAの一次修復はまだ試してない

>>931
Jasna modi版改造＆試してくれてサンクス　595はそうです
スケールx2と周囲との色味ずれ補正対応を入れたFlashVSR二次復元V2版をLada-ex向けに作って
PR出したんだけどJasna向けにはまだポーティングしてないｗ
もし色味ずれが気になるようならFlashVSRを--color-fixつけて動かすようにするのが手っ取り早いです

SeedVR2+LoRAの一次復元が思ったよりもうまくいったので、今は一次復元のLoRA Finetuneを試行錯誤中
(Lada-exの方もいったんPR取り下げた)
古い動画や低解像度の動画、アニメなんかはいい感じに処理できてると思うのだけれど
今どきの1080p動画だとBasicVSR++に比べて時間安定性がいまいちなのをもう少しなんとかしたい

Jasna作者の新モデルがそのうち出るじゃん、なんだけど、あの別次元の出来(但しモデルがめちゃ重そう)を
普通のPCで扱えるレベルに落とし込むまで後どれだけ時間が必要なのかが分からないんだよね

>>932
ここしばらくテストしたデモをバンバン上げてるし新モデル製作にかなり気合入ってるようだけど
いつ実装できるレベルになるのか？実装したとしてどのくらいのスペックなら実用的な重さで済むのか？にはまだ全く先が見えてない感じ
そちらの製作物が磨き上がるんであれば、それはそれで大変ありがたい気がします
とりあえずバッジファイルに動画まとめてぶん投げればFlashVSR2ｘの2次修復まで終わるようにしたので、自分はしばらくこれでいいや

10年前のPCにRTX3050で、ｒｔｘladaはちゃんと動くけど、jasnaはほとんどフリーズ状態になってしまう
スペック高くないとダメなのかな

ｒｔｘlada→lada

>>934
初回起動でモデルのコンパイルが動いていると思われ
日本語READMEには、NVIDIA では通常 15〜60 分かかると書いてある
RTX3050+10年前のCPUだと一時間くらいかかってもおかしくないよ
初回は気長に待つんだｗ

GPUの設定の問題だった

jasnaでできた動画をアップスケールすると、
jasnaでできた動画をアップスケールすると、とんでもなく大きなサイズになるけど
それをもう一度 jasnaで処理すると、1時間程でいい具合にコンパクトなサイズになる
画質の劣化はあまり感じない モザイクの処理具合は一度目のまま

そんなヘンなことしないで普通に ffmpeg で av1 で mkv にするわ

>>938
アップスケールという事は解像度が上がっているのでは？

アプスケの設定が適当でビットレート上げすぎてるんじゃない？

RuntimeError: Failed to mux h264 video into '.mp4' output: Invalid argument

こんなエラー出るようになったんだけどどういう事？手持ちノートPC二台とも

ChatGPTに聞け

やー、ついにここまで来たかって感じかな
博士の時から実験させて貰ってるけど隔絶の感あるね
もちろん博士の功績も大きいとは思うけど

社会からの隔絶？

博士にはイグノーベル賞をあげても良いぞ　モザイク破壊の先駆者レジェンド

>>946
イグノーベル賞の趣旨は「人々を笑わせ、そして考えさせる研究を讃えること」

Macで破壊はこちら

https://github.com/mioh-labs/mioh

M4 Pro 64GBなんですが8kVRの破壊できますか？

>>947
人類の半分を笑顔にはしてくれたぞ

>>949

実装はしていないけどできる。

>>949

改めて実装してみたけどswap発生しまくりで非実用。

playerのバッファ3秒を増やす方法ない？

SeedVR2+LoRAの一次復元、学習方法再点検したら動画LoRA段に改善余地見つかって
これを対策したv6版だと1080p動画でも時間安定性はBasicVSR++に近い水準になったと思う
映像はRTX VSRで二次復元かけたのと同等、ものによってはもっとクッキリするけど
生成系だから細部はBasicVSR++の結果とは一緒にはならないね

>>953
Jasnaの復元動画 Playerはバッファ時間を変える設定ないよ
増やすならソースコードの修正が必要
バッファ時間を+3秒すると1080p動画でメインメモリの消費が+0.8GBくらい追加で必要
VRAM量は変わらない

720x480ソース、HEVC265でCQ値を変更してもファイルサイズ殆ど変わらず画質も上がらず低画質しか生成できねえ
元のコーデックが悪いのかねえ
昔のバージョンだとうまく処理されないピクセル数とかなかった？
いろんなソースでまた検証します
ログみてもわからん

もしかして元の動画の画質を超えることを期待してる？

>>954
Jasna-modiの人かな、気が向いたら公開して頂戴
今実装されてるモデルだと実写はDVD程度の画質のものならBasiｃVSR+FlashVSR、アニメはSeedVR＋FlashVSRがイイ感じだった
二次復元に使う時のFlashVSRは、4ｘでもMaxクリップサイズ512までならVRAM消費最大10G未満でいけた
ただこの設定にしても必ずしも512ブロックずつ実行されるとは限らなくて、一桁程度のブロックで小刻み処理になる事もあるのはソースによるのかな？
SeedVRは等倍設定にしたら4070(VRAM12G)でも何とか実用範囲にはなりました

JASNA前に入れたときは色々設定したり他のファイル入れたりで
動かなくて諦めたんだが久々に入れたら最新のでは
Ladと同じく解答するだけで使えるようになってたんだな

細かい設定できるし無料のだけでも十分だしエンコ速度も速いので乗り換えたわ

Qminがデフォルトで高いから上がらない

>>957
SeedVR2+LoRAも試してくれてサンクス (FlashVSRの二段重ねも！)
lora_v6は公開してます
時間安定性が良くなっているので、もしlora_v5で処理していたらv6も試してみて
次はディテール再現性の詰めを頑張ってみる

>>955
低画質ソースだったらJasnaで普通に処理した後でFlashVSRとかDiT系のアップスケーラかけると良いよ
時間かかるけど 詳しくは >>608 以降のスレ参照

>>960
lola_ｖ6版感謝、入れてみたのであとで試してみます

>>955
表示アス比16:9　ソース720x480(1.78:1)のせいか？
再変換してからJASNAに渡したらうまくいった
他ファイルの検証は未だ出来てない
>>960
布教ご苦労さん
俺も何年も前からAIアプコンやってる　重要度が低いファイルは再生時リアルタイムアプコン

>>956
ごめん今気づいた
レアケースなのか具体的に言うと30分の動画を処理させたら133MBの動画が出来、CQ値を大きく変化させても数100KBの変化に留まったんだわ
普段からCQ低くして劣化抑えた書き出しして、後処理でAIアプコン又はファイルサイズを削る為にそのままソフトウェアエンコで再変換してる

いちおう補足、>>957の「Maxクリップサイズ512までならVRAM消費最大10G未満」
はタイル分割処理なしに設定した上での話(処理時間が全然速いので)

ウインドウズアップデートしたら途中で落ちて再起動するようになったわ・・・

これってAIなんですか？

このソフトは無料？
有料ならいくら？

5000万円

大昔にネットで拾ってきたり、DVDからエンコした動画をLADAする
↓
画質が気に入らなくてFANZAで動画をゲフンゲフンする
↓
前にとっておいた動画より画質がしょぼくて　(´・ω・｀)

HDストリーミングじゃない昔の作品は博打だなぁ・・・下手するとDVD借りた方がマシそうなのもあったし

DVDからエンコしたとか言ってる時点でアレだな
昔の話ならDivXとかてエンコしてたんじゃないの？
DVDISOはそのまま残してるよ。それをjasna向けに変換して、処理してから4倍にしてる。
もちろんオリジナルは死んでも消さない。今後どんな技術革新があるかわからないしな。

GPUドライバ616.56が原因だったわ、610.88にダウングレードして解決
jasna使う機会減って見落としてた

>>969
bob化すれば自然な60fpsだし、KFMやQTGMC使えばインタレ解除後の画質もFANZA480pよりずっといい

FANZAって画面の外周トリミングしてないか？
昔録画してた物よりなーんか観づらくて
アップ多いというか画角が狭い事に気付いたんたが…

昔のDVDを今のプレーヤーで再生、取り込むと一番上にノイズが乗るものがある
だから外周トリミングしてるんじゃないか

配信サイトのは4:3(16:12)ものを縦3トリミングして16:9にしてるからでしょう
インターレースそのままの小汚いのもあったりするし

なんで止まってんの

ネタが無い

安定しちゃってて特にない

jasnaの超優秀な検出モデル、二次修復モデルが出ればまた活気づくかな？

>>978
当然。
多くの人がそれを待ち望んでるでしょ。

Jasna-modiのFlashVSR二次修復はUNet4ｘよりかなりくっきりに仕上がるんで
(その分重いけども、処理を一次修復と交互にせず分けてるのは大変グッド)
Jasna本家にも導入されて軽量化が進んでほしい
SeedVRの一時修復の方はこまめにアプデされてるようだけどめっちゃ重いうえ、今んとこアニメの仕上がりがやや自然になる位で
実写に使うにはBasicVSRより上だなってのは感じなかった、BasicVSRで上手く仕上がらないのはむしろより変な出来になる事が多い
こっちは超解像では不可能なレベルで情報欠落してるとこに、捏造レベルで描きあがるくらいに進化したら面白いかも

>>980

Jasna-modi版気になります。github等で公開まってます。

>>981
公開されてるよ、自分でビルドしないとだけど
無料アカウントのチャッピーさんに相談しながらやればできる程度の難易度

昨日コーヒー課金してまだメールこないけどこんなもん？

メールじゃなくてKofiのアカウントページかなんかに来てた気がするわ

>>982
どこにあるの？

https://github.com/sh202603/jasna
じゃね、つこてないから詳細知らんけど

ありがとう
見てみたが、VRAMが16G必要なのか
自分のPCじゃだめだわ

>>986
これ
ここをAIに読ませてビルドの仕方を質問してけば環境構築は出来ると思うよ
そこからリンクあったと思うけど、SeedVRの一次モデルはここ
https://huggingface.co/sh202603/lada-seedvr2-lora/tree/main?not-for-all-audiences=true

>>987
ソースが1080PくらいまでならBasicVSR+FlashVSR二次修復はVRAM12Gあれば十分行けるよ
SeedVRの一次修復の方はかなりギリかも

GUIなりCLIなりバイナリじゃないと試すのもハードル高いわ

>>989
そうなのね
連休中にでもAIに頼んで挑戦してみるわ

AIに聞けば？じゃなくて、AIにやってもらえばいいんだよ
Power shell でClaude code開いて全部やってもらえ
次$20の課金ぐらいケチるな

AIに頼るやつはゲイ

AIケチるやつはお爺ちゃん
それでいて新聞や大手キャリア料金などの無駄なサブスク代払ってたりする

自己紹介乙かもしれない

ゲイではない
ニューハーフもいけるだけだ

次スレ
【超解像】Lada part6
https://egg.5ch.io/test/read.cgi/software/1789682962/

Claudeにビルドやらせようとしたら、センシティブだからできませんって言われた

claudeはエロに厳しい

1000
あきらめないで

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 81日 16時間 48分 11秒