【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

ハゲもいなくなるのか

男優がすげえ美尻になって性癖があらぬ方向へ

>>866
4070tiでPL50%

お前ら何も分かってないな
lada_mosaic_restoration_model_generic_v1.2.pthは
１） BVSR++でモザイク動画の30フレーム分の時系列変化を元に、モザイクのない画像を最尤推定して作る
２）　１）だけだとディティールが欠けていたり不自然になるので GAN (敵対的生成ネットワーク)で画像をブラッシュアップする
という２段構えの仕組みになってるの
お前らが「生成」と言ってるのは多分Diffusion Modelのことだが、GANだって立派な生成AIの一種

ちなみにJavPlayer はモザイク破壊の方式として、TecoGAN と BVSR++ の２種類があってどちらか１つを選んで使うようになってた
分かりやすく言うなら、lada の作者はその２つを組み合わせてlada_mosaic_restoration_model_generic_v1.2.pthを作ったわけ

最尤推定である程度までは復元出来るが完璧には復元しきれない
その足りない分を GAN で補って、つまりある程度の嘘も加えながら、自然に見えるように仕上げているの
だから、完全な嘘の画像ではないけれど、絶対に嘘が混じっていない画像というわけでもない
嘘と真実の区別がつかない丁度いい程度の画像が作られる仕組みになってるわけ

ほうほう

>>882
一行目さえなきゃへえそうなんだってなるかもだし、世間はそういう余計な事言わないから円滑に回ってる
ナチュラルに気の毒な人だ

貴方のその投稿もまた余計な事なのであります。
そしてこの私の書き込みも…

どっちでもいいんよ、要は今より良くなればそれでいい

モザイク化した部分をAIでそれらしく生成してそれらしく「復元」するだけだよ

>>858あて

AIの生成処理「だけ」で局部をそれらしく復元する、は技術的には出来るようにはなってる事はなってるんだけど
これを主体にした方法使うとVRAMめっちゃ食うし処理もくそ遅い
現状、例えば3060で2Dの動画を一本仕上げるのに1週間で終わるかな…？レベルだそうで
ごく一部の廃スペッコPC持ち以外には手の届かないものになってしまう
Jasnaが(現行バージョンだと)とんでもなく軽いのは超解像で処理してる比率が高いから

エロ漫画の海苔とかで同じようなことできるツールない？
AIに補わせるにしても結構細かく指示とか範囲指定しないといけなくて、ファイル投げて終わりのjasnaが羨ましい

>>889
lada_mosaic_restoration_model_generic_v1.2.pthを作った lada 作者の手柄だぞ
Jasnaはlada_mosaic_restoration_model_generic_v1.2.pthを使ってるだけ

>>890
エロ漫画とかエロアニメなんか、illustrious とか WanVideo を使って最初から無修正エロを自分で作った方がマシ

>>891
高速化したのはJaｓnaの人でしょ

開発中新モデルのサンプルはモザイクだったところの境界が全然わかんない
今のモザイク検出領域だけ処理して合成するやり方とは違うアプローチなんかな
ただ、現状は出力動画のfpsが今のMinMax H3の仕様(24fps)になっちゃってる
本番に向けては60fpsでも動くようにfinetune試すようだけど、ダメだったらフレーム生成に頼るようだ
モデル重いと60fpsや4K、8K VRは辛そうだな

「NVIDIA製品を中心に横ばいになっていたグラフィックカード価格が再び高騰」
>>890
あるよ　ググれ

>>890
文面からするとすでにやっていると思うが二次元はComfyUIを使うしかないはず
ファイル投げて完了するのは知らない、あるなら俺も教えてほしい

>>894
境界がわからないようにするのは、単に検出した領域から数ドット大きく修復すればいいだけの話では？

>>897
そういう工夫は今のツールでもやってる
今のツールだと復元された部分にちらつき、もやもや、ボケみたいな形でなんとなく周囲との違和感を感じることがあると思うけど
サンプル結果ではこの違和感をほとんど感じなかったと言いたかった
Discordに元動画・新モデル版・jasna版の3点セットで上がってるサンプルがあるから見てみればわかると思う

参考にしたいのですが、みなさんは1番どの解像度でやってますか？4k.fhd.hd.sd

>>866
3050 8G

新モデルのサンプルが気になってDiscord久しぶりに見てきたよ
珍よりも萬の精度が恐ろしいほど精細になってるなｗ
これは歴史が変わるレベルだわ

そりゃ楽しみだな

また破壊し直しの旅が始まるのか…

javのSRAみたいなもんか？

なんかエロじゃなくて、いかに綺麗にモザイク破壊するのかが目的になって来てるわ

質問

これって動画専用？　静止画は？
復元できるのはモザイクのみ？ ボカシは？

スレに書いてる

静止有料
動画無料
四角並ぶモザイクだけ

顔よりまんこの造形で女優を見るようになった
好みのまんこを見つけるとめちゃくちゃ嬉しい

容姿より興奮できるかどうかだな。
キレイでもマグロは嫌や。

フェラが得意なのは有名だけど
騎乗位のバックアングルも得意だね

fc2で気に入った子がいてその子の動画を収集してるんだけど、素人設定で顔モザイクのヤツがあって、なんとか外したいんだけど、jasnaでは無理かな？
試しにやってみたら、一瞬外れたりはしたけど、ほとんどは破壊できなかった

やめたほうが良い。あの目を見たらきっとトラウマになる。

そういう用途ならフェイススワップの方が良さそう

Jasnaは開発方針として顔モザ除去を対応する気はないそうだから
違うやつでやったらいいかと

やっぱり無理か。諦めるわ

rope使って、素人時代の無修ものに、プロになってからの盛れてる顔くっつけたりは普通にやってるけど

DLSS 5 Visual EnhancerなるWindowsのツールがGithubに公開されてる (サイトはググって)
WebUIから動画を指定してNeural Rendering (NR)を使ったアプスケ(3倍まで)とフレーム生成(120fpsまで)が可能
アプスケ品質はFlashVSRより劣るけど処理時間は桁違いに速いよ
なお 2x/3x 指定時も NR 自体は出力解像度で走るので、「NRで超解像」ではなく「DLSSでアプスケ後にNR」という挙動

自分でCLI化して(未公開)お試しでlada-exの二次復元とフレーム生成に組み込んでみた(jasnaでも同じやり方で動くと思うが未検証)
ざっと試した範囲では、二次復元の自然さは unet-4x > DLSS NR > RTX VSR の印象
速度で選ぶなら DLSS NR はあり
jasna 本体に入るかは作者次だね、新モデル優先なら当分入らなさそう

>>918
情報ありがとう

>>918
動作順序は
DLSSでフレーム補完→NRでアップスケール、であってる？

DLDSSかとオモタ

>>920
DLSS 5 Visual Enhancerは一度に両方はできない
アプスケ or フレーム補完どちらか一方の処理だけ
普通はアプスケ→フレーム補完の順で2回処理するんじゃないかな

なお、lada-exやjasnaで使う場合はちょっと特殊
検出されたモザイクの256x256領域をBasicVSR++で復元
→二次復元としてその256x256領域をアプスケ(ここにRTX VSR、DLSS NR、unet-4xを使う)
→元の256x256サイズに縮小して合成という流れでフレームを作ってる

lada-exとjasnaのmodi版に入れたフレーム生成機能はこの復元フレームを使ってフレーム補完してからエンコードしてる
なので、後付けでフレーム補完処理やるよりデコード/エンコードのセットを1回減らせる
たまに便利な機能

>>922
あなる納得

ladaとjasnaどっちがいいの？

>>924
中華の破解サイトを眺めてるとjasnaが優勢やね

SeedVR2+LoRA一次復元はアニメがBasicVSR++よりうまく処理できるようだ

コーヒー奢って一週間以上経つがいまだ音沙汰なし
時間掛かんのかね

>>927
すぐ来るよ
返事もくれる人だからメッセージ送ってみたら
いちおう確認しとくけど、寄付が15ドルに満たないのに来ない来ないって誤解してた人は先日いた

>>928
ありがとう　送ってみる^^

Buymeacoffeeのアカウントページに入ったら一週間前にメッセージが届いていた！

>>595
Jasna-modi版の人だよね
FlashVSRの2次修復をX4ではなくX2で動かすようにしてみたら、
VRAM12Mbでもタイル分割処理しなくて済む程度になってとりあえず実用範囲にはなったね、もちろん時間は掛かるけど
X2でもJasnaのUNet4xよりかなりディティールが上がってJasnaで修復した時のボケ感がかなり減ったたんで、ひとまず大満足
SeedVR2+LoRAの一次修復はまだ試してない

>>931
Jasna modi版改造＆試してくれてサンクス　595はそうです
スケールx2と周囲との色味ずれ補正対応を入れたFlashVSR二次復元V2版をLada-ex向けに作って
PR出したんだけどJasna向けにはまだポーティングしてないｗ
もし色味ずれが気になるようならFlashVSRを--color-fixつけて動かすようにするのが手っ取り早いです

SeedVR2+LoRAの一次復元が思ったよりもうまくいったので、今は一次復元のLoRA Finetuneを試行錯誤中
(Lada-exの方もいったんPR取り下げた)
古い動画や低解像度の動画、アニメなんかはいい感じに処理できてると思うのだけれど
今どきの1080p動画だとBasicVSR++に比べて時間安定性がいまいちなのをもう少しなんとかしたい

Jasna作者の新モデルがそのうち出るじゃん、なんだけど、あの別次元の出来(但しモデルがめちゃ重そう)を
普通のPCで扱えるレベルに落とし込むまで後どれだけ時間が必要なのかが分からないんだよね

>>932
ここしばらくテストしたデモをバンバン上げてるし新モデル製作にかなり気合入ってるようだけど
いつ実装できるレベルになるのか？実装したとしてどのくらいのスペックなら実用的な重さで済むのか？にはまだ全く先が見えてない感じ
そちらの製作物が磨き上がるんであれば、それはそれで大変ありがたい気がします
とりあえずバッジファイルに動画まとめてぶん投げればFlashVSR2ｘの2次修復まで終わるようにしたので、自分はしばらくこれでいいや

10年前のPCにRTX3050で、ｒｔｘladaはちゃんと動くけど、jasnaはほとんどフリーズ状態になってしまう
スペック高くないとダメなのかな

ｒｔｘlada→lada

>>934
初回起動でモデルのコンパイルが動いていると思われ
日本語READMEには、NVIDIA では通常 15〜60 分かかると書いてある
RTX3050+10年前のCPUだと一時間くらいかかってもおかしくないよ
初回は気長に待つんだｗ

GPUの設定の問題だった

jasnaでできた動画をアップスケールすると、
jasnaでできた動画をアップスケールすると、とんでもなく大きなサイズになるけど
それをもう一度 jasnaで処理すると、1時間程でいい具合にコンパクトなサイズになる
画質の劣化はあまり感じない モザイクの処理具合は一度目のまま

そんなヘンなことしないで普通に ffmpeg で av1 で mkv にするわ

>>938
アップスケールという事は解像度が上がっているのでは？

アプスケの設定が適当でビットレート上げすぎてるんじゃない？

RuntimeError: Failed to mux h264 video into '.mp4' output: Invalid argument

こんなエラー出るようになったんだけどどういう事？手持ちノートPC二台とも

ChatGPTに聞け

やー、ついにここまで来たかって感じかな
博士の時から実験させて貰ってるけど隔絶の感あるね
もちろん博士の功績も大きいとは思うけど

社会からの隔絶？

博士にはイグノーベル賞をあげても良いぞ　モザイク破壊の先駆者レジェンド

>>946
イグノーベル賞の趣旨は「人々を笑わせ、そして考えさせる研究を讃えること」

Macで破壊はこちら

https://github.com/mioh-labs/mioh

M4 Pro 64GBなんですが8kVRの破壊できますか？

>>947
人類の半分を笑顔にはしてくれたぞ

>>949

実装はしていないけどできる。

>>949

改めて実装してみたけどswap発生しまくりで非実用。

playerのバッファ3秒を増やす方法ない？

SeedVR2+LoRAの一次復元、学習方法再点検したら動画LoRA段に改善余地見つかって
これを対策したv6版だと1080p動画でも時間安定性はBasicVSR++に近い水準になったと思う
映像はRTX VSRで二次復元かけたのと同等、ものによってはもっとクッキリするけど
生成系だから細部はBasicVSR++の結果とは一緒にはならないね

>>953
Jasnaの復元動画 Playerはバッファ時間を変える設定ないよ
増やすならソースコードの修正が必要
バッファ時間を+3秒すると1080p動画でメインメモリの消費が+0.8GBくらい追加で必要
VRAM量は変わらない

720x480ソース、HEVC265でCQ値を変更してもファイルサイズ殆ど変わらず画質も上がらず低画質しか生成できねえ
元のコーデックが悪いのかねえ
昔のバージョンだとうまく処理されないピクセル数とかなかった？
いろんなソースでまた検証します
ログみてもわからん

もしかして元の動画の画質を超えることを期待してる？

>>954
Jasna-modiの人かな、気が向いたら公開して頂戴
今実装されてるモデルだと実写はDVD程度の画質のものならBasiｃVSR+FlashVSR、アニメはSeedVR＋FlashVSRがイイ感じだった
二次復元に使う時のFlashVSRは、4ｘでもMaxクリップサイズ512までならVRAM消費最大10G未満でいけた
ただこの設定にしても必ずしも512ブロックずつ実行されるとは限らなくて、一桁程度のブロックで小刻み処理になる事もあるのはソースによるのかな？
SeedVRは等倍設定にしたら4070(VRAM12G)でも何とか実用範囲にはなりました

JASNA前に入れたときは色々設定したり他のファイル入れたりで
動かなくて諦めたんだが久々に入れたら最新のでは
Ladと同じく解答するだけで使えるようになってたんだな

細かい設定できるし無料のだけでも十分だしエンコ速度も速いので乗り換えたわ

Qminがデフォルトで高いから上がらない

>>957
SeedVR2+LoRAも試してくれてサンクス (FlashVSRの二段重ねも！)
lora_v6は公開してます
時間安定性が良くなっているので、もしlora_v5で処理していたらv6も試してみて
次はディテール再現性の詰めを頑張ってみる

>>955
低画質ソースだったらJasnaで普通に処理した後でFlashVSRとかDiT系のアップスケーラかけると良いよ
時間かかるけど 詳しくは >>608 以降のスレ参照

>>960
lola_ｖ6版感謝、入れてみたのであとで試してみます

>>955
表示アス比16:9　ソース720x480(1.78:1)のせいか？
再変換してからJASNAに渡したらうまくいった
他ファイルの検証は未だ出来てない
>>960
布教ご苦労さん
俺も何年も前からAIアプコンやってる　重要度が低いファイルは再生時リアルタイムアプコン

>>956
ごめん今気づいた
レアケースなのか具体的に言うと30分の動画を処理させたら133MBの動画が出来、CQ値を大きく変化させても数100KBの変化に留まったんだわ
普段からCQ低くして劣化抑えた書き出しして、後処理でAIアプコン又はファイルサイズを削る為にそのままソフトウェアエンコで再変換してる

いちおう補足、>>957の「Maxクリップサイズ512までならVRAM消費最大10G未満」
はタイル分割処理なしに設定した上での話(処理時間が全然速いので)

ウインドウズアップデートしたら途中で落ちて再起動するようになったわ・・・

これってAIなんですか？

このソフトは無料？
有料ならいくら？

5000万円

大昔にネットで拾ってきたり、DVDからエンコした動画をLADAする
↓
画質が気に入らなくてFANZAで動画をゲフンゲフンする
↓
前にとっておいた動画より画質がしょぼくて　(´・ω・｀)

HDストリーミングじゃない昔の作品は博打だなぁ・・・下手するとDVD借りた方がマシそうなのもあったし

DVDからエンコしたとか言ってる時点でアレだな
昔の話ならDivXとかてエンコしてたんじゃないの？
DVDISOはそのまま残してるよ。それをjasna向けに変換して、処理してから4倍にしてる。
もちろんオリジナルは死んでも消さない。今後どんな技術革新があるかわからないしな。

GPUドライバ616.56が原因だったわ、610.88にダウングレードして解決
jasna使う機会減って見落としてた

>>969
bob化すれば自然な60fpsだし、KFMやQTGMC使えばインタレ解除後の画質もFANZA480pよりずっといい

FANZAって画面の外周トリミングしてないか？
昔録画してた物よりなーんか観づらくて
アップ多いというか画角が狭い事に気付いたんたが…

昔のDVDを今のプレーヤーで再生、取り込むと一番上にノイズが乗るものがある
だから外周トリミングしてるんじゃないか

配信サイトのは4:3(16:12)ものを縦3トリミングして16:9にしてるからでしょう
インターレースそのままの小汚いのもあったりするし

なんで止まってんの

ネタが無い

安定しちゃってて特にない

jasnaの超優秀な検出モデル、二次修復モデルが出ればまた活気づくかな？