【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>872 >>873 教えてくれてありがとう。まだ、買わないかな••

静止画のやつなんて Stable Diffusion の inpaint そのものだからなぁ
作者は何考えてこんな馬鹿な機能をつけたんだ😮‍💨

静止画の方はアニメもいけるのか？

静止画ってどういうニーズがあるん

ver.6系ではzelefansのVR TOOLをそのままフォルダ上書きで使えてたけど、7だとノットファウンドエラーが出てダメだ
EXEのファイル名変わったからそれかと思ったけど、ダメだった
トラブル起きたときAIとかに聞いて解決できてる人たち尊敬する

>>878
動画を一枚一枚静止画で取り出して、一枚ずつinpaintで修正して、また動画につなげる
とかいう馬鹿みたいなこと考えてるんじゃねぇの？😏

バカみたいに時間がかかるし、フレーム間での描画の同一性が無いから見てられない画像になる
無駄なことに時間を掛けないで欲しいわ、作者

モーションjpeg懐かしい

どういう立場でそんなこと言えるんだ…

Javski博士

やさぐれてんのか

熱烈投稿とかアップル通信の破壊を楽しむんじゃないの
と思ったけど黒塗りだっけか

何も生まない奴ほど否定的なことを吐く
無駄に見えても新しいものへの創出に繋がってるんだよ

とはいえ実際問題モザイク破壊と画像生成は考え方が異なるものだからあんまり混ざるとは思えないけどね
自前でinpaintするよりは安易にできるな、とは思ったけどladaにはその機能求めてない

>>885
そんなの Stable Diffusion でやればいいだろ

>>886
Stable Diffusion が出始めた２、３年前の頃にみんな一度は試したようなことをいまさらやってるのに新しさもへったくれも無いんだがな

>>888
どしたん？抜いて落ち着けよ

>>889
モンスター化するからその辺でやめたれ

あれを連続性持たせられたらな…
まぁ無理なんですが

SDはControlnet使ってもダメだったしWan-VACEなら出来そうだけど時間がかかりすぎるんだよな

静止画は静止画として見る
元が静止画ならそれを繋げるなんてやらない
なんか得意気にそれ書き込む奴いるけどアホなんじゃないかな

静止画ならわざわざjasna使う必要ない訳で作者の意図がわからんのよ
動画に応用するなら動画生成モデル使わないと一貫性保てないのは分かってるんだからさ
ただのおまけ機能ならそれはそれでいいよ

開発者コメントきたで (issue #204)
サポーターは今後に期待できそうかな？

以下超意訳

ざっくり言うと、静止画像でちゃんと復元できないなら動画復元も意味ない
SD1.5は完璧じゃないけど、まずは単一フレームのモデルから始めて、あとで時間方向の仕組みを足して動画化していくのが現実的な流れ
あとSD1.5も完全に適当に生成してるわけじゃなくて、入力（モザイク）をガイドにして徐々にディテールを足してる
検出モデルにはちょっと驚いてる。静止画像だけで学習されてて時間的な要素ないし、正直それでいいの？って感じ
自分もladaappも、複数フレームまとめて学習させたりはしてない
手動マスクも一応考えたけど、今はそこに時間かけるつもりはないかな

>>874
動画から静止画の抽出は既にインストールされているはずのffmpegでできるので必要ない
もちろん、jpg以外の画像にもできるし、連続静止画もできる

【例】1:23:45から1:24:45までを、1秒4フレームでoutput_001.jpg・output_002.jpg・・・と連番で取得
ffmpeg -ss 1:23:45 -to 1:24:45 -i input.mp4 -r 4 output_%03d.jpg

jasna有効化にキーが張り付けできないんだけど、送られてきたキーめちゃ長いんだけどこれ手動で入力するの？

普通にコピペできたけど？

俺もマウスでしかコピペしたことなかったから悩んだ、マウスでキーを範囲指定してキーボードCtrl + Cでコピー、Ctrl + Vでペースト
で出来た。

Linux版0.7.2 用
ln -s libavformat-ec222fac.so.62.12.101 libavformat.so.62
ln -s libavcodec-c3f15378.so.62.28.101 libavcodec.so.62
ln -s libavutil-04440b0f.so.60.26.101 libavutil.so.60
ln -s libswresample-e1033d35.so.6.3.101 libswresample.so.6
ln -s libswscale-15608d2f.so.9.5.101 libswscale.so.9

>>900
linux版のパッケージ展開に失敗してるだけじゃね？
以下のように展開したらシンボリックリンクは最初から張られてたぞ
($HOME直下にダウンロードしたファイル3つがあったとして)
mkdir jasna-v0.7.2
cd jasna-v0.7.2
cat ~/jasna-linux.tar.zst.part-a? |tar xvf - --zstd

>>899
ほんとだ出来た。

>>861
勘違いしている人の言い分では「女性の画像の股間にモザイクが掛かっているからモザイクの部分には女性器を描写しておくね」という動作をするものが「モザイク破解」という事になっている
だから「破解ミスって女にチンポが生える事があるじゃん」というあり得ない事象の報告があったりする
なんだろう、この人たち実際に破解してみた事があるんだろうか？

コーヒー課金してunet-4xやってみたが、RTX super resより確かに色合いとかも自然な仕上がりになるね。ただ、deblurやdenoiseの細かい設定までとなると好みになるかも。
あと、unetの方がRTXよりメモリの使い方がマイルドなのか、完走出来ない動画が完走出来るようになったので個人的には満足。

某小林なんとかさんのやってみたらちゃんと前張りになってたよ

>>905
それ、見てみたいw

古い作品だと、綺麗にモザイク削除できない事が多いけど、擬似だと言われたAV女優の作品をモザイク削除したら、
確かに擬似だったというのを確認出来たのがあった。

>>870

教えて頂いた方法で上手く動作しました。

復元モデルは「--restoration-model-path」でを直接ファイル名を設定して正常にコンパイルされ動作したので
検出モデルも同様に「--detection-model-path」で直接ファイル名を設定すると正常に動作しない。

VRの偽チ◯コは許せんな
破壊したらワンチャン普通のチ◯コっぽくなるかもと期待したが無理や

>>895
#204で問題提起した人も勘違いしてて作者さんに解説されてたけども
SD1.5の画像復元は適当に生成してるわけじゃなくて、ある程度は元映像を反映出来てるのがスゲーと思った
このレベルで1枚だけ復元する分には、(一定以上の時間幅の)前後のフレーム参照は必須ではないんだね

>>908 の追加情報

「--detection-model-path」で「lada_vr_mosaic_detection_model_v2_accurate.pt」を指定し
「--detection-model」で「lada-yolo-v2」を指定することでファイル名を変更しなくても正常にコンパイルされ動作した。
ファイル名を変更しなくてもYOLO系のモデルの切り替えが行える。

jasna v0.7.2 パッケージ版RTX5080 / Linux / 1080p全長(17.5分) ベンチ

検出モデル3種 (rfdetr-v5/lada-yolo-v4/lada-yolo-v2 (vr_v2_accurate) ✕
2次復元3ケース(none/rtx-super-res(4x, ultra)/unet-4)の9パターン

検出(none時): lada-yolo-v4 2:02 < lada-yolo-v2 2:25 < rfdetr-v5 3:17
2次復元の追加: rtx-super-res +約36秒・+約0.5-0.7GB / unet-4x +約112秒・+約1.7GB ※検出モデルに依らず一定
VRAM最大8.7GB(16GB余裕)、unet-4x(サポーター)・rtx ともパッケージ版で動作OK

俺環ではunet-4のほうがVRAM使用量多かった
>>904 コメントの通りunet-4xの方が仕上がりは自然な感じ
この位の時間増加なら常用しても良いと思った

unet4ってファイルサイズ倍くらいにならない？
現状調整できないから長時間の動画は躊躇してる

>>913
エンコードはjasnaのデフォ設定にしてるけど、
元動画がH264のせいもわからんが出力(HEVC)のサイズはむしろ小さくなっている

みんなエンコードのCQいくつにしてる？
俺なんてFHDならhevcで26くらいで十分だけど

19

>>915
18 22に比べモザイク破壊の効果が向上した。あとはパラメータにaqとlookahead関連を追加指定している。

解凍したjasna v0.7.2の中のmodel_weightsフォルダの中の
lada_mosaic_detection_model_v4_fast.pt
lada_mosaic_restoration_model_generic_v1.2.pth
と>>2を適用したそれってファイルサイズからして違うみたいだけど違うものなの？
とりあえず今までどおり>>2を適用してyolo-v4で使ってるのですが

系統は一緒だけと別モデルだよ
>>2 の検出モデルは同梱されているv4-fastと同じYOLO系のモデルだけどVR Video Toolboxの作者さんがv2-accurateをVR用に微調整した検出モデルと思う
復元モデルの方は同梱されているv1.2の微調整前の元ネタ(v1.2_full)。lada作者さんが自分で微調整したい人向けに公開している

なお、検出モデルについては万能な最適モデルは無いよ。コンテンツ依存かつ処理ツール依存
経験的に簡単なモザだとv4-fastで十分なケースも多い
小さい/ぼけた/端のモザ、数が多い箇所のある動画では vr_v2やRF-DETR が取りこぼし少ない傾向

数値的に検出モデルを比較するツール作ったけど、誤検知と取りこぼしがあるので最後は目で見てチェックが必要だった
AIもチェック出来る能力あるけど、それやらせると規約に引っかかるｗ

>>919
丁寧な説明ありがとう

被写体が早く動く動画フェ〇などで、映像が波打つ場合がどうしたらいい？同じ現象の人いる？

>>917
完全後処理なのに？

いわゆるjasnaのカクカク現象だと思うが
使ってるバージョン古かったら最近のでやってみな
それでもだめなら素材が怪しい

>>874
助かります！こういうアプリを探してました。

今までアップデートされるたびに試しても映像が二重になったりしてた動画、静止画切り出してやってみたら、改善してる気がする。今後このモデルが動画に適用されることに期待だな。

>>922
HEVC（H.265）にエンコードする際、平坦な部分の階調の維持など見た目の画質が良くなると思っている。効果は元になるソースに依存するが、サイズや処理時間の増加もさほど大きくないので、常用している。

静止画モデル、エロ漫画のモザ取りに使えるかも。カラー原稿にはかなり効く。
ていうか、逆に生々しい。
雑誌修正のモノクロ原稿にも、まあまあ使える。
モザイクとして認識されないときは、フォトショとかで上からモザイクすると認識されることも。
勿論、白抜きや黒塗りはダメ。

だからそういうのは Stable Diffusion でやればいいっての

0.7.1から0.7.2にしたら、keyを入れ直さないといけないのかと思ってたが、引き継がれた。どこかにログイン情報が保存してあるのか。古いヤツフォルダごと消しても大丈夫かな？

静止画はエロゲーの絵でやるのありだった
VR破壊の裏で遊ぶ程度にはありな機能だと思った

ladaみたいな一時停止が欲しいんだよな
スリープできるから

欲しいよな
VRAMカツカツまで使われると他の作業入れづらくなる
意外と難しいのかバカ高いアプコンツールでも昔のバージョンには一時停止なかったりするよね

サスペンドしてもVRAMは開放されないから意味ないぞ

>>928

stable diffusionのinpaintで出来るのは解るけど、作業効率がスコップと除雪機くらい違う。
漫画はページ数が有るのでな

VRJAVのモザ無しが気軽に見れる世の中だったら少子化がさらに加速するし、夜の産業も衰退するだろなぁ
こんな破壊兵器は一部の（酔狂な）人だけが楽しむべきだわな

VR対応したの？

BTCが下がってるの気になるわ

AIに金庫破りされたーとか言ってまたそろそろ大手が盗難されそうw

BMIが上がるのも気になるわ

Jasnaの更新情報って定期的にGitHubを見るしかないのかな？少し前にAIにアプリ作らせようとしてGitHubのアカウントは作ってあるんだけど、作者をフォローしたら更新通知くる？

フォローというか、GitHubのwatch機能でリポジトリのリリースをwatchしとけばいいんじゃね

>>941
ありがとう、やってみる

そっか。AIにAVメーカーのハッキングしてもらえば全部解決するやんな。

VRの片目だけ流出してたのはあったな

Jasnaってもうタダでは使えないの？
0.7.2を解凍したらファイルがいっぱい出来たんだけど

コーヒー代☕を払うのじゃ(大嘘

>>945
コーヒー代払ってメールアドレスとキーを貼り付けるとこれが使えるようになります:
・UNet 4x アップスケーリングモデル
・SD 1.5による静止画修復
個人的にはどっちも要らなかった

ちなみに皆さん、コーヒー代っていくら位にされてます？

今後の期待を込めて50ドル払った

期待をこめて星５つみたいなもんだな

15ドル以上じゃなかったっけ？

Unet4xて見てわかるほど高性能なの？だったらコーヒーご馳走するけどな

jasnaのvr用PRを試した猛者はいない？
相当速くなりそうだけど

>>948
知らずに10ドル払ったら「ごめんね平等に15ドル以上にしてるから」って連絡がきたので、追加で5ドル払ったらキーが送られてきた

0.7ならまだ1までは大分あるからな
1になったら強制金になるかもしれんが
相当先だから課金はもっと後でいい

>>929
Windowsだと %APPDATA%\jasna に license.json が作られてそこにメアドとキーが格納されるようだ
なので、古いバージョンはごっそり消しても大丈夫
その場合、新しい版の初回実行時にモデルコンパイルが走るけどね

ちなみに、%APPDATA%\jasna をexplorerのアドレスバーにコピペしてエンターキーを押せば
このフォルダに簡単にたどり着ける

>>956
ありがとう。古いバージョン、安心して消せる。

>>952
ちんこに関しては劇的な向上はない気がするけど、まんこは良くなった気がする。スジマンから開いた時にのっぺらぼうにならなくなった。同じ動画で試して比べた訳じゃないから、たまたま相性が良かっただけかもだけど。
自分は、これまでの感謝と今後への期待を込めて課金したが、焦ってするほどでもないかな。様子見でもいいと思う。

同じ動画3本でやってみたが全く変わらんよ
速度も遅いし、ただ応援したい人向けだよ

善意に金額設定すんなって思うわな

削除し忘れたLADAの古いバージョンで復元した動画があったので
Jasna v0.7.2で復元したのと比べてみたらとんでもないレベルで進化してるぞ
お前ら目が肥えて贅沢になってんだわ
黙って手を合わせて作者様に課金しろ

>>961
それな

JAVPLAYERから破解はじめた者として、今の精度は神よ。製作者には感謝しかない。もちろん更なる向上には期待するけど。

過去スレで二次修復にいちゃもん付けてたのもいたけど恩恵ある、vsrとunetの差異はgridplayerで見比べてもわからんが

FC2で集めた無修正動画を使って自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を Fine tune して新しいモデル作ったわ
もうね、二次修復しなくてもクッキリ見える

自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を作ってみて分かったけど、
>>1 で紹介されてる　lada_mosaic_restoration_model_generic_v1.2_full.pth　は意味ない

https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
での、stage2 終了直後のものが　lada_mosaic_restoration_model_generic_v1.2_full.pth　

で、そこから　export-weights-basicvsrpp-stage2-for-inference.py　を実行して、モザイク破壊に必要な情報だけを抜き取ったやつが lada_mosaic_restoration_model_generic_v1.2.pth

破壊結果は full でも fullじゃなくても同じ

5070ti 16GB なら
stage1の学習で16時間（iter 100000）
stage2の学習で18時間（iter 100000に変更）
で出来る
unetに課金するより、自分でモデルを作った方がいいよ

>>965
HFで公開してる人かな？

処理の高速化に行き詰まっていて、これ以上は復元モデル小型化とかの再学習に手を出すしか無いのか、とか思っているんだけど、
その学習データセット準備と確認にどんだけ時間ががかかるんだろうか？
数千クリップのサムネとか誤検知の確認やったら時間〜日オーダーっすよね・・・

集めた無修正動画を１つのディレクトリにおいて　create-mosaic-restoration-dataset.py　を実行すれば全部自動で学習データを作ってくれるぞ
２時間くらいの動画なら100~400個くらいのクリップが出来る
自分で切り出す必要はない

こういうのってモザ前後で学習するもんだと思ってたけど非モザだけで良いのか

学習時にバイナリマスクに合わせてモザかかってるデータも作ってたはず
実写はデータ豊富で羨ましいな
アニメはデータが限られてて1ヶ月かけても仕上がりに納得がいかなかったよ

>>970
やってみたいから、もう少し詳しくやり方教えて

>>965
うpきぼんぬ

>>971
学習の stage1 で自動的に様々な大きさのモザイクを掛けた上で
モザ無し画像とモザ有り画像とを使って教師学習させてる