【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>908 の追加情報

「--detection-model-path」で「lada_vr_mosaic_detection_model_v2_accurate.pt」を指定し
「--detection-model」で「lada-yolo-v2」を指定することでファイル名を変更しなくても正常にコンパイルされ動作した。
ファイル名を変更しなくてもYOLO系のモデルの切り替えが行える。

jasna v0.7.2 パッケージ版RTX5080 / Linux / 1080p全長(17.5分) ベンチ

検出モデル3種 (rfdetr-v5/lada-yolo-v4/lada-yolo-v2 (vr_v2_accurate) ✕
2次復元3ケース(none/rtx-super-res(4x, ultra)/unet-4)の9パターン

検出(none時): lada-yolo-v4 2:02 < lada-yolo-v2 2:25 < rfdetr-v5 3:17
2次復元の追加: rtx-super-res +約36秒・+約0.5-0.7GB / unet-4x +約112秒・+約1.7GB ※検出モデルに依らず一定
VRAM最大8.7GB(16GB余裕)、unet-4x(サポーター)・rtx ともパッケージ版で動作OK

俺環ではunet-4のほうがVRAM使用量多かった
>>904 コメントの通りunet-4xの方が仕上がりは自然な感じ
この位の時間増加なら常用しても良いと思った

unet4ってファイルサイズ倍くらいにならない？
現状調整できないから長時間の動画は躊躇してる

>>913
エンコードはjasnaのデフォ設定にしてるけど、
元動画がH264のせいもわからんが出力(HEVC)のサイズはむしろ小さくなっている

みんなエンコードのCQいくつにしてる？
俺なんてFHDならhevcで26くらいで十分だけど

19

>>915
18 22に比べモザイク破壊の効果が向上した。あとはパラメータにaqとlookahead関連を追加指定している。

解凍したjasna v0.7.2の中のmodel_weightsフォルダの中の
lada_mosaic_detection_model_v4_fast.pt
lada_mosaic_restoration_model_generic_v1.2.pth
と>>2を適用したそれってファイルサイズからして違うみたいだけど違うものなの？
とりあえず今までどおり>>2を適用してyolo-v4で使ってるのですが

系統は一緒だけと別モデルだよ
>>2 の検出モデルは同梱されているv4-fastと同じYOLO系のモデルだけどVR Video Toolboxの作者さんがv2-accurateをVR用に微調整した検出モデルと思う
復元モデルの方は同梱されているv1.2の微調整前の元ネタ(v1.2_full)。lada作者さんが自分で微調整したい人向けに公開している

なお、検出モデルについては万能な最適モデルは無いよ。コンテンツ依存かつ処理ツール依存
経験的に簡単なモザだとv4-fastで十分なケースも多い
小さい/ぼけた/端のモザ、数が多い箇所のある動画では vr_v2やRF-DETR が取りこぼし少ない傾向

数値的に検出モデルを比較するツール作ったけど、誤検知と取りこぼしがあるので最後は目で見てチェックが必要だった
AIもチェック出来る能力あるけど、それやらせると規約に引っかかるｗ

>>919
丁寧な説明ありがとう

被写体が早く動く動画フェ〇などで、映像が波打つ場合がどうしたらいい？同じ現象の人いる？

>>917
完全後処理なのに？

いわゆるjasnaのカクカク現象だと思うが
使ってるバージョン古かったら最近のでやってみな
それでもだめなら素材が怪しい

>>874
助かります！こういうアプリを探してました。

今までアップデートされるたびに試しても映像が二重になったりしてた動画、静止画切り出してやってみたら、改善してる気がする。今後このモデルが動画に適用されることに期待だな。

>>922
HEVC（H.265）にエンコードする際、平坦な部分の階調の維持など見た目の画質が良くなると思っている。効果は元になるソースに依存するが、サイズや処理時間の増加もさほど大きくないので、常用している。

静止画モデル、エロ漫画のモザ取りに使えるかも。カラー原稿にはかなり効く。
ていうか、逆に生々しい。
雑誌修正のモノクロ原稿にも、まあまあ使える。
モザイクとして認識されないときは、フォトショとかで上からモザイクすると認識されることも。
勿論、白抜きや黒塗りはダメ。

だからそういうのは Stable Diffusion でやればいいっての

0.7.1から0.7.2にしたら、keyを入れ直さないといけないのかと思ってたが、引き継がれた。どこかにログイン情報が保存してあるのか。古いヤツフォルダごと消しても大丈夫かな？

静止画はエロゲーの絵でやるのありだった
VR破壊の裏で遊ぶ程度にはありな機能だと思った

ladaみたいな一時停止が欲しいんだよな
スリープできるから

欲しいよな
VRAMカツカツまで使われると他の作業入れづらくなる
意外と難しいのかバカ高いアプコンツールでも昔のバージョンには一時停止なかったりするよね

サスペンドしてもVRAMは開放されないから意味ないぞ

>>928

stable diffusionのinpaintで出来るのは解るけど、作業効率がスコップと除雪機くらい違う。
漫画はページ数が有るのでな

VRJAVのモザ無しが気軽に見れる世の中だったら少子化がさらに加速するし、夜の産業も衰退するだろなぁ
こんな破壊兵器は一部の（酔狂な）人だけが楽しむべきだわな

VR対応したの？

BTCが下がってるの気になるわ

AIに金庫破りされたーとか言ってまたそろそろ大手が盗難されそうw

BMIが上がるのも気になるわ

Jasnaの更新情報って定期的にGitHubを見るしかないのかな？少し前にAIにアプリ作らせようとしてGitHubのアカウントは作ってあるんだけど、作者をフォローしたら更新通知くる？

フォローというか、GitHubのwatch機能でリポジトリのリリースをwatchしとけばいいんじゃね

>>941
ありがとう、やってみる

そっか。AIにAVメーカーのハッキングしてもらえば全部解決するやんな。

VRの片目だけ流出してたのはあったな

Jasnaってもうタダでは使えないの？
0.7.2を解凍したらファイルがいっぱい出来たんだけど

コーヒー代☕を払うのじゃ(大嘘

>>945
コーヒー代払ってメールアドレスとキーを貼り付けるとこれが使えるようになります:
・UNet 4x アップスケーリングモデル
・SD 1.5による静止画修復
個人的にはどっちも要らなかった

ちなみに皆さん、コーヒー代っていくら位にされてます？

今後の期待を込めて50ドル払った

期待をこめて星５つみたいなもんだな

15ドル以上じゃなかったっけ？

Unet4xて見てわかるほど高性能なの？だったらコーヒーご馳走するけどな

jasnaのvr用PRを試した猛者はいない？
相当速くなりそうだけど

>>948
知らずに10ドル払ったら「ごめんね平等に15ドル以上にしてるから」って連絡がきたので、追加で5ドル払ったらキーが送られてきた

0.7ならまだ1までは大分あるからな
1になったら強制金になるかもしれんが
相当先だから課金はもっと後でいい

>>929
Windowsだと %APPDATA%\jasna に license.json が作られてそこにメアドとキーが格納されるようだ
なので、古いバージョンはごっそり消しても大丈夫
その場合、新しい版の初回実行時にモデルコンパイルが走るけどね

ちなみに、%APPDATA%\jasna をexplorerのアドレスバーにコピペしてエンターキーを押せば
このフォルダに簡単にたどり着ける

>>956
ありがとう。古いバージョン、安心して消せる。

>>952
ちんこに関しては劇的な向上はない気がするけど、まんこは良くなった気がする。スジマンから開いた時にのっぺらぼうにならなくなった。同じ動画で試して比べた訳じゃないから、たまたま相性が良かっただけかもだけど。
自分は、これまでの感謝と今後への期待を込めて課金したが、焦ってするほどでもないかな。様子見でもいいと思う。

同じ動画3本でやってみたが全く変わらんよ
速度も遅いし、ただ応援したい人向けだよ

善意に金額設定すんなって思うわな

削除し忘れたLADAの古いバージョンで復元した動画があったので
Jasna v0.7.2で復元したのと比べてみたらとんでもないレベルで進化してるぞ
お前ら目が肥えて贅沢になってんだわ
黙って手を合わせて作者様に課金しろ

>>961
それな

JAVPLAYERから破解はじめた者として、今の精度は神よ。製作者には感謝しかない。もちろん更なる向上には期待するけど。

過去スレで二次修復にいちゃもん付けてたのもいたけど恩恵ある、vsrとunetの差異はgridplayerで見比べてもわからんが

FC2で集めた無修正動画を使って自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を Fine tune して新しいモデル作ったわ
もうね、二次修復しなくてもクッキリ見える

自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を作ってみて分かったけど、
>>1 で紹介されてる　lada_mosaic_restoration_model_generic_v1.2_full.pth　は意味ない

https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
での、stage2 終了直後のものが　lada_mosaic_restoration_model_generic_v1.2_full.pth　

で、そこから　export-weights-basicvsrpp-stage2-for-inference.py　を実行して、モザイク破壊に必要な情報だけを抜き取ったやつが lada_mosaic_restoration_model_generic_v1.2.pth

破壊結果は full でも fullじゃなくても同じ

5070ti 16GB なら
stage1の学習で16時間（iter 100000）
stage2の学習で18時間（iter 100000に変更）
で出来る
unetに課金するより、自分でモデルを作った方がいいよ

>>965
HFで公開してる人かな？

処理の高速化に行き詰まっていて、これ以上は復元モデル小型化とかの再学習に手を出すしか無いのか、とか思っているんだけど、
その学習データセット準備と確認にどんだけ時間ががかかるんだろうか？
数千クリップのサムネとか誤検知の確認やったら時間〜日オーダーっすよね・・・

集めた無修正動画を１つのディレクトリにおいて　create-mosaic-restoration-dataset.py　を実行すれば全部自動で学習データを作ってくれるぞ
２時間くらいの動画なら100~400個くらいのクリップが出来る
自分で切り出す必要はない

こういうのってモザ前後で学習するもんだと思ってたけど非モザだけで良いのか

学習時にバイナリマスクに合わせてモザかかってるデータも作ってたはず
実写はデータ豊富で羨ましいな
アニメはデータが限られてて1ヶ月かけても仕上がりに納得がいかなかったよ

>>970
やってみたいから、もう少し詳しくやり方教えて

>>965
うpきぼんぬ

>>971
学習の stage1 で自動的に様々な大きさのモザイクを掛けた上で
モザ無し画像とモザ有り画像とを使って教師学習させてる

FC2500が一番いいような気がする

>>970
5070tiでいいモデルを作れるんなら、作者の人にやり方教えてあげればめっちゃ喜ぶと思うよ
寄付を募ってるのは復元モデル制作用のサーバー借りる資金を作るためだそうなんで

>>966
復元モデルのv1.2とv1.2_fullの違いだが意味ないことは無いよ
jasna v0.7.2 (処理パイプラインが決定的であることは確認済み) で出力動画のSSIMを取ってみると
HD動画の入力について、v1.2の処理結果を基準としてv1.2_full処理結果と全体SSIMを測定　→　0.9955
と微妙に1ではないので、復元モデルの差分がフレームに反映されてる

GridPlayerで並べて目視比較してもv1.2_fullの方がディテールがよくなっている部分ある
意味あるかどうかは素材によりけりってことで

決定的：同じモデル・パラメタで何回実行しても結果が変わらないこと

jasnaの作者に支援した。しばらくしてキーを送ってきたんだが、プログラムコード？のような、絶対すべて正確に打ち込めないだろうってくらい異常に長い文字列を送ってきたんだが、これJasna有効化するキーと違うよな。

>>979
合ってるで
GUIの上にある有効化のところからメアドとキーをコピペすればいい

>>979 >>899
たぶんマウスでしかコピペしたことない？

>>980 こういう質問する人はCtrl+C/Ctrl+V知らん可能性が高い

>>977
jasna を作れる人間なら、https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md　
を読めば finetune だって出来るわ
ただ、微妙に完成度が低いから用意されてるスクリプトを書き換えないとエラーで落ちる
あと、5070ti 16GB で batch=2 のままだと OOM で落ちる
でも batch=1 にすればいいだけだからな

素材から学習用データセットを作るのに１日、
stage1 の学習に１日、
stage2 の学習に１日、
全部で３日で出来るわ

>>982
Claude Codeに必要なドキュメントと元ネタ渡して計画→fine tuneスモークテストやってもらったらできたわ
書いてある通りDOVERの重みロードでスクリプトにパス指定のバグあって直す必要あった
5080持ってるがVRAM 16GBだときついね batch=1に加えて num_frame も減らさないと安定しなかった
本番には500本前後必要そうなので、あとは素材の質・多様性と時間の問題か・・・

>>981
お察しの通り、マウスでしかコピペしたことなかった。お陰で無事解決した。ありがとう。

>>970
そのスクリプトってどこにあるの？

>>985 ladaリポジトリのscripts/dataset_creationの中だ
それをここで聞いている時点で道のりは果てしなく遠いと思う

エロ動画収集趣味の効率上げるためにマウスのサイドボタンにctrl+v割り当ててあるから特に困らなかったw