【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

FC2で集めた無修正動画を使って自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を Fine tune して新しいモデル作ったわ
もうね、二次修復しなくてもクッキリ見える

自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を作ってみて分かったけど、
>>1 で紹介されてる　lada_mosaic_restoration_model_generic_v1.2_full.pth　は意味ない

https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
での、stage2 終了直後のものが　lada_mosaic_restoration_model_generic_v1.2_full.pth　

で、そこから　export-weights-basicvsrpp-stage2-for-inference.py　を実行して、モザイク破壊に必要な情報だけを抜き取ったやつが lada_mosaic_restoration_model_generic_v1.2.pth

破壊結果は full でも fullじゃなくても同じ

5070ti 16GB なら
stage1の学習で16時間（iter 100000）
stage2の学習で18時間（iter 100000に変更）
で出来る
unetに課金するより、自分でモデルを作った方がいいよ

>>965
HFで公開してる人かな？

処理の高速化に行き詰まっていて、これ以上は復元モデル小型化とかの再学習に手を出すしか無いのか、とか思っているんだけど、
その学習データセット準備と確認にどんだけ時間ががかかるんだろうか？
数千クリップのサムネとか誤検知の確認やったら時間〜日オーダーっすよね・・・

集めた無修正動画を１つのディレクトリにおいて　create-mosaic-restoration-dataset.py　を実行すれば全部自動で学習データを作ってくれるぞ
２時間くらいの動画なら100~400個くらいのクリップが出来る
自分で切り出す必要はない

こういうのってモザ前後で学習するもんだと思ってたけど非モザだけで良いのか

学習時にバイナリマスクに合わせてモザかかってるデータも作ってたはず
実写はデータ豊富で羨ましいな
アニメはデータが限られてて1ヶ月かけても仕上がりに納得がいかなかったよ

>>970
やってみたいから、もう少し詳しくやり方教えて

>>965
うpきぼんぬ

>>971
学習の stage1 で自動的に様々な大きさのモザイクを掛けた上で
モザ無し画像とモザ有り画像とを使って教師学習させてる

FC2500が一番いいような気がする

>>970
5070tiでいいモデルを作れるんなら、作者の人にやり方教えてあげればめっちゃ喜ぶと思うよ
寄付を募ってるのは復元モデル制作用のサーバー借りる資金を作るためだそうなんで

>>966
復元モデルのv1.2とv1.2_fullの違いだが意味ないことは無いよ
jasna v0.7.2 (処理パイプラインが決定的であることは確認済み) で出力動画のSSIMを取ってみると
HD動画の入力について、v1.2の処理結果を基準としてv1.2_full処理結果と全体SSIMを測定　→　0.9955
と微妙に1ではないので、復元モデルの差分がフレームに反映されてる

GridPlayerで並べて目視比較してもv1.2_fullの方がディテールがよくなっている部分ある
意味あるかどうかは素材によりけりってことで

決定的：同じモデル・パラメタで何回実行しても結果が変わらないこと

jasnaの作者に支援した。しばらくしてキーを送ってきたんだが、プログラムコード？のような、絶対すべて正確に打ち込めないだろうってくらい異常に長い文字列を送ってきたんだが、これJasna有効化するキーと違うよな。

>>979
合ってるで
GUIの上にある有効化のところからメアドとキーをコピペすればいい

>>979 >>899
たぶんマウスでしかコピペしたことない？

>>980 こういう質問する人はCtrl+C/Ctrl+V知らん可能性が高い

>>977
jasna を作れる人間なら、https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md　
を読めば finetune だって出来るわ
ただ、微妙に完成度が低いから用意されてるスクリプトを書き換えないとエラーで落ちる
あと、5070ti 16GB で batch=2 のままだと OOM で落ちる
でも batch=1 にすればいいだけだからな

素材から学習用データセットを作るのに１日、
stage1 の学習に１日、
stage2 の学習に１日、
全部で３日で出来るわ

>>982
Claude Codeに必要なドキュメントと元ネタ渡して計画→fine tuneスモークテストやってもらったらできたわ
書いてある通りDOVERの重みロードでスクリプトにパス指定のバグあって直す必要あった
5080持ってるがVRAM 16GBだときついね batch=1に加えて num_frame も減らさないと安定しなかった
本番には500本前後必要そうなので、あとは素材の質・多様性と時間の問題か・・・

>>981
お察しの通り、マウスでしかコピペしたことなかった。お陰で無事解決した。ありがとう。

>>970
そのスクリプトってどこにあるの？

>>985 ladaリポジトリのscripts/dataset_creationの中だ
それをここで聞いている時点で道のりは果てしなく遠いと思う

エロ動画収集趣味の効率上げるためにマウスのサイドボタンにctrl+v割り当ててあるから特に困らなかったw