【超解像】Lada part4

FC2で集めた無修正動画を使って自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を Fine tune して新しいモデル作ったわ
もうね、二次修復しなくてもクッキリ見える

自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を作ってみて分かったけど、
>>1 で紹介されてる　lada_mosaic_restoration_model_generic_v1.2_full.pth　は意味ない

https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
での、stage2 終了直後のものが　lada_mosaic_restoration_model_generic_v1.2_full.pth　

で、そこから　export-weights-basicvsrpp-stage2-for-inference.py　を実行して、モザイク破壊に必要な情報だけを抜き取ったやつが lada_mosaic_restoration_model_generic_v1.2.pth

破壊結果は full でも fullじゃなくても同じ

5070ti 16GB なら
stage1の学習で16時間（iter 100000）
stage2の学習で18時間（iter 100000に変更）
で出来る
unetに課金するより、自分でモデルを作った方がいいよ

>>965
HFで公開してる人かな？

処理の高速化に行き詰まっていて、これ以上は復元モデル小型化とかの再学習に手を出すしか無いのか、とか思っているんだけど、
その学習データセット準備と確認にどんだけ時間ががかかるんだろうか？
数千クリップのサムネとか誤検知の確認やったら時間〜日オーダーっすよね・・・

集めた無修正動画を１つのディレクトリにおいて　create-mosaic-restoration-dataset.py　を実行すれば全部自動で学習データを作ってくれるぞ
２時間くらいの動画なら100~400個くらいのクリップが出来る
自分で切り出す必要はない

こういうのってモザ前後で学習するもんだと思ってたけど非モザだけで良いのか

学習時にバイナリマスクに合わせてモザかかってるデータも作ってたはず
実写はデータ豊富で羨ましいな
アニメはデータが限られてて1ヶ月かけても仕上がりに納得がいかなかったよ

>>970
やってみたいから、もう少し詳しくやり方教えて

>>965
うpきぼんぬ

>>971
学習の stage1 で自動的に様々な大きさのモザイクを掛けた上で
モザ無し画像とモザ有り画像とを使って教師学習させてる

FC2500が一番いいような気がする

>>970
5070tiでいいモデルを作れるんなら、作者の人にやり方教えてあげればめっちゃ喜ぶと思うよ
寄付を募ってるのは復元モデル制作用のサーバー借りる資金を作るためだそうなんで

>>966
復元モデルのv1.2とv1.2_fullの違いだが意味ないことは無いよ
jasna v0.7.2 (処理パイプラインが決定的であることは確認済み) で出力動画のSSIMを取ってみると
HD動画の入力について、v1.2の処理結果を基準としてv1.2_full処理結果と全体SSIMを測定　→　0.9955
と微妙に1ではないので、復元モデルの差分がフレームに反映されてる

GridPlayerで並べて目視比較してもv1.2_fullの方がディテールがよくなっている部分ある
意味あるかどうかは素材によりけりってことで

決定的：同じモデル・パラメタで何回実行しても結果が変わらないこと