【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

モザ検出もladaのが上で概ね問題ないしらんよそんなん、気が付いた時にyoloとlada試すくらい
それでも取り切れないレアケースなら自分でモザイクかけるなりすればいい

×yoloとlada　○yoloとrfdetr

まぁ検出しても修復がキレイかどうかは別だしね
元の動画がデカモザの場合は2次処理の時にモザイク選べるなら誤魔化し効くからあれば使う時はある

>>465
linux版の場合だけど同様の実行パラメータでは使用VRAMは約6.7GBだった。
動画は8KVRでビットレートは81kbpsのものも12kbpsも大差なかった。

実際にはYouTube観ながらamazonでオシロスコープ探しつつレビューサイトも見てたのでnvidia-smiのVRAM表示は7.2GB付近。5080で4.3fpsくらいしか出ないけど変換しながら長時間YouTube観られるから時間犠牲にして完走というお題は達成可能かと。

v0.9.1の「処理中でも再生可能」をオンにすると、今やっている処理を確認できるのはいいけど、
できあがったmp4を再生すると、再生開始やシーク時に時間がかかったり色がおかしい状態が長くなったりするので、やっぱりオフにした
以前のバージョンでこのスイッチがついていた時もそうだったんだろうか？

>>472
fMP4オプションが追加されたのはv0.9.1から v0.8.1までは別のエンコード方式で処理中は.hevcファイルが出力された
いまissue #268 でその現象が報告されてるけど、動画プレイヤー側のfMP4対応度合いによっては書いてあるような現象が起こるみたい
fMP4に対応しているプレイヤーだと特に問題なく再生できる(Windows標準のメディアプレイヤーとかmpv, vlcはちと怪しい)
出来上がったファイルの互換性を重視するならこのオプションはつけない方がいいかもね

>>427
0.9.1も良くないね。zelefans + jasna0.6.2の組み合わせまで戻した。今のところこれが一番漏れもなく綺麗になる模様。
ただ、検出サイズの不一致で時々エラーになる難点はある。

クラッシュダンプが800MBになってた
ヘビーユーザーはもっと大きいと思うから我こそはの人は見てみてｗ
\AppData\Local\CrashDumps\jasna.exe.xxxxx.dmp

\CrashDumps 自体がなかった
うちのは優秀なんかなw

>>475
　jasnav080で合計4.7GBのCrushDumpをはいていた。
vupしてもDumpファイルは削除されないようなので、エラーがでたら掃除が必要。
　Dumpの理由は、v080でエンコード・パラメータの仕様が変わったため。
v072での指定を引き継いだら盛大にエラーがでた。

>>474
Jasnaの魚眼を使ってから、VR_Video_Toolboxに戻ってみるとVR_Video_Toolboxは画面全体がモヤっとしてくる気がするんだわ
画面全体を魚眼変換して戻すというのは画質にも影響ありなんじゃない？
Jasnaの復元部分だけを元映像に被せるという方式を見てしまった以上、もうVR_Video_Toolboxには戻れん
完全満足じゃないけど魚眼はJasna0.8.1でやるわ

>>478
なるほど、その観点では見てなかった。
変換後にVLCでチェックする際にモザのブロックがたくさん残ってるからQ3で見てすらいなかった。
全体魚眼なら殆どモザの漏れがない検出と復元モデルに変えても漏れが多いのはもしかしたら部分処理のせいかもしれん。

>>478
以前に言ったけど、fisheye分割して処理するなら、equirectに戻して結合するのではなく、dual fisheye（両目〇）結合する方が画質的に有利
dual fisheyeで販売しているVR動画も存在するし、VRヘッドセットで問題なく再生できる

以前、rfdetrが顔モザイク誤検出してモザイク残りまくった動画でテストした

lada-yolo-v4 当然ながらモザイクなし
zelefans-vr-yolo-v2 同上
rfdetr-vr-v1 前のと同じで誤検出しまくり
rfdetr-v6-large 同上
rfdetr-v6 え？誤検出しない・・・と思ったけど最後の1シーンだけ誤検出

2時間ぐらいある動画なのに、時々20～30分で処理が完了するやつがある
モザイクがかかってるシーンが少なくて、Jasnaはスキップしてるのかな？

>>482
モザが検出されなければBasicVSR++の復元処理が走らないからそういうもんだ
--segments を使って範囲指定するとそこだけ処理してそれ以外はコピーするからもっと早くなる

最大検出ギャップかなり効果あるなこれ

2にしろって書いてるけど３以上がいいね

>>485
３以上にするとどう変わるの？
より、無駄なモザイク検出がスキップされる？それとも逆？

最大検出ギャップ
最小検出時間
3－0とかいいと思うけど
6－1にしてるね俺は

>>487 が処理してる動画では、って事だね
誤検知の可能性も積極的に拾いに行く感じか
最大検出ギャップを大きくし過ぎると、たまたま数フレーム先にある別のモザイクとつながってしまい、検出範囲を不必要に広げて復元結果がぼやけるとかの副作用が出る事がある
この辺は動画によりけりと思う

8KのVRをGPUメモリ8GBで、CUDAシステムメモリ フォールバックポリシー の
チェック外れた状態でやってみたけどやっぱりダメだったわ。エラーが出て止まるw

Jasna 0.9.1、最大クリップ数を720とかに増やせるけど、なにか意味あんの？　これ
元々の lada_mosaic_restoration_model_generic_v1.2.pthは30フレーム単位で学習させてるから 30 より大きくしても意味ない
てか、30より大きくすると変なアーティファクトが出やすくなる

>>490
Discordに作者はこんなこと書いてたｗ

数値は上げてみたけど、実際に画質とか見やすさが良くなるかは確認してないな
気になるならA/Bテストしてみればいいと思う
ちなみに俺はクリップ300、オーバーラップ30の設定は試したことない

今は180でオーバーラップ15にしてるけど、リアルタイム再生で使う分には十分満足してる
というか、RTX Super Resolutionはデフォルト設定でも普通に良い感じ

自分はほぼデフォルト設定のまま使ってるけど、1080pも4Kもいい感じに見えてるよ

>>490
今までは最大クリップ数ごとのにTensorRTコンパイルが必要だったが、今はコンパイル時のクリップ数以下に変更する場合はコンパイル不要になった

>>489
破壊処理始めて直ぐにエラーで終了するね
メインメモリーと兼用して処理出来るように改良してくれるとありがたいんだけな
こっちは多少処理時間伸びる程度ならPCほっとくだけだから構わないし

>>493
遅くなっていいんで、処理できるようにしてくれたら嬉しいですね！

やっぱりお手軽にはできないか
上の投稿でアイデアいくつか出てるけど、現状VRAM 8GBで8K VR処理チャレンジにはそれなりのスキルが必要

グラボ買えば解決

>>491
Jasna の作者はlada_mosaic_restoration_model_generic_v1.2.pthがどういう風に学習させて作られているか、全然分かってなさそうだな
最大クリップ数はデフォの60でも多い
Jasna の元になった lada 作者が公開しているモデルの作り方
https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
によれば、lada_mosaic_restoration_model_generic_v1.2.pthってのは動画の30フレームを１つの単位としてモザイク破壊モデルを学習させてる
30より増やしても意味ないし、変なアーティファクトが出やすくなる実害もある

いつものキチガイ

二次修復VSRは修復領域のみの適用で間違いないですよね？
低画質ソースで全体の画質が少しマシになるのは圧縮時の平滑化等エンコーダ側の処理結果か。

iPadに移植できた。

画質はイマイチ。

顔面モザ復元が好きでGUI版使ってんだけど

最大クリップサイズ　10
時間オーバーラップ　4（おれ環ではそれ以上にするとエラー出る）

これが一番復元具合が良いと思うんだがこれは俺の思い込みか？一番リアルな復元になると思うんだが...
クリップサイズ上げるとエッジは立つけど顔がギラギラしてエイリアンになるんよ

>>501
30で14 にするのが一番いいよ

>>502
ありがとう。試してみるわ

顔モザ用チューニングｗ
ちなみに最大クリップサイズと時間オーバーラップの関係は以下の通り

時間オーバーラップ＜最大クリップサイズ　かつ　2×時間オーバーラップ＜最大クリップサイズ

jasnaはこれを起動時にチェックしている
なので最大クリップサイズが10と30の時に指定できる一番大きな時間オーバーラップがそれぞれ4と14になる

なお、最大クリップサイズが小さい場合、伝播で集められる時間文脈が減るため、
極端に小さいと実質単体フレームでの復元に近づき、ディテールが弱くなるそうだ
あと、処理時間も増える 「VRAM と GPU 使用量の調整」参照

lada_mosaic_restoration_model_generic_v1.2.pth は stage1 の BVSR++ の学習をフレーム数30 で学習してる
だから最大クリップサイズを30より大きな値にすると、いわゆる「外挿の推論」になってしまう
例えて言うなら、過去３０日分の株価のデータから未来の株価を予測するようなもの
明日の株価はある程度の範囲で当てられたとしても、30日後の株価の予想なんてぜんぜん当てにならない
Jasnaの設定はまさにこれ
最大クリップサイズを30から大きくすればするほど変なアーティファクトが目立つようになる
最大クリップサイズを30にして、かつ、オーバーラップを14にすることで内挿の推論のみ、かつ、オーバーラップで二重に処理することになり、解像感が一番良くなる

とある動画がrfdetr-v6でまさかの全スルーされたけどyoloはちゃんと拾ってくれた
やっぱyoloやな

>>504
>>505
なるほど。顔モザ派としてすごく勉強になる
復元に重きをおくなら30/14が現状一番良いという事か

>>506
実写？ アニメ？

>>508
実写のちらつきが全くないタイプのモザイク

現バージョンJasdaだとlada_mosaic_detection_model_v4_fast.ptのリネームどうしてる？
まだV4使ってる人みかけるからもう一度入れておこうかと

すまん、そのままでいいのか
accurateを入れる場合はリネームとかだっけか昔過ぎて忘れてるわ

>>511
vr用のv2_accurateは lada_vr_mosaic_detection_model_v2_accurate.pt という名前でjasnaのv0.8.0〜v0.9.0まで同梱されてたがv0.9.1で同梱されなくなった
使いたかったら前のバージョンからファイルをコピって、detection modelを zelefans-vr-yolo-v2 にすればおｋ

ありがとうVRの話になってるけどVR持ってません

名前にVRがついているだけだから気にしなくてよいよ 別にzelefans-vr-yolo-v2はVRのビデオにしか使っちゃダメとかないから
このモデルで処理した結果と他のモデルで処理した結果を見比べてみれば自分にとってどれが良いかがわかるさ

>>507
自演する亡き違い

>>497
そんなことあるか？と試したけど180の方が良い気はした
気のせいか？

単フレームだからただディティール落ちるだけ

今の復元モデルを作ったlada作者も自分のコードで--max-clip-lengthのデフォルト値を180にしてるんだよね

今年あまり触らずにいたが久しぶりに入れてみるか
進化が楽しみ

皆さんモザイク破壊する前の動画って消してる？

より優れた破壊方法が出た時の事を想定して消してない

エントロピー増大からは逃れられないからねえ

javpのがあればいいやと結構消して今は後悔してる

ゲームチェンジャーが出る度に更新してるから残してる

>>520
今まで消して後悔してきたので、今は残してる。破壊後のと含めて容量が大変である。

ストレージは何ペタバイト使ってるの？

25TBくらいはあるけどAI生成とかもやるから色々なファイルでだいぶ埋まってる
今ストレージ高騰してるから保存用のHDDが1つでも逝ったら痛手だなぁ

Jasna v9.01入れたけど、はじめのコンパイルが完走しなくて使えない。
前のバージョンも最初の数回はだめで何回か試したらコンパイル完走して使えるようになったんだが、v9.01は何回やってもだめ。
因みに設定はデフォルトのままで、ビデボはrtx4090、cpuはインテルコア I9-13900KS使ってる。なにが原因なんだろ？

ログを見ろ

そんでログレベルはDebugにして詳細メッセージ見た方がよい

DVD時代の女優さんがお気に入りでISOとmpeg、デインターレースしたファイルを保管してる
やっと一人目がJasnaで変換終了
現在保管してる nasもどきと使わなくなった２Tくらいのがごろごろあるんで
各単体で保存する所存

今少し前にやったら、今度はコンパイル完了してつかえるようになった。なんかよくわからんな。

ビデボ

>>525
やっぱ消せないですよね…
悲しいかな

昔のやつは簡単にダウンロードできたからねえ

>>531
俺もDVDで好きな女優さんのを大事に持ってる
最近のJasnaでDVDのアスペクト比しっかり認識できるようになって
16:9に出してくれるようになって嬉しい
でもやっぱり解像度低いから
Jasnaにスケールアップできる機能がついたらなと思ってる

GPUに高額払ってるくらいならTopaz買え

ファイル名に_000とかladaとかついてるやつを再処理しまくってる。DVDソースとか小さい動画は倍さいずに変換してから再処理。

チンチンのモザは結構取れて良いんだけどマ○コの部分が破壊した後は結構歪んだりする作品が多いね
やりまくってビラビラが酷い事になってるから復元難しいのかね
それともマ○コの方がモザがキツいのか

>>539
歪んでいるのはただのアーティファクトかもしれないから >>497 あたりのレスにあるように
最大クリップ数30、オーバーラップ14
でやってみるのが一番

原理的な課題としては、ペニスの形状はだいたい決まりきってるのに対して、マ○コはビラビラも含めて形状が様々だからより多くの学習素材が必要だってこと
現状の　lada_mosaic_restoration_model_generic_v1.2.pth 　は全然学習が足りてないし、多分、学習素材がFHD 未満のものが多く使われているから解像感がなくてモヤっとした感じになっちゃう

ここにいる皆様は品質重視っぽいから、HLSストリーミングをそのまま復元するのなんか、興味ないよね？

タイパ重視

ただでさえ処理時間かかるのにリアルタイム処理しようと思ったらもっと高性能がいるやろ

>>541
めっちゃあるから教えてくれ
VRとか容量デカすぎてローカルにコレクションできんのよ

高解像度のデータセット使っても学習時に全部256*256に変換してるんじゃなかった？

>>545
そのサイズは素材を合成劣化させた学習入力用の低画質画像のサイズ
なので、高解像度・高ビットレート素材の方が低画質画像を作った時にディテールが残る

モデルが普通のAVで学習してるからしゃーないんだけど、エロアニメのモザイク破壊は全然うまく行かないな
なんか妙に生々しいキモい破壊になってしまう

zelefans の新しいモデルがhuggingface_hubにアップされた。
　vr_mosaic_detection_model_v2_accurate_1280.onnx、 vr_mosaic_detection_model_v2_accurate.onnx
　vr_mosaic_restoration_chunk_model_v0.2.onnx

>>548
これってJASNAのMODEL＿WEIGHTのフォルダにそのまま入れればいいんでしょうか？

zelefansと lada-yolo-v4 の3Dの処理は結局は好みの問題になるのか。
比べて比較してるがそれほど変わらなくない？

あまり変わらない
破壊速度が大きく違うけど

>>548
これって2Dでも使えるの？

今までrestoration_modelは.pthだったのに、今回は.onnxなのはなぜ？

Fable先生の調査結果概要
これらのモデルってzelefansさんのVR Video Toolboxでどうやって使うんだ？ (jasna改造してる？)

vr_mosaic_detection_model_v2_accurate.onnx
→ 既存の lada_vr_mosaic_detection_model_v2_accurate.pt（jasna では zelefans-vr-yolo-v2 として対応済み）と同一モデルの ONNX エクスポート
vr_mosaic_detection_model_v2_accurate_1280.onnx
→ 同モデルの 1280×1280 版 jasnaで使うにはYoloMosaicDetectionModel.DEFAULT_IMGSZ = 640 前提の前処理・エンジン形状を imgsz=1280 対応にする改修が必要
vr_mosaic_restoration_chunk_model_v0.2.onnx
→ 新しいチャンク型復元モデル jasnaで使うには新規実装が必要

こういう手合いにはなあにもおしえなくていいぞ
AIでわからなかったら全部ここで聞くだろ

今まで落としたアプリはデスクトップに置いてたんだけど、どうもデスクトップに置くとOneDriveが悪さするみたい。
このクラウドウィルス並みの悪質さだな。みんなJasnaのアプリはどこに置いてる？

普通にdドライブ
というかOneDriveの共有はうざいから切っとけ

レベル低すぎるだろ大丈夫かよ

OneDriveとかcopilotとか真っ先にアンインストールしないのかな？

私もOneDriveの同期切るの忘れてて、何度もコンパイル失敗してやっとこさ使えるようになったデスクトップに置いてたJasna。

OneDriveが勝手にバックアップ。ほかのPCのデスクトップにも出現したので、これはうざいと、クラウド上にアップロードされてたJasnaを削除したら、

PCのデスクトップにあったJasnaも同時に削除されて発狂しそうになった経験があります。

Jasnaの二次修復でTopaz使っている人いますか？持ってないからわからないのだけど、他のu-netやRTXと仕上がり結果は全然違うもの？

>>538
良い具合に倍サイズになる？
なんかペッタリとして輪郭だけシャープにしたようなのしか知らないんだけど
よい感じにスケールアップできるツールあったら教えてほしい

HLSのリアルタイム復元は絶対に要望出した方がよいよ。

macで実装したけど、ほぼ待ち時間なしで、ダウンロードする手間もない。

多分windows,linuxなら余裕でいけると思う。

>>562
Topaz Videoが効果的。
リッピング状態に左右されるけど、あらかじめプログレッシブの60fps指定と正方形ピクセルになるよう854幅でリッピングしておいてTopaz VideoでProteusかIris使うと初めからFHD動画かと思うほど綺麗で滑らかに再生できるようになるよ。
そうでないリッピング状態でもHDサイズになんとか耐えられるくらいに綺麗になる。

>>562
無料で使えるものだったら昨年出た拡散モデルベースのSeedVR2とかFlashVSR
VRAMは16GB以上無いときついとか長い動画の処理は工夫が必要だったりするので
誰にでもお勧めできるものではないけど、結果はとても良い感じ

>>563
今FでもDRM付のMPDashでHLSじゃないよね？使えるんか？

>>547
北米版がある作品はLADAすると近い感じの仕上がりになるけど
それ以外だと水彩画で処理したんかっていう様な仕上がりになっちまうな
ちんこの輪郭が透明な液体に覆われてるような微妙さが出て決してクリアにならない

あとアニメの場合は輪郭にジャギーが大発生することが多々あるんだけど、なんなんだろうなあれ
LADA後にTVAIとかでアプコンして出来る限り軽減してるけど、すげー気になる