【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

最大検出ギャップかなり効果あるなこれ

2にしろって書いてるけど３以上がいいね

>>485
３以上にするとどう変わるの？
より、無駄なモザイク検出がスキップされる？それとも逆？

最大検出ギャップ
最小検出時間
3－0とかいいと思うけど
6－1にしてるね俺は

>>487 が処理してる動画では、って事だね
誤検知の可能性も積極的に拾いに行く感じか
最大検出ギャップを大きくし過ぎると、たまたま数フレーム先にある別のモザイクとつながってしまい、検出範囲を不必要に広げて復元結果がぼやけるとかの副作用が出る事がある
この辺は動画によりけりと思う

8KのVRをGPUメモリ8GBで、CUDAシステムメモリ フォールバックポリシー の
チェック外れた状態でやってみたけどやっぱりダメだったわ。エラーが出て止まるw

Jasna 0.9.1、最大クリップ数を720とかに増やせるけど、なにか意味あんの？　これ
元々の lada_mosaic_restoration_model_generic_v1.2.pthは30フレーム単位で学習させてるから 30 より大きくしても意味ない
てか、30より大きくすると変なアーティファクトが出やすくなる

>>490
Discordに作者はこんなこと書いてたｗ

数値は上げてみたけど、実際に画質とか見やすさが良くなるかは確認してないな
気になるならA/Bテストしてみればいいと思う
ちなみに俺はクリップ300、オーバーラップ30の設定は試したことない

今は180でオーバーラップ15にしてるけど、リアルタイム再生で使う分には十分満足してる
というか、RTX Super Resolutionはデフォルト設定でも普通に良い感じ

自分はほぼデフォルト設定のまま使ってるけど、1080pも4Kもいい感じに見えてるよ

>>490
今までは最大クリップ数ごとのにTensorRTコンパイルが必要だったが、今はコンパイル時のクリップ数以下に変更する場合はコンパイル不要になった

>>489
破壊処理始めて直ぐにエラーで終了するね
メインメモリーと兼用して処理出来るように改良してくれるとありがたいんだけな
こっちは多少処理時間伸びる程度ならPCほっとくだけだから構わないし

>>493
遅くなっていいんで、処理できるようにしてくれたら嬉しいですね！

やっぱりお手軽にはできないか
上の投稿でアイデアいくつか出てるけど、現状VRAM 8GBで8K VR処理チャレンジにはそれなりのスキルが必要

グラボ買えば解決

>>491
Jasna の作者はlada_mosaic_restoration_model_generic_v1.2.pthがどういう風に学習させて作られているか、全然分かってなさそうだな
最大クリップ数はデフォの60でも多い
Jasna の元になった lada 作者が公開しているモデルの作り方
https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
によれば、lada_mosaic_restoration_model_generic_v1.2.pthってのは動画の30フレームを１つの単位としてモザイク破壊モデルを学習させてる
30より増やしても意味ないし、変なアーティファクトが出やすくなる実害もある

いつものキチガイ

二次修復VSRは修復領域のみの適用で間違いないですよね？
低画質ソースで全体の画質が少しマシになるのは圧縮時の平滑化等エンコーダ側の処理結果か。

iPadに移植できた。

画質はイマイチ。

顔面モザ復元が好きでGUI版使ってんだけど

最大クリップサイズ　10
時間オーバーラップ　4（おれ環ではそれ以上にするとエラー出る）

これが一番復元具合が良いと思うんだがこれは俺の思い込みか？一番リアルな復元になると思うんだが...
クリップサイズ上げるとエッジは立つけど顔がギラギラしてエイリアンになるんよ

>>501
30で14 にするのが一番いいよ

>>502
ありがとう。試してみるわ

顔モザ用チューニングｗ
ちなみに最大クリップサイズと時間オーバーラップの関係は以下の通り

時間オーバーラップ＜最大クリップサイズ　かつ　2×時間オーバーラップ＜最大クリップサイズ

jasnaはこれを起動時にチェックしている
なので最大クリップサイズが10と30の時に指定できる一番大きな時間オーバーラップがそれぞれ4と14になる

なお、最大クリップサイズが小さい場合、伝播で集められる時間文脈が減るため、
極端に小さいと実質単体フレームでの復元に近づき、ディテールが弱くなるそうだ
あと、処理時間も増える 「VRAM と GPU 使用量の調整」参照

lada_mosaic_restoration_model_generic_v1.2.pth は stage1 の BVSR++ の学習をフレーム数30 で学習してる
だから最大クリップサイズを30より大きな値にすると、いわゆる「外挿の推論」になってしまう
例えて言うなら、過去３０日分の株価のデータから未来の株価を予測するようなもの
明日の株価はある程度の範囲で当てられたとしても、30日後の株価の予想なんてぜんぜん当てにならない
Jasnaの設定はまさにこれ
最大クリップサイズを30から大きくすればするほど変なアーティファクトが目立つようになる
最大クリップサイズを30にして、かつ、オーバーラップを14にすることで内挿の推論のみ、かつ、オーバーラップで二重に処理することになり、解像感が一番良くなる

とある動画がrfdetr-v6でまさかの全スルーされたけどyoloはちゃんと拾ってくれた
やっぱyoloやな

>>504
>>505
なるほど。顔モザ派としてすごく勉強になる
復元に重きをおくなら30/14が現状一番良いという事か

>>506
実写？ アニメ？

>>508
実写のちらつきが全くないタイプのモザイク

現バージョンJasdaだとlada_mosaic_detection_model_v4_fast.ptのリネームどうしてる？
まだV4使ってる人みかけるからもう一度入れておこうかと

すまん、そのままでいいのか
accurateを入れる場合はリネームとかだっけか昔過ぎて忘れてるわ

>>511
vr用のv2_accurateは lada_vr_mosaic_detection_model_v2_accurate.pt という名前でjasnaのv0.8.0〜v0.9.0まで同梱されてたがv0.9.1で同梱されなくなった
使いたかったら前のバージョンからファイルをコピって、detection modelを zelefans-vr-yolo-v2 にすればおｋ

ありがとうVRの話になってるけどVR持ってません

名前にVRがついているだけだから気にしなくてよいよ 別にzelefans-vr-yolo-v2はVRのビデオにしか使っちゃダメとかないから
このモデルで処理した結果と他のモデルで処理した結果を見比べてみれば自分にとってどれが良いかがわかるさ

>>507
自演する亡き違い

>>497
そんなことあるか？と試したけど180の方が良い気はした
気のせいか？

単フレームだからただディティール落ちるだけ

今の復元モデルを作ったlada作者も自分のコードで--max-clip-lengthのデフォルト値を180にしてるんだよね

今年あまり触らずにいたが久しぶりに入れてみるか
進化が楽しみ

皆さんモザイク破壊する前の動画って消してる？

より優れた破壊方法が出た時の事を想定して消してない

エントロピー増大からは逃れられないからねえ

javpのがあればいいやと結構消して今は後悔してる

ゲームチェンジャーが出る度に更新してるから残してる

>>520
今まで消して後悔してきたので、今は残してる。破壊後のと含めて容量が大変である。

ストレージは何ペタバイト使ってるの？

25TBくらいはあるけどAI生成とかもやるから色々なファイルでだいぶ埋まってる
今ストレージ高騰してるから保存用のHDDが1つでも逝ったら痛手だなぁ

Jasna v9.01入れたけど、はじめのコンパイルが完走しなくて使えない。
前のバージョンも最初の数回はだめで何回か試したらコンパイル完走して使えるようになったんだが、v9.01は何回やってもだめ。
因みに設定はデフォルトのままで、ビデボはrtx4090、cpuはインテルコア I9-13900KS使ってる。なにが原因なんだろ？

ログを見ろ

そんでログレベルはDebugにして詳細メッセージ見た方がよい

DVD時代の女優さんがお気に入りでISOとmpeg、デインターレースしたファイルを保管してる
やっと一人目がJasnaで変換終了
現在保管してる nasもどきと使わなくなった２Tくらいのがごろごろあるんで
各単体で保存する所存

今少し前にやったら、今度はコンパイル完了してつかえるようになった。なんかよくわからんな。

ビデボ

>>525
やっぱ消せないですよね…
悲しいかな

昔のやつは簡単にダウンロードできたからねえ

>>531
俺もDVDで好きな女優さんのを大事に持ってる
最近のJasnaでDVDのアスペクト比しっかり認識できるようになって
16:9に出してくれるようになって嬉しい
でもやっぱり解像度低いから
Jasnaにスケールアップできる機能がついたらなと思ってる

GPUに高額払ってるくらいならTopaz買え

ファイル名に_000とかladaとかついてるやつを再処理しまくってる。DVDソースとか小さい動画は倍さいずに変換してから再処理。

チンチンのモザは結構取れて良いんだけどマ○コの部分が破壊した後は結構歪んだりする作品が多いね
やりまくってビラビラが酷い事になってるから復元難しいのかね
それともマ○コの方がモザがキツいのか

>>539
歪んでいるのはただのアーティファクトかもしれないから >>497 あたりのレスにあるように
最大クリップ数30、オーバーラップ14
でやってみるのが一番

原理的な課題としては、ペニスの形状はだいたい決まりきってるのに対して、マ○コはビラビラも含めて形状が様々だからより多くの学習素材が必要だってこと
現状の　lada_mosaic_restoration_model_generic_v1.2.pth 　は全然学習が足りてないし、多分、学習素材がFHD 未満のものが多く使われているから解像感がなくてモヤっとした感じになっちゃう

ここにいる皆様は品質重視っぽいから、HLSストリーミングをそのまま復元するのなんか、興味ないよね？

タイパ重視

ただでさえ処理時間かかるのにリアルタイム処理しようと思ったらもっと高性能がいるやろ

>>541
めっちゃあるから教えてくれ
VRとか容量デカすぎてローカルにコレクションできんのよ

高解像度のデータセット使っても学習時に全部256*256に変換してるんじゃなかった？

>>545
そのサイズは素材を合成劣化させた学習入力用の低画質画像のサイズ
なので、高解像度・高ビットレート素材の方が低画質画像を作った時にディテールが残る

モデルが普通のAVで学習してるからしゃーないんだけど、エロアニメのモザイク破壊は全然うまく行かないな
なんか妙に生々しいキモい破壊になってしまう

zelefans の新しいモデルがhuggingface_hubにアップされた。
　vr_mosaic_detection_model_v2_accurate_1280.onnx、 vr_mosaic_detection_model_v2_accurate.onnx
　vr_mosaic_restoration_chunk_model_v0.2.onnx

>>548
これってJASNAのMODEL＿WEIGHTのフォルダにそのまま入れればいいんでしょうか？

zelefansと lada-yolo-v4 の3Dの処理は結局は好みの問題になるのか。
比べて比較してるがそれほど変わらなくない？

あまり変わらない
破壊速度が大きく違うけど

>>548
これって2Dでも使えるの？

今までrestoration_modelは.pthだったのに、今回は.onnxなのはなぜ？

Fable先生の調査結果概要
これらのモデルってzelefansさんのVR Video Toolboxでどうやって使うんだ？ (jasna改造してる？)

vr_mosaic_detection_model_v2_accurate.onnx
→ 既存の lada_vr_mosaic_detection_model_v2_accurate.pt（jasna では zelefans-vr-yolo-v2 として対応済み）と同一モデルの ONNX エクスポート
vr_mosaic_detection_model_v2_accurate_1280.onnx
→ 同モデルの 1280×1280 版 jasnaで使うにはYoloMosaicDetectionModel.DEFAULT_IMGSZ = 640 前提の前処理・エンジン形状を imgsz=1280 対応にする改修が必要
vr_mosaic_restoration_chunk_model_v0.2.onnx
→ 新しいチャンク型復元モデル jasnaで使うには新規実装が必要

こういう手合いにはなあにもおしえなくていいぞ
AIでわからなかったら全部ここで聞くだろ

今まで落としたアプリはデスクトップに置いてたんだけど、どうもデスクトップに置くとOneDriveが悪さするみたい。
このクラウドウィルス並みの悪質さだな。みんなJasnaのアプリはどこに置いてる？

普通にdドライブ
というかOneDriveの共有はうざいから切っとけ

レベル低すぎるだろ大丈夫かよ

OneDriveとかcopilotとか真っ先にアンインストールしないのかな？

私もOneDriveの同期切るの忘れてて、何度もコンパイル失敗してやっとこさ使えるようになったデスクトップに置いてたJasna。

OneDriveが勝手にバックアップ。ほかのPCのデスクトップにも出現したので、これはうざいと、クラウド上にアップロードされてたJasnaを削除したら、

PCのデスクトップにあったJasnaも同時に削除されて発狂しそうになった経験があります。

Jasnaの二次修復でTopaz使っている人いますか？持ってないからわからないのだけど、他のu-netやRTXと仕上がり結果は全然違うもの？

>>538
良い具合に倍サイズになる？
なんかペッタリとして輪郭だけシャープにしたようなのしか知らないんだけど
よい感じにスケールアップできるツールあったら教えてほしい

HLSのリアルタイム復元は絶対に要望出した方がよいよ。

macで実装したけど、ほぼ待ち時間なしで、ダウンロードする手間もない。

多分windows,linuxなら余裕でいけると思う。

>>562
Topaz Videoが効果的。
リッピング状態に左右されるけど、あらかじめプログレッシブの60fps指定と正方形ピクセルになるよう854幅でリッピングしておいてTopaz VideoでProteusかIris使うと初めからFHD動画かと思うほど綺麗で滑らかに再生できるようになるよ。
そうでないリッピング状態でもHDサイズになんとか耐えられるくらいに綺麗になる。

>>562
無料で使えるものだったら昨年出た拡散モデルベースのSeedVR2とかFlashVSR
VRAMは16GB以上無いときついとか長い動画の処理は工夫が必要だったりするので
誰にでもお勧めできるものではないけど、結果はとても良い感じ

>>563
今FでもDRM付のMPDashでHLSじゃないよね？使えるんか？

>>547
北米版がある作品はLADAすると近い感じの仕上がりになるけど
それ以外だと水彩画で処理したんかっていう様な仕上がりになっちまうな
ちんこの輪郭が透明な液体に覆われてるような微妙さが出て決してクリアにならない

あとアニメの場合は輪郭にジャギーが大発生することが多々あるんだけど、なんなんだろうなあれ
LADA後にTVAIとかでアプコンして出来る限り軽減してるけど、すげー気になる

>>564
Topaz Videoはサブスクみたいなんでやめとくわー

>>565
うちのは4060Ti 8Gなんでだめそ(>_<)

アニメのモザイク破壊はアニメ専門で学習したモデルじゃないと実用的でないんだろうね
誰かがそのうち解決してくれそうな問題ではあるが

RX9060XT 16GBなのにやっす！と思ったけどCUDAが無いから駄目か～

それ以前にイラストだと情報が少なくて解析が難しいし実写と違ってはっきりした綺麗な線出さないといけないから厳しいらしい

なんかよくわからんけど、Topaz VideoってやつをPCに入れて、Topaz Videoモードでモザイク破壊したら、
ついでに元ネタが画質の悪い動画でも、HD並みの画質くらいには高画質化出来るってこと？

全然違うぞ

Mac使いに朗報。

M5 Pro 18CPU 20GPU 48GB Macbook Proで
FHD復元で160fps達成。

ほぼjasnaに追いついた。

進捗: 5% | 08:53 / 02:56:45 | 15960フレーム | 273.3fps | 残り 18:24
進捗: 10% | 17:41 / 02:56:45 | 31806フレーム | 265.3fps | 残り 17:58
進捗: 15% | 26:34 / 02:56:45 | 47766フレーム | 243.4fps | 残り 18:29
進捗: 20% | 35:23 / 02:56:45 | 63612フレーム | 196.1fps | 残り 21:36
進捗: 25% | 44:11 / 02:56:45 | 79458フレーム | 180.9fps | 残り 21:58
進捗: 30% | 53:04 / 02:56:45 | 95418フレーム | 165.6fps | 残り 22:23
進捗: 35% | 01:01:53 / 02:56:45 | 111264フレーム | 162.8fps | 残り 21:09
進捗: 40% | 01:10:45 / 02:56:45 | 127224フレーム | 165.9fps | 残り 19:09
進捗: 45% | 01:19:34 / 02:56:45 | 143070フレーム | 172.3fps | 残り 16:54
進捗: 50% | 01:28:26 / 02:56:45 | 159030フレーム | 164.7fps | 残り 16:04
進捗: 55% | 01:37:15 / 02:56:45 | 174876フレーム | 168.7fps | 残り 14:08
進捗: 60% | 01:46:04 / 02:56:45 | 190722フレーム | 166.4fps | 残り 12:44
進捗: 65% | 01:54:56 / 02:56:45 | 206682フレーム | 159.5fps | 残り 11:37
進捗: 70% | 02:03:45 / 02:56:45 | 222528フレーム | 159.8fps | 残り 09:56
進捗: 75% | 02:12:38 / 02:56:45 | 238488フレーム | 161.9fps | 残り 08:10
進捗: 80% | 02:21:26 / 02:56:45 | 254334フレーム | 156.6fps | 残り 06:45
進捗: 85% | 02:30:15 / 02:56:45 | 270180フレーム | 159.6fps | 残り 04:59
進捗: 90% | 02:39:08 / 02:56:45 | 286140フレーム | 159.4fps | 残り 03:19
進捗: 95% | 02:47:56 / 02:56:45 | 301986フレーム | 160.7fps | 残り 01:39

アニメのモザの場合、メーカー毎でもかなりのばらつきあるから
実写より学習させるの面倒そうだなぁ、と勝手に思ってる

青髪キャラのマン毛を青くするのか問題は解決の糸口も見つかってないからな

jasna v0.10.0 リリース来た 今回は新機能・バグ修正のみで新モデル追加は無い

■新機能
・復元動画プレイヤーを内蔵(キュー対応・複数ファイル連続再生可、音声再生にlibVLCを使用)
・キューの右クリックメニュー(フォルダを開く/パスコピー/再キュー)と全ジョブ再実行
・動画完了ごとに任意コマンドを実行できるpost-export機能
・TVAI使用時のデノイズフィルタ(処理は遅め)
・AMD GPUでのセグメント処理に対応

■改善・修正
・CQ値を数値そのままで指定可能に(--cq追加、H.264のCQ制御も修正)
・チャプター・字幕などのメタデータを出力へ保持
・60fps→30fpsなどのフレームレート変換の判定を改善(ドリフト表記のソースも対象に)
・ストリーミングの安定性向上、AMDの色化け修正など互換性修正多数

■補足
エンジン再コンパイルは不要 旧バージョンのmodel_weightsフォルダコピーで.engineの引き継ぎOK

情報ありがたいです

リアルタイム復元ってこと？

今のバージョンだとV6かV4fastが鉄板？
lada_mosaic_detection_model_v4_accurate.ptの方は意味ないんだっけ？

yoloはv2以外ゴミって認識だけど、rfdetrはケースバイケース
暇なら試して比較してみれば

アニメは元画像をマトモに描いてなかったら⋯
あくまでモザイクの状態から推測してるので