【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

グラボ買えば解決

>>491
Jasna の作者はlada_mosaic_restoration_model_generic_v1.2.pthがどういう風に学習させて作られているか、全然分かってなさそうだな
最大クリップ数はデフォの60でも多い
Jasna の元になった lada 作者が公開しているモデルの作り方
https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
によれば、lada_mosaic_restoration_model_generic_v1.2.pthってのは動画の30フレームを１つの単位としてモザイク破壊モデルを学習させてる
30より増やしても意味ないし、変なアーティファクトが出やすくなる実害もある

いつものキチガイ

二次修復VSRは修復領域のみの適用で間違いないですよね？
低画質ソースで全体の画質が少しマシになるのは圧縮時の平滑化等エンコーダ側の処理結果か。

iPadに移植できた。

画質はイマイチ。

顔面モザ復元が好きでGUI版使ってんだけど

最大クリップサイズ　10
時間オーバーラップ　4（おれ環ではそれ以上にするとエラー出る）

これが一番復元具合が良いと思うんだがこれは俺の思い込みか？一番リアルな復元になると思うんだが...
クリップサイズ上げるとエッジは立つけど顔がギラギラしてエイリアンになるんよ

>>501
30で14 にするのが一番いいよ

>>502
ありがとう。試してみるわ

顔モザ用チューニングｗ
ちなみに最大クリップサイズと時間オーバーラップの関係は以下の通り

時間オーバーラップ＜最大クリップサイズ　かつ　2×時間オーバーラップ＜最大クリップサイズ

jasnaはこれを起動時にチェックしている
なので最大クリップサイズが10と30の時に指定できる一番大きな時間オーバーラップがそれぞれ4と14になる

なお、最大クリップサイズが小さい場合、伝播で集められる時間文脈が減るため、
極端に小さいと実質単体フレームでの復元に近づき、ディテールが弱くなるそうだ
あと、処理時間も増える 「VRAM と GPU 使用量の調整」参照

lada_mosaic_restoration_model_generic_v1.2.pth は stage1 の BVSR++ の学習をフレーム数30 で学習してる
だから最大クリップサイズを30より大きな値にすると、いわゆる「外挿の推論」になってしまう
例えて言うなら、過去３０日分の株価のデータから未来の株価を予測するようなもの
明日の株価はある程度の範囲で当てられたとしても、30日後の株価の予想なんてぜんぜん当てにならない
Jasnaの設定はまさにこれ
最大クリップサイズを30から大きくすればするほど変なアーティファクトが目立つようになる
最大クリップサイズを30にして、かつ、オーバーラップを14にすることで内挿の推論のみ、かつ、オーバーラップで二重に処理することになり、解像感が一番良くなる

とある動画がrfdetr-v6でまさかの全スルーされたけどyoloはちゃんと拾ってくれた
やっぱyoloやな

>>504
>>505
なるほど。顔モザ派としてすごく勉強になる
復元に重きをおくなら30/14が現状一番良いという事か

>>506
実写？ アニメ？

>>508
実写のちらつきが全くないタイプのモザイク

現バージョンJasdaだとlada_mosaic_detection_model_v4_fast.ptのリネームどうしてる？
まだV4使ってる人みかけるからもう一度入れておこうかと

すまん、そのままでいいのか
accurateを入れる場合はリネームとかだっけか昔過ぎて忘れてるわ

>>511
vr用のv2_accurateは lada_vr_mosaic_detection_model_v2_accurate.pt という名前でjasnaのv0.8.0〜v0.9.0まで同梱されてたがv0.9.1で同梱されなくなった
使いたかったら前のバージョンからファイルをコピって、detection modelを zelefans-vr-yolo-v2 にすればおｋ

ありがとうVRの話になってるけどVR持ってません

名前にVRがついているだけだから気にしなくてよいよ 別にzelefans-vr-yolo-v2はVRのビデオにしか使っちゃダメとかないから
このモデルで処理した結果と他のモデルで処理した結果を見比べてみれば自分にとってどれが良いかがわかるさ

>>507
自演する亡き違い

>>497
そんなことあるか？と試したけど180の方が良い気はした
気のせいか？

単フレームだからただディティール落ちるだけ

今の復元モデルを作ったlada作者も自分のコードで--max-clip-lengthのデフォルト値を180にしてるんだよね

今年あまり触らずにいたが久しぶりに入れてみるか
進化が楽しみ

皆さんモザイク破壊する前の動画って消してる？

より優れた破壊方法が出た時の事を想定して消してない

エントロピー増大からは逃れられないからねえ

javpのがあればいいやと結構消して今は後悔してる

ゲームチェンジャーが出る度に更新してるから残してる

>>520
今まで消して後悔してきたので、今は残してる。破壊後のと含めて容量が大変である。

ストレージは何ペタバイト使ってるの？

25TBくらいはあるけどAI生成とかもやるから色々なファイルでだいぶ埋まってる
今ストレージ高騰してるから保存用のHDDが1つでも逝ったら痛手だなぁ

Jasna v9.01入れたけど、はじめのコンパイルが完走しなくて使えない。
前のバージョンも最初の数回はだめで何回か試したらコンパイル完走して使えるようになったんだが、v9.01は何回やってもだめ。
因みに設定はデフォルトのままで、ビデボはrtx4090、cpuはインテルコア I9-13900KS使ってる。なにが原因なんだろ？

ログを見ろ

そんでログレベルはDebugにして詳細メッセージ見た方がよい

DVD時代の女優さんがお気に入りでISOとmpeg、デインターレースしたファイルを保管してる
やっと一人目がJasnaで変換終了
現在保管してる nasもどきと使わなくなった２Tくらいのがごろごろあるんで
各単体で保存する所存

今少し前にやったら、今度はコンパイル完了してつかえるようになった。なんかよくわからんな。

ビデボ

>>525
やっぱ消せないですよね…
悲しいかな

昔のやつは簡単にダウンロードできたからねえ

>>531
俺もDVDで好きな女優さんのを大事に持ってる
最近のJasnaでDVDのアスペクト比しっかり認識できるようになって
16:9に出してくれるようになって嬉しい
でもやっぱり解像度低いから
Jasnaにスケールアップできる機能がついたらなと思ってる

GPUに高額払ってるくらいならTopaz買え

ファイル名に_000とかladaとかついてるやつを再処理しまくってる。DVDソースとか小さい動画は倍さいずに変換してから再処理。

チンチンのモザは結構取れて良いんだけどマ○コの部分が破壊した後は結構歪んだりする作品が多いね
やりまくってビラビラが酷い事になってるから復元難しいのかね
それともマ○コの方がモザがキツいのか

>>539
歪んでいるのはただのアーティファクトかもしれないから >>497 あたりのレスにあるように
最大クリップ数30、オーバーラップ14
でやってみるのが一番

原理的な課題としては、ペニスの形状はだいたい決まりきってるのに対して、マ○コはビラビラも含めて形状が様々だからより多くの学習素材が必要だってこと
現状の　lada_mosaic_restoration_model_generic_v1.2.pth 　は全然学習が足りてないし、多分、学習素材がFHD 未満のものが多く使われているから解像感がなくてモヤっとした感じになっちゃう

ここにいる皆様は品質重視っぽいから、HLSストリーミングをそのまま復元するのなんか、興味ないよね？

タイパ重視

ただでさえ処理時間かかるのにリアルタイム処理しようと思ったらもっと高性能がいるやろ

>>541
めっちゃあるから教えてくれ
VRとか容量デカすぎてローカルにコレクションできんのよ

高解像度のデータセット使っても学習時に全部256*256に変換してるんじゃなかった？

>>545
そのサイズは素材を合成劣化させた学習入力用の低画質画像のサイズ
なので、高解像度・高ビットレート素材の方が低画質画像を作った時にディテールが残る

モデルが普通のAVで学習してるからしゃーないんだけど、エロアニメのモザイク破壊は全然うまく行かないな
なんか妙に生々しいキモい破壊になってしまう

zelefans の新しいモデルがhuggingface_hubにアップされた。
　vr_mosaic_detection_model_v2_accurate_1280.onnx、 vr_mosaic_detection_model_v2_accurate.onnx
　vr_mosaic_restoration_chunk_model_v0.2.onnx

>>548
これってJASNAのMODEL＿WEIGHTのフォルダにそのまま入れればいいんでしょうか？

zelefansと lada-yolo-v4 の3Dの処理は結局は好みの問題になるのか。
比べて比較してるがそれほど変わらなくない？

あまり変わらない
破壊速度が大きく違うけど

>>548
これって2Dでも使えるの？

今までrestoration_modelは.pthだったのに、今回は.onnxなのはなぜ？

Fable先生の調査結果概要
これらのモデルってzelefansさんのVR Video Toolboxでどうやって使うんだ？ (jasna改造してる？)

vr_mosaic_detection_model_v2_accurate.onnx
→ 既存の lada_vr_mosaic_detection_model_v2_accurate.pt（jasna では zelefans-vr-yolo-v2 として対応済み）と同一モデルの ONNX エクスポート
vr_mosaic_detection_model_v2_accurate_1280.onnx
→ 同モデルの 1280×1280 版 jasnaで使うにはYoloMosaicDetectionModel.DEFAULT_IMGSZ = 640 前提の前処理・エンジン形状を imgsz=1280 対応にする改修が必要
vr_mosaic_restoration_chunk_model_v0.2.onnx
→ 新しいチャンク型復元モデル jasnaで使うには新規実装が必要

こういう手合いにはなあにもおしえなくていいぞ
AIでわからなかったら全部ここで聞くだろ

今まで落としたアプリはデスクトップに置いてたんだけど、どうもデスクトップに置くとOneDriveが悪さするみたい。
このクラウドウィルス並みの悪質さだな。みんなJasnaのアプリはどこに置いてる？

普通にdドライブ
というかOneDriveの共有はうざいから切っとけ

レベル低すぎるだろ大丈夫かよ

OneDriveとかcopilotとか真っ先にアンインストールしないのかな？

私もOneDriveの同期切るの忘れてて、何度もコンパイル失敗してやっとこさ使えるようになったデスクトップに置いてたJasna。

OneDriveが勝手にバックアップ。ほかのPCのデスクトップにも出現したので、これはうざいと、クラウド上にアップロードされてたJasnaを削除したら、

PCのデスクトップにあったJasnaも同時に削除されて発狂しそうになった経験があります。

Jasnaの二次修復でTopaz使っている人いますか？持ってないからわからないのだけど、他のu-netやRTXと仕上がり結果は全然違うもの？

>>538
良い具合に倍サイズになる？
なんかペッタリとして輪郭だけシャープにしたようなのしか知らないんだけど
よい感じにスケールアップできるツールあったら教えてほしい

HLSのリアルタイム復元は絶対に要望出した方がよいよ。

macで実装したけど、ほぼ待ち時間なしで、ダウンロードする手間もない。

多分windows,linuxなら余裕でいけると思う。

>>562
Topaz Videoが効果的。
リッピング状態に左右されるけど、あらかじめプログレッシブの60fps指定と正方形ピクセルになるよう854幅でリッピングしておいてTopaz VideoでProteusかIris使うと初めからFHD動画かと思うほど綺麗で滑らかに再生できるようになるよ。
そうでないリッピング状態でもHDサイズになんとか耐えられるくらいに綺麗になる。

>>562
無料で使えるものだったら昨年出た拡散モデルベースのSeedVR2とかFlashVSR
VRAMは16GB以上無いときついとか長い動画の処理は工夫が必要だったりするので
誰にでもお勧めできるものではないけど、結果はとても良い感じ

>>563
今FでもDRM付のMPDashでHLSじゃないよね？使えるんか？

>>547
北米版がある作品はLADAすると近い感じの仕上がりになるけど
それ以外だと水彩画で処理したんかっていう様な仕上がりになっちまうな
ちんこの輪郭が透明な液体に覆われてるような微妙さが出て決してクリアにならない

あとアニメの場合は輪郭にジャギーが大発生することが多々あるんだけど、なんなんだろうなあれ
LADA後にTVAIとかでアプコンして出来る限り軽減してるけど、すげー気になる

>>564
Topaz Videoはサブスクみたいなんでやめとくわー

>>565
うちのは4060Ti 8Gなんでだめそ(>_<)

アニメのモザイク破壊はアニメ専門で学習したモデルじゃないと実用的でないんだろうね
誰かがそのうち解決してくれそうな問題ではあるが

RX9060XT 16GBなのにやっす！と思ったけどCUDAが無いから駄目か～

それ以前にイラストだと情報が少なくて解析が難しいし実写と違ってはっきりした綺麗な線出さないといけないから厳しいらしい

なんかよくわからんけど、Topaz VideoってやつをPCに入れて、Topaz Videoモードでモザイク破壊したら、
ついでに元ネタが画質の悪い動画でも、HD並みの画質くらいには高画質化出来るってこと？

全然違うぞ

Mac使いに朗報。

M5 Pro 18CPU 20GPU 48GB Macbook Proで
FHD復元で160fps達成。

ほぼjasnaに追いついた。

進捗: 5% | 08:53 / 02:56:45 | 15960フレーム | 273.3fps | 残り 18:24
進捗: 10% | 17:41 / 02:56:45 | 31806フレーム | 265.3fps | 残り 17:58
進捗: 15% | 26:34 / 02:56:45 | 47766フレーム | 243.4fps | 残り 18:29
進捗: 20% | 35:23 / 02:56:45 | 63612フレーム | 196.1fps | 残り 21:36
進捗: 25% | 44:11 / 02:56:45 | 79458フレーム | 180.9fps | 残り 21:58
進捗: 30% | 53:04 / 02:56:45 | 95418フレーム | 165.6fps | 残り 22:23
進捗: 35% | 01:01:53 / 02:56:45 | 111264フレーム | 162.8fps | 残り 21:09
進捗: 40% | 01:10:45 / 02:56:45 | 127224フレーム | 165.9fps | 残り 19:09
進捗: 45% | 01:19:34 / 02:56:45 | 143070フレーム | 172.3fps | 残り 16:54
進捗: 50% | 01:28:26 / 02:56:45 | 159030フレーム | 164.7fps | 残り 16:04
進捗: 55% | 01:37:15 / 02:56:45 | 174876フレーム | 168.7fps | 残り 14:08
進捗: 60% | 01:46:04 / 02:56:45 | 190722フレーム | 166.4fps | 残り 12:44
進捗: 65% | 01:54:56 / 02:56:45 | 206682フレーム | 159.5fps | 残り 11:37
進捗: 70% | 02:03:45 / 02:56:45 | 222528フレーム | 159.8fps | 残り 09:56
進捗: 75% | 02:12:38 / 02:56:45 | 238488フレーム | 161.9fps | 残り 08:10
進捗: 80% | 02:21:26 / 02:56:45 | 254334フレーム | 156.6fps | 残り 06:45
進捗: 85% | 02:30:15 / 02:56:45 | 270180フレーム | 159.6fps | 残り 04:59
進捗: 90% | 02:39:08 / 02:56:45 | 286140フレーム | 159.4fps | 残り 03:19
進捗: 95% | 02:47:56 / 02:56:45 | 301986フレーム | 160.7fps | 残り 01:39

アニメのモザの場合、メーカー毎でもかなりのばらつきあるから
実写より学習させるの面倒そうだなぁ、と勝手に思ってる

青髪キャラのマン毛を青くするのか問題は解決の糸口も見つかってないからな

jasna v0.10.0 リリース来た 今回は新機能・バグ修正のみで新モデル追加は無い

■新機能
・復元動画プレイヤーを内蔵(キュー対応・複数ファイル連続再生可、音声再生にlibVLCを使用)
・キューの右クリックメニュー(フォルダを開く/パスコピー/再キュー)と全ジョブ再実行
・動画完了ごとに任意コマンドを実行できるpost-export機能
・TVAI使用時のデノイズフィルタ(処理は遅め)
・AMD GPUでのセグメント処理に対応

■改善・修正
・CQ値を数値そのままで指定可能に(--cq追加、H.264のCQ制御も修正)
・チャプター・字幕などのメタデータを出力へ保持
・60fps→30fpsなどのフレームレート変換の判定を改善(ドリフト表記のソースも対象に)
・ストリーミングの安定性向上、AMDの色化け修正など互換性修正多数

■補足
エンジン再コンパイルは不要 旧バージョンのmodel_weightsフォルダコピーで.engineの引き継ぎOK

情報ありがたいです

リアルタイム復元ってこと？

今のバージョンだとV6かV4fastが鉄板？
lada_mosaic_detection_model_v4_accurate.ptの方は意味ないんだっけ？

yoloはv2以外ゴミって認識だけど、rfdetrはケースバイケース
暇なら試して比較してみれば

アニメは元画像をマトモに描いてなかったら⋯
あくまでモザイクの状態から推測してるので

ゴミ呼ばわりは失礼極まりない。

インタレース解除はtopazで2xfpsするのが一番きれいだと思うけど
同一コマを自動で間引いてくれるAIはないものか

>>585
インターレースの処理はXmedia Recordeで事前処理してる
ものによってTFFかBFFか分からないんで
LosslessCutで30秒くらい動きのあるとこ抜き出して
どっちが合うがテストしてからやってる

>>582
呼称ややこしいな。VR版V2の事言ってる？
v4_accurateはリネームしてV2表示にして使うように推薦されてたから尚更

>>585
QTGMCでBob化した方が綺麗だよ
SelurのHybrid使いやすいからおすすめ

REAL Video EnhancerってのをAIにおすすめされて使ってみたけど
やっぱDVD画質がそのまんま拡大されただけで、
スクショ撮って見比べなきゃ分かんないレベルでしかきれいにならんかった
1万円以下くらいなら買ってもいいから、なんかいいアプリないかね

>>586
補完にAI使うとモザの上下境界がくっきりして破壊する時きれいになるんよ
自動だと境界が怪しくなって破壊もいまいち
モザ自体が１フレーム遅れで表示されてるのもあるけど(１フレーム無修正になってるのとか)
>>TFFかBFF
ボトムってほぼ見た事ないけど、時々混じってて困るよね

昔はTopaz使ってたが
どうも塗り絵っぽさが取れなくて
最近はDavinciが主になった

なに使ってもオリジナルより綺麗にはならないよ

ある程度の妥協は必要

SeedVR2とかならオリジナルよりきれいになるけど重過ぎて個人環境じゃ無理

FlashVSRならWindows上でも長尺をx4 or x2にアプスケできるforkを先月作ってgithubに置いた(ComfyUI不要)
(SeedVR2も比較検討で試したけど、FlashVSRの方が速いし結果に満足したんでこっちを採用)

画面をタイルに区切って処理するので時間はかかる 速度の面ではTVAIには全然及ばないと思う
VRAM 16GBでしか試してないけどタイルサイズと分割の設定を工夫すれば12GBでも動くはず
当然だけどインターレスの動画は解除してから処理した方が仕上がりは良い

アニメはクリップサイズ下げるとよくなるな