【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

すまん、そのままでいいのか
accurateを入れる場合はリネームとかだっけか昔過ぎて忘れてるわ

>>511
vr用のv2_accurateは lada_vr_mosaic_detection_model_v2_accurate.pt という名前でjasnaのv0.8.0〜v0.9.0まで同梱されてたがv0.9.1で同梱されなくなった
使いたかったら前のバージョンからファイルをコピって、detection modelを zelefans-vr-yolo-v2 にすればおｋ

ありがとうVRの話になってるけどVR持ってません

名前にVRがついているだけだから気にしなくてよいよ 別にzelefans-vr-yolo-v2はVRのビデオにしか使っちゃダメとかないから
このモデルで処理した結果と他のモデルで処理した結果を見比べてみれば自分にとってどれが良いかがわかるさ

>>507
自演する亡き違い

>>497
そんなことあるか？と試したけど180の方が良い気はした
気のせいか？

単フレームだからただディティール落ちるだけ

今の復元モデルを作ったlada作者も自分のコードで--max-clip-lengthのデフォルト値を180にしてるんだよね

今年あまり触らずにいたが久しぶりに入れてみるか
進化が楽しみ

皆さんモザイク破壊する前の動画って消してる？

より優れた破壊方法が出た時の事を想定して消してない

エントロピー増大からは逃れられないからねえ

javpのがあればいいやと結構消して今は後悔してる

ゲームチェンジャーが出る度に更新してるから残してる

>>520
今まで消して後悔してきたので、今は残してる。破壊後のと含めて容量が大変である。

ストレージは何ペタバイト使ってるの？

25TBくらいはあるけどAI生成とかもやるから色々なファイルでだいぶ埋まってる
今ストレージ高騰してるから保存用のHDDが1つでも逝ったら痛手だなぁ

Jasna v9.01入れたけど、はじめのコンパイルが完走しなくて使えない。
前のバージョンも最初の数回はだめで何回か試したらコンパイル完走して使えるようになったんだが、v9.01は何回やってもだめ。
因みに設定はデフォルトのままで、ビデボはrtx4090、cpuはインテルコア I9-13900KS使ってる。なにが原因なんだろ？

ログを見ろ

そんでログレベルはDebugにして詳細メッセージ見た方がよい

DVD時代の女優さんがお気に入りでISOとmpeg、デインターレースしたファイルを保管してる
やっと一人目がJasnaで変換終了
現在保管してる nasもどきと使わなくなった２Tくらいのがごろごろあるんで
各単体で保存する所存

今少し前にやったら、今度はコンパイル完了してつかえるようになった。なんかよくわからんな。

ビデボ

>>525
やっぱ消せないですよね…
悲しいかな

昔のやつは簡単にダウンロードできたからねえ

>>531
俺もDVDで好きな女優さんのを大事に持ってる
最近のJasnaでDVDのアスペクト比しっかり認識できるようになって
16:9に出してくれるようになって嬉しい
でもやっぱり解像度低いから
Jasnaにスケールアップできる機能がついたらなと思ってる

GPUに高額払ってるくらいならTopaz買え

ファイル名に_000とかladaとかついてるやつを再処理しまくってる。DVDソースとか小さい動画は倍さいずに変換してから再処理。

チンチンのモザは結構取れて良いんだけどマ○コの部分が破壊した後は結構歪んだりする作品が多いね
やりまくってビラビラが酷い事になってるから復元難しいのかね
それともマ○コの方がモザがキツいのか

>>539
歪んでいるのはただのアーティファクトかもしれないから >>497 あたりのレスにあるように
最大クリップ数30、オーバーラップ14
でやってみるのが一番

原理的な課題としては、ペニスの形状はだいたい決まりきってるのに対して、マ○コはビラビラも含めて形状が様々だからより多くの学習素材が必要だってこと
現状の　lada_mosaic_restoration_model_generic_v1.2.pth 　は全然学習が足りてないし、多分、学習素材がFHD 未満のものが多く使われているから解像感がなくてモヤっとした感じになっちゃう

ここにいる皆様は品質重視っぽいから、HLSストリーミングをそのまま復元するのなんか、興味ないよね？

タイパ重視

ただでさえ処理時間かかるのにリアルタイム処理しようと思ったらもっと高性能がいるやろ

>>541
めっちゃあるから教えてくれ
VRとか容量デカすぎてローカルにコレクションできんのよ

高解像度のデータセット使っても学習時に全部256*256に変換してるんじゃなかった？

>>545
そのサイズは素材を合成劣化させた学習入力用の低画質画像のサイズ
なので、高解像度・高ビットレート素材の方が低画質画像を作った時にディテールが残る

モデルが普通のAVで学習してるからしゃーないんだけど、エロアニメのモザイク破壊は全然うまく行かないな
なんか妙に生々しいキモい破壊になってしまう

zelefans の新しいモデルがhuggingface_hubにアップされた。
　vr_mosaic_detection_model_v2_accurate_1280.onnx、 vr_mosaic_detection_model_v2_accurate.onnx
　vr_mosaic_restoration_chunk_model_v0.2.onnx

>>548
これってJASNAのMODEL＿WEIGHTのフォルダにそのまま入れればいいんでしょうか？

zelefansと lada-yolo-v4 の3Dの処理は結局は好みの問題になるのか。
比べて比較してるがそれほど変わらなくない？

あまり変わらない
破壊速度が大きく違うけど

>>548
これって2Dでも使えるの？

今までrestoration_modelは.pthだったのに、今回は.onnxなのはなぜ？

Fable先生の調査結果概要
これらのモデルってzelefansさんのVR Video Toolboxでどうやって使うんだ？ (jasna改造してる？)

vr_mosaic_detection_model_v2_accurate.onnx
→ 既存の lada_vr_mosaic_detection_model_v2_accurate.pt（jasna では zelefans-vr-yolo-v2 として対応済み）と同一モデルの ONNX エクスポート
vr_mosaic_detection_model_v2_accurate_1280.onnx
→ 同モデルの 1280×1280 版 jasnaで使うにはYoloMosaicDetectionModel.DEFAULT_IMGSZ = 640 前提の前処理・エンジン形状を imgsz=1280 対応にする改修が必要
vr_mosaic_restoration_chunk_model_v0.2.onnx
→ 新しいチャンク型復元モデル jasnaで使うには新規実装が必要

こういう手合いにはなあにもおしえなくていいぞ
AIでわからなかったら全部ここで聞くだろ

今まで落としたアプリはデスクトップに置いてたんだけど、どうもデスクトップに置くとOneDriveが悪さするみたい。
このクラウドウィルス並みの悪質さだな。みんなJasnaのアプリはどこに置いてる？

普通にdドライブ
というかOneDriveの共有はうざいから切っとけ

レベル低すぎるだろ大丈夫かよ

OneDriveとかcopilotとか真っ先にアンインストールしないのかな？

私もOneDriveの同期切るの忘れてて、何度もコンパイル失敗してやっとこさ使えるようになったデスクトップに置いてたJasna。

OneDriveが勝手にバックアップ。ほかのPCのデスクトップにも出現したので、これはうざいと、クラウド上にアップロードされてたJasnaを削除したら、

PCのデスクトップにあったJasnaも同時に削除されて発狂しそうになった経験があります。

Jasnaの二次修復でTopaz使っている人いますか？持ってないからわからないのだけど、他のu-netやRTXと仕上がり結果は全然違うもの？

>>538
良い具合に倍サイズになる？
なんかペッタリとして輪郭だけシャープにしたようなのしか知らないんだけど
よい感じにスケールアップできるツールあったら教えてほしい

HLSのリアルタイム復元は絶対に要望出した方がよいよ。

macで実装したけど、ほぼ待ち時間なしで、ダウンロードする手間もない。

多分windows,linuxなら余裕でいけると思う。

>>562
Topaz Videoが効果的。
リッピング状態に左右されるけど、あらかじめプログレッシブの60fps指定と正方形ピクセルになるよう854幅でリッピングしておいてTopaz VideoでProteusかIris使うと初めからFHD動画かと思うほど綺麗で滑らかに再生できるようになるよ。
そうでないリッピング状態でもHDサイズになんとか耐えられるくらいに綺麗になる。

>>562
無料で使えるものだったら昨年出た拡散モデルベースのSeedVR2とかFlashVSR
VRAMは16GB以上無いときついとか長い動画の処理は工夫が必要だったりするので
誰にでもお勧めできるものではないけど、結果はとても良い感じ

>>563
今FでもDRM付のMPDashでHLSじゃないよね？使えるんか？

>>547
北米版がある作品はLADAすると近い感じの仕上がりになるけど
それ以外だと水彩画で処理したんかっていう様な仕上がりになっちまうな
ちんこの輪郭が透明な液体に覆われてるような微妙さが出て決してクリアにならない

あとアニメの場合は輪郭にジャギーが大発生することが多々あるんだけど、なんなんだろうなあれ
LADA後にTVAIとかでアプコンして出来る限り軽減してるけど、すげー気になる

>>564
Topaz Videoはサブスクみたいなんでやめとくわー

>>565
うちのは4060Ti 8Gなんでだめそ(>_<)

アニメのモザイク破壊はアニメ専門で学習したモデルじゃないと実用的でないんだろうね
誰かがそのうち解決してくれそうな問題ではあるが

RX9060XT 16GBなのにやっす！と思ったけどCUDAが無いから駄目か～

それ以前にイラストだと情報が少なくて解析が難しいし実写と違ってはっきりした綺麗な線出さないといけないから厳しいらしい

なんかよくわからんけど、Topaz VideoってやつをPCに入れて、Topaz Videoモードでモザイク破壊したら、
ついでに元ネタが画質の悪い動画でも、HD並みの画質くらいには高画質化出来るってこと？

全然違うぞ

Mac使いに朗報。

M5 Pro 18CPU 20GPU 48GB Macbook Proで
FHD復元で160fps達成。

ほぼjasnaに追いついた。

進捗: 5% | 08:53 / 02:56:45 | 15960フレーム | 273.3fps | 残り 18:24
進捗: 10% | 17:41 / 02:56:45 | 31806フレーム | 265.3fps | 残り 17:58
進捗: 15% | 26:34 / 02:56:45 | 47766フレーム | 243.4fps | 残り 18:29
進捗: 20% | 35:23 / 02:56:45 | 63612フレーム | 196.1fps | 残り 21:36
進捗: 25% | 44:11 / 02:56:45 | 79458フレーム | 180.9fps | 残り 21:58
進捗: 30% | 53:04 / 02:56:45 | 95418フレーム | 165.6fps | 残り 22:23
進捗: 35% | 01:01:53 / 02:56:45 | 111264フレーム | 162.8fps | 残り 21:09
進捗: 40% | 01:10:45 / 02:56:45 | 127224フレーム | 165.9fps | 残り 19:09
進捗: 45% | 01:19:34 / 02:56:45 | 143070フレーム | 172.3fps | 残り 16:54
進捗: 50% | 01:28:26 / 02:56:45 | 159030フレーム | 164.7fps | 残り 16:04
進捗: 55% | 01:37:15 / 02:56:45 | 174876フレーム | 168.7fps | 残り 14:08
進捗: 60% | 01:46:04 / 02:56:45 | 190722フレーム | 166.4fps | 残り 12:44
進捗: 65% | 01:54:56 / 02:56:45 | 206682フレーム | 159.5fps | 残り 11:37
進捗: 70% | 02:03:45 / 02:56:45 | 222528フレーム | 159.8fps | 残り 09:56
進捗: 75% | 02:12:38 / 02:56:45 | 238488フレーム | 161.9fps | 残り 08:10
進捗: 80% | 02:21:26 / 02:56:45 | 254334フレーム | 156.6fps | 残り 06:45
進捗: 85% | 02:30:15 / 02:56:45 | 270180フレーム | 159.6fps | 残り 04:59
進捗: 90% | 02:39:08 / 02:56:45 | 286140フレーム | 159.4fps | 残り 03:19
進捗: 95% | 02:47:56 / 02:56:45 | 301986フレーム | 160.7fps | 残り 01:39

アニメのモザの場合、メーカー毎でもかなりのばらつきあるから
実写より学習させるの面倒そうだなぁ、と勝手に思ってる

青髪キャラのマン毛を青くするのか問題は解決の糸口も見つかってないからな

jasna v0.10.0 リリース来た 今回は新機能・バグ修正のみで新モデル追加は無い

■新機能
・復元動画プレイヤーを内蔵(キュー対応・複数ファイル連続再生可、音声再生にlibVLCを使用)
・キューの右クリックメニュー(フォルダを開く/パスコピー/再キュー)と全ジョブ再実行
・動画完了ごとに任意コマンドを実行できるpost-export機能
・TVAI使用時のデノイズフィルタ(処理は遅め)
・AMD GPUでのセグメント処理に対応

■改善・修正
・CQ値を数値そのままで指定可能に(--cq追加、H.264のCQ制御も修正)
・チャプター・字幕などのメタデータを出力へ保持
・60fps→30fpsなどのフレームレート変換の判定を改善(ドリフト表記のソースも対象に)
・ストリーミングの安定性向上、AMDの色化け修正など互換性修正多数

■補足
エンジン再コンパイルは不要 旧バージョンのmodel_weightsフォルダコピーで.engineの引き継ぎOK

情報ありがたいです

リアルタイム復元ってこと？

今のバージョンだとV6かV4fastが鉄板？
lada_mosaic_detection_model_v4_accurate.ptの方は意味ないんだっけ？

yoloはv2以外ゴミって認識だけど、rfdetrはケースバイケース
暇なら試して比較してみれば

アニメは元画像をマトモに描いてなかったら⋯
あくまでモザイクの状態から推測してるので

ゴミ呼ばわりは失礼極まりない。

インタレース解除はtopazで2xfpsするのが一番きれいだと思うけど
同一コマを自動で間引いてくれるAIはないものか

>>585
インターレースの処理はXmedia Recordeで事前処理してる
ものによってTFFかBFFか分からないんで
LosslessCutで30秒くらい動きのあるとこ抜き出して
どっちが合うがテストしてからやってる

>>582
呼称ややこしいな。VR版V2の事言ってる？
v4_accurateはリネームしてV2表示にして使うように推薦されてたから尚更

>>585
QTGMCでBob化した方が綺麗だよ
SelurのHybrid使いやすいからおすすめ

REAL Video EnhancerってのをAIにおすすめされて使ってみたけど
やっぱDVD画質がそのまんま拡大されただけで、
スクショ撮って見比べなきゃ分かんないレベルでしかきれいにならんかった
1万円以下くらいなら買ってもいいから、なんかいいアプリないかね

>>586
補完にAI使うとモザの上下境界がくっきりして破壊する時きれいになるんよ
自動だと境界が怪しくなって破壊もいまいち
モザ自体が１フレーム遅れで表示されてるのもあるけど(１フレーム無修正になってるのとか)
>>TFFかBFF
ボトムってほぼ見た事ないけど、時々混じってて困るよね

昔はTopaz使ってたが
どうも塗り絵っぽさが取れなくて
最近はDavinciが主になった

なに使ってもオリジナルより綺麗にはならないよ

ある程度の妥協は必要

SeedVR2とかならオリジナルよりきれいになるけど重過ぎて個人環境じゃ無理

FlashVSRならWindows上でも長尺をx4 or x2にアプスケできるforkを先月作ってgithubに置いた(ComfyUI不要)
(SeedVR2も比較検討で試したけど、FlashVSRの方が速いし結果に満足したんでこっちを採用)

画面をタイルに区切って処理するので時間はかかる 速度の面ではTVAIには全然及ばないと思う
VRAM 16GBでしか試してないけどタイルサイズと分割の設定を工夫すれば12GBでも動くはず
当然だけどインターレスの動画は解除してから処理した方が仕上がりは良い

アニメはクリップサイズ下げるとよくなるな

>>595
topazはnvidiaのntcとかいうメモリ圧縮技術でローカル処理できるようになってんだね
それでもvram最低12GB以上だからうちの無印4060じゃ無理だけど
高画質化はしょぼいペンキ塗りとAI生成で品質も要求される環境も壁あるよなあ

>>595
うちのは4060Tiで8GBなんだあ
8GBでいけるなら嬉しんだけど

>>578
復元動画プレイヤーって処理前にどう処理されるか見れるの？
なわけないか

ほっとこうなこういうの

ちょいちょいクリップサイズ下げるとって話見るから
自分の環境でもアニメで30、60、90と刻んでやっていったが
個人的には180がやっぱ一番見栄え良く思えたわ

いまいち伝わってないのでもうちょい補足
一般的な補完方法だとフィールドオーダの性質上
偶数列(Top)と奇数列(Bottom)の補完で１ドット上下にずれる
AIだとモザをトラッキングして上下にブレないように補完してくれる
モザ破壊の前処理として結構差が大きいよって事。

180でいけるやつはいける
うねうね系は下げてオーバラップ上げたほうがいい

0.10でも魚眼の認識が0.9から悪くなってるのは直ってないぽいな

>>598
FlashVSRのfork版だけど、x2のアプスケだったらVRAM 8GBに収まりそう
タイルサイズ192で走らせた時、VRAM使用量がタスクマネージャ読みで7.8GBだった
ブラウザとか余計なアプリを閉じておけば行けるんじゃないかな

>>599
2次処理までやってるぽいので重いけど観れるよ
まぁ、本処理する前の確認用かな

>>595
github教えてちょうだい

>>607
ttps://github.com/sh202603/FlashVSR_plus

PythonのCLIツール
導入は git clone後、uv 使って uv sync するのが簡単 導入後以下のように実行すればOK
flashvsr-cli -v 11 -m tiny-long --tiled-dit --tile-size 192 --overlap 24 -i input.mp4 .\ -s 2 --resume

出力ファイルを保存先するフォルダを指定するスタイル(出力ファイル名はCLIが自動で決める、元のCLIの仕様)
初回はHugging Faceからモデルをダウンロードするので処理が始まるまで少し時間かかる

まずは短い動画か同梱のサンプル動画(SFW)でお試ししてみて

>>608
めっちゃいい感じじゃないすか！
これ、作ったの？
テストの短いのでやって良かったんで、本番やってみる！
ありがとう！

>>609
よかおめ
元は昨年中国の大学共同研究チームが発表したやつで、それのforkのfork版ｗ
lada-exやjasnaの二次復元に組み込んだらいい感じだったので
単体でも動くようにしてみた