【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>343
コーデックチェッカーで出来るものと出来ないものの比較してみたら？
出来ないものが出来るようになるわけじゃないけど

>>343
分割の時に出るんでしょ
ffmpeg -hwaccel cuda -c:v h264_cuvid -i "INPUT.mp4"...
入力ファイルのコーデックで、_cuvid の前を変えなくてはダメだぞ
h264_cuvidとhevc_cuvidが主なものだけど、それ以外でもいけるぞ
ffmpeg -decoders | find "_cuvid"
で見てみ

>>343
もし、ツール使っていてエラー出るんなら、入力ファイルmkvなんじゃね？
mkvはmp4と同じ方法では動画の情報取得ができないことがあるから、
ffmpeg -i input.mkv -c copy output.mp4
で無劣化変換したらいけるんじゃない？

>>340 多分大した違いは無いと思うが、v.0.5.1の前バージョンv.0.5.0で過去スレである様に勝手にアプリがクローズされた事がある。5.1で改善されたかは、分からん。アルファ10の方は俺環では、結構回数やったがクローズ等出てない。ただ5.0はTVAIが速くなっていると感じた、毎回クローズする訳では無いのでTVAIを多用する人は5.0以降が良いのかも。

mp4 D3D11_MV12 856X480 BT.709 の素材をJasna0.5.1　で処理すると　全体が　大きくガクガク震えます
mp4 D3D11_MV12 1280X720 BT.709　の素材は問題なく処理できます
この映像フォーマットでは　SD素材はダメなのでしょうか
おれ環かと思い他のPCでやってみましたが同様でした

ガクガクはSDに限らない。動画カッターで切り取った動画などでもある。Ffmpegで再エンコードするしかない。

手持ちの動画、SDはBT.709フィルタ設定でH.265化
HD/FHDはH.265に変換した

jasna頭固いジジイみたく入出力厳しいな、ladaは何でも食うし何でも出すのに

>>334
俺もこのスレの内容は8割方意味不明だよ
謎の呪文の羅列にしか見えないし謎の呪文の説明がこれまた謎の呪文になってるので頭の悪い爺さんはギブアップだわ
大人しく何とか導入できたladaで頑張るよ

>>353
https://github.com/Kruk2/jasna/releases/tag/v0.6.0-alpha5
ここのassetsから7z.001 7z.002を落として解凍してjasna-gui.exeを実行するだけ
secondary restoration でrtx super resを指定すると驚く結果になるぞ
一括変換の速度やリアルタイム再生のスムーズさもladaとはレベチだ

>>353
なお初回実行時は復元モデルの最適化処理が走るから30分ぐらい我慢汁

RTX3050を使っているのだが、ladaとjasnaの処理時間はほぼ同じ。
rtx super resの処理を加えるせいかもしれないが、jasnaのほうが遅い。
原因はGPU（もしくはメモリ）の限界なのかなと思っている。
3050（もしくはそれ以下）でladaよりjasnaが2倍速いっていう人いる？

コンパイルon常にしないとladaと同じ

BasicVSRコンパイルはONにしているよ。わざわざオフにしたりしてない。
一番最初に実行されるコンパイルも成功しているが、コンパイルにかかった時間は1時間ぐらいだったと思う。

検出モデルがrfdetr-v5になってるって事はないの、あれ遅いよ

そう
jasnaは検出モデルをyoloにしないと速くならない

みんなレスありがとう。
lada-yolo-v4を選択しているし、その設定をプリセットしている。
3050の限界だったとしても10万だして買い替えるつもりもないんだけどねｗ
いまどき3000シリーズを使っているヤツは少数派なんだろうね。

>>354 ありがとう。v0.6.0-alpha5 なんて出てたのね。
早速試してみたけど、ｖ0.5.0 で >>2 をやったやつとの比較では違いがよくわからんかった。

>>361 グラボは頭の 20** 30** 40** よりかはケツの **50 **60 **70 の方で性能差が出るんじゃ？
**80 とかがお大尽クラスでベンチマークもかなり違ってくるみたいだし。

右下のGPUやVRAMの仕様率でどちらかが100%近く占有することが多いなら性能やRAM容量不足なんじゃないかな

>>362
0.5 と 0.6の違いは —stream オプションつまりリアルタイム再生対応かどうか
jasna-gui.exeは今は再生機能ないが、
jasna作者が公開しているjasna対応したstash動画管理再生アプリなどでリアルタイム再生できる
有料GUIツールのalethisでもリアルタイム再生できる

>>361
ははは、ワイはいまだに2070sでがんばっちょるよ

>>365
chatgptに3050と2070sの比較をしてもらったら
純粋な性能 → RTX 2070 Superが圧勝
省電力・新しさ → RTX 3050
という回答だった。

>>362
コメントしてくれたとおりみたいだね。どうもありがとう！

>>361
ざっくり言うとladaでは余してたビデオカードの余力を目いっぱい使えるように→高速化したのがjasnaなので
lada実行時点でVRAM使用状況がカツカツだったらあまり速くはならないと思う

>>356
とりあえず、スピードを重視するなら、RTX Super Res はオフにしてみてはどうでしょう？

4つまでの動画の任意の部分を拡大して見比べるツールを作って比較した結果、RTX Super Res などの二次修復はオフにしました。
RTX 5070 でもこれをオンにするとかなり遅くなりますが、時間コストに見合った改善にはなっていないと感じたからです。
ちなみに、restorationモデルについては、2Dソースでは個人的には vr_v0.5_test や v1.2無印 より v1.2_full がいいと思いました。

スピードも欲しいけど、仕上がりが一番大事だろ

VRの下のほうにあるモザイクって消すのは無理かな？
中央部分ならまあ消えるんだけど

>>368
TVAIかSwin2SRと間違えてない?
RTX Video Super Resは1割増位の時間で処理出来ていると思うが

jasnaの二次復元のunetを試した人いますかね、オーバベットや効果はどうでしょうか？

>>369
大きく同意

動画によってV2aよりV2fの方が良いときある
ていうかaの法が良いのかもわからない

JasnaにTVAIが一番いい
まじレベチ

rtx vsrでかなり遅くなるというのは不思議だな
修復領域だけに4×アップスケールかけてるんだと思うけどそんなもんそもそも1080p全体を4Kでリアルタイム再生出来るくらい大した負荷じゃないのがウリなわけで
ただtensorコアいくらか使うんで無影響とは言わないし旧世代や下位シリーズは影響大きいだろうけど

>>353
このスレをPDFにしてAIに解読させたら懇切丁寧に教えてくれるよ

>>343ですが、事前にTVAIで加工するとJasnaで破壊することができました
ただ、TVAIの実行にかかる時間がめちゃくちゃ長いので実用的ではないですが…

>>366
わいRTX3050(8GB)

本家のアプデ来ないかな？
派生には興味ないし調べるのも面倒くさいし劇的な変化もなさそうだし

ladaだとCPUメインでGPUが暇するけどJasnaだとGPUメインでゴリゴリ行くんだよね
JAVPの時と一緒でGPUの差がモロに出ると思う

>>354
ありがとう
0.5でやってたんだけど不足しているエンジンとしてRF-DETRとBasicVSR++が出て動かないので止めちゃってるんよ
なお最初のシステムチェックでCUDAデバイス無し、CUDAランタイム無し、CUDAシステムメモリフォールバックポリシーが×なんで、そもそもGPUが1650じゃダメなのかなとも思ってる

>>382　参考までに

おれ環は i9-9900KF　2080Ti　これでSDなら実時間の半分くらいで処理出来るし、FHDでもちょい長いくらいかと。

jasnaは二次処理がキモだと思うんだけど、TVAIのサブスクに入らなくても2080TiでRTX Super Res がダーターで使えるし、そもそもjasnaが走るRTXボードならここは大丈夫っぽい。

1650と2080Tiの比較↓
https://technical.city/ja/video/GeForce-RTX-2080-Ti-vs-GeForce-GTX-1650
今買うんなら2080Tiなんて古いボードよりは4060とかが無難なのかも。中古相場同じ位でも世代が若いから電気代安めになりそうなのと、陳腐化が遅くなるから長持ちしそう。

RTXグラボは20**→30**→40**→50**で世代の進化、**50→**60→**70→**80で処理能力アップ、
どこで折り合いつけるかすげー悩むけど、ベンチマークと自分のやりたいことを突き合わせて選ぶ感じかと。予算厳しいならいずれにせよ中古一択になると思うけど。

とにかく金かけたくないなら中華サイトで垂れ流しになってる”无码破解”を眺めればいいだけなんだが、
思い入れのあるやつの破解版て結局”自炊”するしか無いことが多いんよね。
おれなんかオキニのやつをJAVP→lada→jasnaって3回以上しつこく破解しとるｗ

>>382
jasnaはtensorRTで高速化してるのでgtxだと効果ほぼなし
また、最大のメリットであるRTX super resがgtxでは使えない
RTX super resでladaとの出来上がり品質がまるで違うのでrtx 2060 6gbを1.5kでgetすれば？
おすすめは4070Ti以上、PL50%でもtensorコアも多くエンコーダ二基搭載なので省エネでグリグリ動く

>>382
Ryzen 3060 ecoモード、4070Ti PL50%
windows 11環境でrtx super res付きで一般的な2時間ものfhd 30 fpsで1時間ちょい、sdだと40分ちょい
リアルタイム変換視聴がfhdでもスムーズなので今はほぼフル変換はしてないが
なお、max-clip-sizeやoverlapを減らせばvram 6gbでも動く
max-clip-sizeはav映像であれば30で十分なので

もうeco modeでもなんでなくてただのero modeだな

>>376
元の動画によるのかも
4Kや8K VRとか、画質良いものにVSRを使っても効果があまり感じられないとか、
このレベルの動画をVSRでScale x4 Quality ultraで処理してVRAM 12Gがボトルネックになってるとか

VSRは５０７０とかなら再生時に自動で効かせられるのと同じではないの？

2018年に購入したVRをダウンロードしたら今のとは違ってた
SBSは今はアスペクト比2:1（片目だと1:1）のものがほとんどだが、16:9になっていた（片目だと8:9）
TBはアスペクト比は1:1で同じだったが、縦が半分に潰れてない代わりに左右に1/4ずつの黒帯があり、映像は画面の半分しかなかった
SBSはいいけど、TBはもったいないことをしてると思った

でもTBは何も考えずにキレイには復元できるよね

>>388
機能は同じだが、使い方が違う
VLCみたいな動画プレイヤーで再生時に動画全体にかけるのではなく、
jasnaやlada-exだと検出したエリアのみに、復元後2回目の処理としてVSRをかけてから元動画に合成している
つまり、VSR処理後の画像で出力動画が作られる訳だ
(TVAIを選んだらは2回目の処理にTVAIが使われる。当然だが、TVAI持っていなければ動かない)

SBSとTBってなに？

SBSはサイドバイサイド、TBはトップアンドボトム

ちなみに、作品によっても違うけどある作品では
・超高画質
　H264 SBS 3840x2160（片目1920x2160）
・H265
　HEVC TB 2144x2144（黒帯を除いた片目1072x1072）
・PC（これだけ mp4 ではなく専用プレイヤーでしか再生できない）
　H264 TB 2160x2160
・スマホ
　H264 TB 2160x2160（黒帯を除いた片目1080x1080）
今となっては普通画質の超高画質以外は見れたもんじゃない

エンジンが不足って出た
https://imgur.com/a/DAUBYaf
>>2の導入通り、削除、リネームしたんだけどなぁ

普通の初回コンパイルじゃないの
検出モデル一種類に一回
復元モデルはclip sizeごとにコンパイルが必要

ごめん間違い
PCのやつは、解像度はわかるけどコーデックは不明です

>>354
解凍できない

コンパイルOFFにしたら初回コンパイル無くなると思ったのに、コンパイル始まるのね。。。

>>398
コンパイルON/OFFの選択は復元モデルだけ
検出モデルはコンパイルされたエンジンを使うので、最初に使うモデルでは必ずコンパイルが走る

>>399
なるほど！
thx!

>>397
gemini

394です　自己解決しました

>>393
VRで使うやつなのか

Lada-EXが0.12.1に上がったんだが、Zero-Copy GPU Encodingがやばい
低解像度の動画だと効果が小さいが、FHD動画では俺環だとJasnaの1.5倍速以上出た
今のところ自力インスコ＆Linuxじゃないと厳しいので、試せる人が限られるのが弱いところ

本家のぎざぎざになるバグがJasnaでなんでか起きなくなってる
もうJasna一択

やばいの使い方が気持ち悪いオッサンです

むしろこんなスレおっさん以外が見てたら嫌すぎるだろwwww

トップアンドボトムの VR動画 で fisheye をオンにすると画面上下端の情報が失われてしまう現象ですがようやく対応策がわかりました。

jasnaバージョン0.5.1、gpuドライバ更新しても最初のチェックでgpuドライバエラーになる。rtx50xxシリーズじゃないと使えないのかね？

>>409
入れてるドライバのバージョン確認
0.5.1のチェックはドライバのメジャーバージョンが590より小さいと弾く
GTX1000番台のGPUだったりするとアウトかな

>>410 返信ありがとう。入れたドライバは596.21となっている。グラボは、rtx4060ti。これもオマカンか？

nvidia-smi にパスが通ってない説
github.com/Kruk2/jasna/issues/124

Jasnaなんとか使えるようになったのですがrtx super resの設定ってどこで調整するのでしょう？
特にそう言う項目が見当たりません

>>413
二次修復って項目の中でrtx super res選択して調整

98にlada0.11.1で破壊している動画が増えてるけどbilibiliで売っているやつ？

>>414
遅くなりましてすみません、返答有難う御座います。
最大化しないと出ないんですね、調整項目。
一度最大化すれば後は大丈夫でした。

>>412 返信ありがとう、パス通って無かった。俺には難しかったがなんとかパス通せた、チェックをクリアして使える様になった。

lada-exの機能追加に合わせてtensorrtやら色々やってたがVRAM16GBでもVR4K動画ですらOOMで落ちる頻度が格段に上がった。8Kはまずダメ。RTX5090ポチったが32GBで今後どこまで耐えられるのかと考えたらPRO6000まで行くべきだったのだろうか。

金があって好きに使えるなら何やってもいいよ

>>418
Lada-exはGPUゼロコピー機能(torchcodec-encode)で処理性能が爆上がりしたが
その分VRAM消費も激しくなった
FHD動画では今のところOOMは発生していないが、RTX VSRを有効にすると
VRAM使用量が13GBとかになっているので、VRAMが多いGPUが必須な感じ
RTX5060ti 16GBでもVSR有効にしてFHD動画が実時間の1/4位で処理できており
ようやくVRAM容量の恩恵を感じている
VRAM 16GBだと4K/8K VR動画ではVSRを使わないようにしないとだめそう
性能と品質を求めるとキリがないですな

>>418
RTX PRO 6000 VRAM96GB 約155万円～
RTX 5090 VRAM32GB 約60万円～

VRAM単価で見たらpro 6000オトクかも…（錯乱）
ビデオカード１枚で軽自動車が買えてしまうw

ホントにそういう量のVRAMが必須になる頃にはその量が60tiのやつらにも積まれるようになるよ
多分

そんで今のハイエンドには無いチップが処理に必要になったりして無駄金になるんだ。知ってる知ってる

早まってはならん

そうなんだよな。5090tiも噂あるしな。

今ならクラウドGPUでladaするマンさんみたいに
RunPodでPRO 6000を従量課金で試す手もあるな

みんなモザイク破壊してるVR動画の素材は何処から落としてんの？FANZA VRが素材になれば最高なんだが、現状無理なんでしょ？何処のサイトのVR動画を素材にしてるんだろ。あと、VR動画のモザイク破壊は、LADAでは出来なかったけど、JASNAならできるの？

ポチったRTX5090の発送連絡こないから問い合わせたら入荷待ちになってしまっていた。
悶々としながらRTX PRO6000調べてる過程でPRO5000 48GBが電力や大きさから今のPCケースのままいけそうで、価格も大差ないことに気付いてポチり直した。これなら夏も耐えられそうだしTensorRTも余裕だと思う。たぶん。

財力がスゴいなぁ

DGX Sparkでもいい

>>425
ダウンしたwsdcfをmp4に変換する方法2つ見つけて試したけど、どちらもエラー出る
どうやら、以前は動いたようだが、暗号キーが更新されたかで動かなくなった模様
最後に見つけた有料のやつ、サイトに登録して無料で1回だけ使えるやつは動いた
しかし、料金が2回で1ドル、9回で3ドル（共に1年有効）とのことで捨てた
やはり、匠くんしかいない

>>429

2D動画用のダウンロードソフトは各種有るけど
VR対応って無いに等しいのかな？

FANZAで購入したVRは40本ほどあった、VRは10円セールの時に購入したのがほとんどだけど
しかも、1本の動画でファイル1つというのはほぼなくて、多くて10ファイルあったりする
全部変換するのにいくらかかるんじゃ

だからこのスレで話題になるVRはfanzaではありません
ログ読んでおくように

ladaでVR破壊できないってそのまま突っ込んでるんだろか
zelefansでsplitしてladaで破壊してcombineすれば良い
jasnaは8KVRだと2.3割速くなるがグラボの負荷が高いうえVRだと長時間の稼働が必要なのでそこをどう捉えるか

VRを破壊する手段の話ではなく、破壊できるVRをどこから仕入れてるんだって話だろう

jasnaのvr用は129で作ってくれてる

VRの入手手段は調べれば良い
お金払えばいくらでもある

claudeで改造したundergate版を通常とfisheyeのスクリプトで使い分けてる
連動したミニGUIなんかも簡単に作ってくれて便利
Ubuntuで全て実行している

>>434

>あと、VR動画のモザイク破壊は、LADAでは出来なかったけど、JASNAならできるの？

jasna v0.6 アルファ5のリアルタイム再生やが、フォーク版stashに動画放り込んでも破壊されない。環境設定が間違ってるのか？

>>439
>>204

>>440 返信ありがとう。>>204 も参考にしたが駄目だ、出来ない。

>>438
>jasnaは8KVRだと2.3割速くなる
つまりできます。

あまり需要ないと思うけど、モザイクじゃなくてぼかしを戻す方法ってないかな？

>>439
Stash から起動された jasna-cli.exe の「カレントディレクトリ」が、
jasna-v0.6.0-alpha5 ではないためです。
Jasna CLI は **モデルを「相対パス」**で読みに行きます：
ってcopilotさんが言ってた
@echo off
cd /d "S:\APP\jasna\jasna-v0.6.0-alpha5"

set "JASNA_CLI_PATH=S:\APP\jasna\jasna-v0.6.0-alpha5\jasna-cli.exe --fp16 --max-clip-size 60 --secondary-restoration rtx-super-res --rtx-scale 2 --rtx-quality high --rtx-denoise low --rtx-deblur ultra --detection-model lada-yolo-v4"

start "" "S:\APP\stash_Jasna v0.30.1\stash.exe"

画面全体に小さいモザイク入れてる動画あるけど
あれ取れねぇな