【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>311
lada-exはいつのやつを使っている？
現状dev版しかない＆結構な頻度で更新されている＆チューニング要素もりもりだから、バージョンと構成そろえるのがムズい
LOG_LEVEL=INFO か LOG_LEVEL=DEBUGをlada-cliの前につけて実行すると手がかりがのメッセが得られるかも

>>312
Linux系なのでNVIDIA Multi-Process Service(MPS)をRunPod環境で動かしている？
これ使ってもカクツキ出るならスケジューラの問題ではないか

今更だが、Ladaの破壊結果に動画の明るさはあまり関係ないんだな
大本が部屋真っ暗くした作品で、元のままと、ガンマ+100くらいにしたやつを
それぞれLadaしてみたけど、結果は全く同じだったわ

ガンマで明るさとか言われてもそりゃそうだろう…

ガンマ汁が出た

>>313
現状、RunpodではMPSは使ってない模様。使うことも出来るようだけど、「それじゃ解決しないと思うよ？それでも実装するんか？」とClaude様とCodex様に怒られたので別の解決策ないか検討中…

>>314
元動画のモザイクの細かさ（細かいほうが良い）、モザイク範囲（狭いほうが良い）は破壊結果にかなり効く

えっそんなこと知ってる…と…デスヨネー

jasnaで破壊したやつ、たまに一瞬モザイクが破壊できてないフレームがあって、観ててちょっと気になるんだけど、設定とか対処法はある？使ってるのはgui版

検出しきい値（Detection Threshold）を0.10にしてみる

>>320
ありがとうございます。それでやってみます。

>>313
アドバイスありがとうございます。毎日git pullを欠かさないのでlada-exは最新です。
LOG_LEVELをセットできるのですね、標準出力とエラーをリダイレクトしてみます。

>>320
検出しきい値を動かして0.1にすると、実際に保存される値は0.09999999999999998になるんだよね
編集して0.1にしたらいいけど、またプリセットを保存したら0.09999999999999998に戻るよね

2進数で計算しているようで、0.25（2のマイナス2乗）以外はぴったりにならないんだよね

他は0.50と1.00だけど、そんなに大きくしないだろうし

>>318
事前に動画ファイルをガンマ補正した事によって白飛びが発生した場合、
モザイクに影響して取りこぼしが発生するかどうかだからね
結果、気にするこっちゃないという話なんで・・・

>>322
仲間
今はAIコーディングができるから問題が見つかったら自力でなんとかなることも多いよ
改善ネタはcodebergで報告すれば、作者さんが対応してくれるかも

>>324
そのレベルの差で処理結果の違いが判ることはまずないから、気持ちの問題と思う

>>327
結果に違いはないだろうけど、画面上で0.1と設定しているのに保存されるのが0.09999999999999998というのは気持ち悪い
もし自分だったら、小数点以下かなり低い位ででも四捨五入してピッタリの値を書き込むという話
あと、0.75もピッタリなの忘れてた

>>321
言い忘れたけど検出モデルはテンプレのv2_accurate
試しにtest_clip1_1080p.mp4をrfdetr-v5の0.10でやってみたら焼け石に水だったわ

明るくしたほうが行けるときあるぞ

新ツール「jafish.exe」26/04/20版です。（いつもと同じコマンドラインツールです）
フィッシュアイなのは間違いないのにオンにしても四角にならないサイドバイサイドの VR動画 専用のツールです。
これまでのように真正面ではなく、視点を上下に動かして jasna を適用すればマシになるかもしれないと思って作りました。
ところが、当方には対象となる VR動画がほとんどないので、マシになっているのか変わらないのかよくわかりません。

「jafish.exe」には２つのモードがあります。
・視点変更モード（デフォルト）
　視点を上下に 45度以内で動かした分割フィッシュアイ動画に対してそれぞれ jasna 処理をして、正面に戻して結合します。
　例えば、-d -30 とオプション指定すると、正面より下向き 30度のフィッシュアイ動画を使用します。
　ただし、正面に戻した際に頭上 30度のデータが失われるので、その部分は入力動画から切り出して補完します。
　当然ですが、補完した部分は jasna は適用されません。
　（-x オプションで補完しないとどういう状態になるかを確認することもできます）
・3分割モード（テスト版）
　思い付きでつけた果てしなく時間の無駄かもしれないモードです。
　画面を正面と上下 22度向きで3分割（縦の比率 3:2:3）し、それぞれ jasna 処理をして、最後に結合します。
　上下 22度を 1つに纏めることで全 4動画への分割となり、それぞれ jasna 処理をするので一時ファイルは 8つになります。
　特に、ffmpeg での最初の分割と最後の結合にとても時間がかかります。

なお、このツールでは、デフォルトでは 60fps の動画は半分の 30fps に落とすようになっています。
60fps のままで処理を行いたい場合は、-6 オプションをつけてください。
-v オプションで全てのコマンドラインが表示されますので、どのようにやっているのか興味のある方はどうぞ。

（ダウンロードパスは jasn）
https://93.gigafile.nu/0729-cb809df0e85001762ea3e7ae58ce545c5

Lada 最初期からの浦島です。
再現性はそこそこ向上しているのでしょうか？
聞き慣れない Jasna とかが幅を利かせてるし。

今現在の最適解を御教示願いたし。
環境でも変わると思いますので以下に記します。
Ryzen5 5600
RAM 64GB
RTX 3060 12GB

根本的にスペック不足は否めません、が最初期 Lada なら快適に動いています。

>>332
>>2
復元モデルはコンパイルonでladaの2倍速
RTX Super resでladaのボケがなくなる
streamモードでそのスペックでもリアルタイム再生可

昨年こちらでladaの使い方を教えて頂き感謝しています。久しぶりに来たら専門的な用語が飛び交う高度なスレになっていました。去年から進化したのか、もしも親切な方がおられましたら教えていただけたら幸いです。宜しくお願いいたします。

Jasnav0.5.0alpha10使ってるんだけど
RTX Super resにチェック入れても全く変わらない動画になるんだけどなんでだろう

>>335
>>223 辺りの投稿確認
ScaleやQualityの設定どうしてる?

>>319
Jasnaのほうが認識悪いな

>>334 jasnaはladaを高速化した様な感じ。ハイエンドのグラボでなくても動く、取り敢えずは導入を勧める。ダウンロード先は本スレ>>1、1の検出モデルを使うと更に速くなる。リネームしないと使えないので本スレ>>2を参考。

>>334 >>1の検出モデルが使えないjasnaのバージョンがある。俺的にはv0.5.0 alpha10が安定版かなと思っている。

v0.5.0 alpha10とv0.5.1って違いある？

バージョンが違う

数字が違う

JasnaでVR動画の破壊を開始しようとすると
failed to open codec video invalid argumentというエラーが出て開始できないです
VR動画によっては問題なく破壊を完了できるものもあるので、コーデックの何が問題なのかわかりません…

出来る動画と、できない動画を比べたらいいんじゃね？

>>343
コーデックチェッカーで出来るものと出来ないものの比較してみたら？
出来ないものが出来るようになるわけじゃないけど

>>343
分割の時に出るんでしょ
ffmpeg -hwaccel cuda -c:v h264_cuvid -i "INPUT.mp4"...
入力ファイルのコーデックで、_cuvid の前を変えなくてはダメだぞ
h264_cuvidとhevc_cuvidが主なものだけど、それ以外でもいけるぞ
ffmpeg -decoders | find "_cuvid"
で見てみ

>>343
もし、ツール使っていてエラー出るんなら、入力ファイルmkvなんじゃね？
mkvはmp4と同じ方法では動画の情報取得ができないことがあるから、
ffmpeg -i input.mkv -c copy output.mp4
で無劣化変換したらいけるんじゃない？

>>340 多分大した違いは無いと思うが、v.0.5.1の前バージョンv.0.5.0で過去スレである様に勝手にアプリがクローズされた事がある。5.1で改善されたかは、分からん。アルファ10の方は俺環では、結構回数やったがクローズ等出てない。ただ5.0はTVAIが速くなっていると感じた、毎回クローズする訳では無いのでTVAIを多用する人は5.0以降が良いのかも。

mp4 D3D11_MV12 856X480 BT.709 の素材をJasna0.5.1　で処理すると　全体が　大きくガクガク震えます
mp4 D3D11_MV12 1280X720 BT.709　の素材は問題なく処理できます
この映像フォーマットでは　SD素材はダメなのでしょうか
おれ環かと思い他のPCでやってみましたが同様でした

ガクガクはSDに限らない。動画カッターで切り取った動画などでもある。Ffmpegで再エンコードするしかない。

手持ちの動画、SDはBT.709フィルタ設定でH.265化
HD/FHDはH.265に変換した

jasna頭固いジジイみたく入出力厳しいな、ladaは何でも食うし何でも出すのに

>>334
俺もこのスレの内容は8割方意味不明だよ
謎の呪文の羅列にしか見えないし謎の呪文の説明がこれまた謎の呪文になってるので頭の悪い爺さんはギブアップだわ
大人しく何とか導入できたladaで頑張るよ

>>353
https://github.com/Kruk2/jasna/releases/tag/v0.6.0-alpha5
ここのassetsから7z.001 7z.002を落として解凍してjasna-gui.exeを実行するだけ
secondary restoration でrtx super resを指定すると驚く結果になるぞ
一括変換の速度やリアルタイム再生のスムーズさもladaとはレベチだ

>>353
なお初回実行時は復元モデルの最適化処理が走るから30分ぐらい我慢汁

RTX3050を使っているのだが、ladaとjasnaの処理時間はほぼ同じ。
rtx super resの処理を加えるせいかもしれないが、jasnaのほうが遅い。
原因はGPU（もしくはメモリ）の限界なのかなと思っている。
3050（もしくはそれ以下）でladaよりjasnaが2倍速いっていう人いる？

コンパイルon常にしないとladaと同じ

BasicVSRコンパイルはONにしているよ。わざわざオフにしたりしてない。
一番最初に実行されるコンパイルも成功しているが、コンパイルにかかった時間は1時間ぐらいだったと思う。

検出モデルがrfdetr-v5になってるって事はないの、あれ遅いよ

そう
jasnaは検出モデルをyoloにしないと速くならない

みんなレスありがとう。
lada-yolo-v4を選択しているし、その設定をプリセットしている。
3050の限界だったとしても10万だして買い替えるつもりもないんだけどねｗ
いまどき3000シリーズを使っているヤツは少数派なんだろうね。

>>354 ありがとう。v0.6.0-alpha5 なんて出てたのね。
早速試してみたけど、ｖ0.5.0 で >>2 をやったやつとの比較では違いがよくわからんかった。

>>361 グラボは頭の 20** 30** 40** よりかはケツの **50 **60 **70 の方で性能差が出るんじゃ？
**80 とかがお大尽クラスでベンチマークもかなり違ってくるみたいだし。

右下のGPUやVRAMの仕様率でどちらかが100%近く占有することが多いなら性能やRAM容量不足なんじゃないかな

>>362
0.5 と 0.6の違いは —stream オプションつまりリアルタイム再生対応かどうか
jasna-gui.exeは今は再生機能ないが、
jasna作者が公開しているjasna対応したstash動画管理再生アプリなどでリアルタイム再生できる
有料GUIツールのalethisでもリアルタイム再生できる

>>361
ははは、ワイはいまだに2070sでがんばっちょるよ

>>365
chatgptに3050と2070sの比較をしてもらったら
純粋な性能 → RTX 2070 Superが圧勝
省電力・新しさ → RTX 3050
という回答だった。

>>362
コメントしてくれたとおりみたいだね。どうもありがとう！

>>361
ざっくり言うとladaでは余してたビデオカードの余力を目いっぱい使えるように→高速化したのがjasnaなので
lada実行時点でVRAM使用状況がカツカツだったらあまり速くはならないと思う

>>356
とりあえず、スピードを重視するなら、RTX Super Res はオフにしてみてはどうでしょう？

4つまでの動画の任意の部分を拡大して見比べるツールを作って比較した結果、RTX Super Res などの二次修復はオフにしました。
RTX 5070 でもこれをオンにするとかなり遅くなりますが、時間コストに見合った改善にはなっていないと感じたからです。
ちなみに、restorationモデルについては、2Dソースでは個人的には vr_v0.5_test や v1.2無印 より v1.2_full がいいと思いました。

スピードも欲しいけど、仕上がりが一番大事だろ

VRの下のほうにあるモザイクって消すのは無理かな？
中央部分ならまあ消えるんだけど

>>368
TVAIかSwin2SRと間違えてない?
RTX Video Super Resは1割増位の時間で処理出来ていると思うが

jasnaの二次復元のunetを試した人いますかね、オーバベットや効果はどうでしょうか？

>>369
大きく同意

動画によってV2aよりV2fの方が良いときある
ていうかaの法が良いのかもわからない

JasnaにTVAIが一番いい
まじレベチ

rtx vsrでかなり遅くなるというのは不思議だな
修復領域だけに4×アップスケールかけてるんだと思うけどそんなもんそもそも1080p全体を4Kでリアルタイム再生出来るくらい大した負荷じゃないのがウリなわけで
ただtensorコアいくらか使うんで無影響とは言わないし旧世代や下位シリーズは影響大きいだろうけど

>>353
このスレをPDFにしてAIに解読させたら懇切丁寧に教えてくれるよ

>>343ですが、事前にTVAIで加工するとJasnaで破壊することができました
ただ、TVAIの実行にかかる時間がめちゃくちゃ長いので実用的ではないですが…

>>366
わいRTX3050(8GB)

本家のアプデ来ないかな？
派生には興味ないし調べるのも面倒くさいし劇的な変化もなさそうだし

ladaだとCPUメインでGPUが暇するけどJasnaだとGPUメインでゴリゴリ行くんだよね
JAVPの時と一緒でGPUの差がモロに出ると思う

>>354
ありがとう
0.5でやってたんだけど不足しているエンジンとしてRF-DETRとBasicVSR++が出て動かないので止めちゃってるんよ
なお最初のシステムチェックでCUDAデバイス無し、CUDAランタイム無し、CUDAシステムメモリフォールバックポリシーが×なんで、そもそもGPUが1650じゃダメなのかなとも思ってる

>>382　参考までに

おれ環は i9-9900KF　2080Ti　これでSDなら実時間の半分くらいで処理出来るし、FHDでもちょい長いくらいかと。

jasnaは二次処理がキモだと思うんだけど、TVAIのサブスクに入らなくても2080TiでRTX Super Res がダーターで使えるし、そもそもjasnaが走るRTXボードならここは大丈夫っぽい。

1650と2080Tiの比較↓
https://technical.city/ja/video/GeForce-RTX-2080-Ti-vs-GeForce-GTX-1650
今買うんなら2080Tiなんて古いボードよりは4060とかが無難なのかも。中古相場同じ位でも世代が若いから電気代安めになりそうなのと、陳腐化が遅くなるから長持ちしそう。

RTXグラボは20**→30**→40**→50**で世代の進化、**50→**60→**70→**80で処理能力アップ、
どこで折り合いつけるかすげー悩むけど、ベンチマークと自分のやりたいことを突き合わせて選ぶ感じかと。予算厳しいならいずれにせよ中古一択になると思うけど。

とにかく金かけたくないなら中華サイトで垂れ流しになってる”无码破解”を眺めればいいだけなんだが、
思い入れのあるやつの破解版て結局”自炊”するしか無いことが多いんよね。
おれなんかオキニのやつをJAVP→lada→jasnaって3回以上しつこく破解しとるｗ

>>382
jasnaはtensorRTで高速化してるのでgtxだと効果ほぼなし
また、最大のメリットであるRTX super resがgtxでは使えない
RTX super resでladaとの出来上がり品質がまるで違うのでrtx 2060 6gbを1.5kでgetすれば？
おすすめは4070Ti以上、PL50%でもtensorコアも多くエンコーダ二基搭載なので省エネでグリグリ動く

>>382
Ryzen 3060 ecoモード、4070Ti PL50%
windows 11環境でrtx super res付きで一般的な2時間ものfhd 30 fpsで1時間ちょい、sdだと40分ちょい
リアルタイム変換視聴がfhdでもスムーズなので今はほぼフル変換はしてないが
なお、max-clip-sizeやoverlapを減らせばvram 6gbでも動く
max-clip-sizeはav映像であれば30で十分なので

もうeco modeでもなんでなくてただのero modeだな

>>376
元の動画によるのかも
4Kや8K VRとか、画質良いものにVSRを使っても効果があまり感じられないとか、
このレベルの動画をVSRでScale x4 Quality ultraで処理してVRAM 12Gがボトルネックになってるとか

VSRは５０７０とかなら再生時に自動で効かせられるのと同じではないの？

2018年に購入したVRをダウンロードしたら今のとは違ってた
SBSは今はアスペクト比2:1（片目だと1:1）のものがほとんどだが、16:9になっていた（片目だと8:9）
TBはアスペクト比は1:1で同じだったが、縦が半分に潰れてない代わりに左右に1/4ずつの黒帯があり、映像は画面の半分しかなかった
SBSはいいけど、TBはもったいないことをしてると思った

でもTBは何も考えずにキレイには復元できるよね

>>388
機能は同じだが、使い方が違う
VLCみたいな動画プレイヤーで再生時に動画全体にかけるのではなく、
jasnaやlada-exだと検出したエリアのみに、復元後2回目の処理としてVSRをかけてから元動画に合成している
つまり、VSR処理後の画像で出力動画が作られる訳だ
(TVAIを選んだらは2回目の処理にTVAIが使われる。当然だが、TVAI持っていなければ動かない)

SBSとTBってなに？

SBSはサイドバイサイド、TBはトップアンドボトム

ちなみに、作品によっても違うけどある作品では
・超高画質
　H264 SBS 3840x2160（片目1920x2160）
・H265
　HEVC TB 2144x2144（黒帯を除いた片目1072x1072）
・PC（これだけ mp4 ではなく専用プレイヤーでしか再生できない）
　H264 TB 2160x2160
・スマホ
　H264 TB 2160x2160（黒帯を除いた片目1080x1080）
今となっては普通画質の超高画質以外は見れたもんじゃない

エンジンが不足って出た
https://imgur.com/a/DAUBYaf
>>2の導入通り、削除、リネームしたんだけどなぁ

普通の初回コンパイルじゃないの
検出モデル一種類に一回
復元モデルはclip sizeごとにコンパイルが必要

ごめん間違い
PCのやつは、解像度はわかるけどコーデックは不明です

>>354
解凍できない

コンパイルOFFにしたら初回コンパイル無くなると思ったのに、コンパイル始まるのね。。。

>>398
コンパイルON/OFFの選択は復元モデルだけ
検出モデルはコンパイルされたエンジンを使うので、最初に使うモデルでは必ずコンパイルが走る

>>399
なるほど！
thx!

>>397
gemini

394です　自己解決しました

>>393
VRで使うやつなのか

Lada-EXが0.12.1に上がったんだが、Zero-Copy GPU Encodingがやばい
低解像度の動画だと効果が小さいが、FHD動画では俺環だとJasnaの1.5倍速以上出た
今のところ自力インスコ＆Linuxじゃないと厳しいので、試せる人が限られるのが弱いところ

本家のぎざぎざになるバグがJasnaでなんでか起きなくなってる
もうJasna一択

やばいの使い方が気持ち悪いオッサンです

むしろこんなスレおっさん以外が見てたら嫌すぎるだろwwww

トップアンドボトムの VR動画 で fisheye をオンにすると画面上下端の情報が失われてしまう現象ですがようやく対応策がわかりました。

jasnaバージョン0.5.1、gpuドライバ更新しても最初のチェックでgpuドライバエラーになる。rtx50xxシリーズじゃないと使えないのかね？

>>409
入れてるドライバのバージョン確認
0.5.1のチェックはドライバのメジャーバージョンが590より小さいと弾く
GTX1000番台のGPUだったりするとアウトかな

>>410 返信ありがとう。入れたドライバは596.21となっている。グラボは、rtx4060ti。これもオマカンか？

nvidia-smi にパスが通ってない説
github.com/Kruk2/jasna/issues/124