【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

アニメ弱いって話だけどリアル塗りのやつはきれいに復元するな、パイパン限定で

「jaspre.exe」26/04/12版です。
・自動生成の出力ファイル名が入力ファイル名と同じ拡張子になっていたのを .mp4 に固定（入力が .mkv だと出力も .mkv になっていた）
・入力ファイル名が自動生成されたものであると判断した場合は確認メッセージを出すようにした（20秒で自動的に「スキップ」を選択）
この変更により、>>252 に書いたようなことをしなくても無限処理には陥らないようになりました。
それにしても、lada-cli は Ctrl-C で止まるのに、jasna-cli は Ctrl-C で止めても止めてもゾンビのように復活するのはなぜだろう？
入力履歴が消えてしまうので窓は閉じたくないんだけど、タスクマネージャーから止めるしかないか。
（ダウンロードパスは jasn）
https://86.gigafile.nu/0721-bed36cafd33c93600cfe8274df2a249ce

>>265
おはようございます。再起動したら直りました。本当にありがとうございます。

>>262　263　264
アドバイスいただいたものを全てやって再起動したら直りました。
親切なアドバイス感謝します。おかげでやっとJASNAを使うことができました。

テンプレ案件だったか
設定のところに書いてあるけど、再起動指示を見落としがち・・・

ハードウェアアクセラレータによるGPUスケジューリング
この変更を有効にするには、pcを再起動する必要があります

Lada-Ex commander
国産全部入り

Jasnaを使ってみたけど、自分のPCが非力なのでGPUがギリギリで他の作業とかしてるとHDDとか他アプリとかがハングしてちょっと使えなかったな残念
Jasnaだけ動かしているなら全然行けるんだけどね
CUDAの使用レベルとか設定できればいいんだけどな

>>270
これうちの環境だと動かないんだよね

webで動かすシステムだから、デフォルトだと動かないのかな
おれかんのUbuntuなら普通に動いた

lada-exのwindowsへのdevelopper installationがうまく動かないね。
uv.lockファイル消してもsysplatform == 'linux' で怒られてしまう。

>> 274
今、作者さんがtorchcodecを使った--fast-pipeline機能を実装中で、この機能を組み込んだビルドがLinux前提になっているからだと思う
現状Windowsでビルドするならgit cloneした後に　git reset --hard bef570c でtorchcodecを取り込む前まで戻すと良いよ
(俺環では実績あり)

Windowsで--fast-pipelineを動かそうとするとヘルモードのビルドが待っている
Claude Codeで何とかなったけど、こういうの好きな人じゃなければお勧めはしない

torchcodecを使った--fast-pipelineで俺環ではJasnaとタメを張れるくらいまで処理速度が上がった
使いこなしはまだ試行錯誤中

>>275
ありがとう。その方法でスムーズに導入できました。chatgptにそそのかされてtorchcodecは手を付けたとこで爆死の雰囲気を感じたので止めたとこでしたw
今入っている環境が違いすぎる。

>>272
Lada-Ex commanderも基本Linuxで動作確認しているみたいだから、
Windows環境だと自力 or AIアシストでなんとかできる人じゃないと厳しいみたい
一応動かしたけど、ファイル4つ修正しないと処理までたどり着けなかった
GUIがモダンでカッコよ、なんだが、操作や設定にちょっと戸惑った

Ubuntuへはlada-ex commander入れたけどGUIを見た瞬間ファミコンを思い出した。

zelefansにiterから始まる除去モデルが2つ上がっているけど、Unsafeって付いているってことはやばいの？

fisheyeをオンにしても四角にならないやつってさ、ヘッドセットつけて見ると四角く見えるんだよね
つまり、球体画像に対してかけているんだから、それを平面に変換したらどうやっても四角じゃなくなるってことだね

>>279
新しくトレーニングしていた復元モデルのテスト版と中間プロセス版らしいよ
データセットが足りなくて完成はあきらめたんだって

ログを作ってくれるのが地味に便利だな
エラーが起きるとテキスト化してAIに見せて解決させてる
古い規格のカラースペースだとはじかれる、とか

モデルのトレーニングしている人いる？

最近の破壊精度には結構満足してるから取り組む気が起きない

zelefansがv10.8になったね。便利機能の追加とのことでDLNA環境でVR動画に字幕を表示できるんだって。

1080pだとキノコは綺麗に破壊するけど、アワビは綺麗に破壊してくれないよね

lada-exってバイナリーでの配布では無いのですか？

現状ないですね
基本linux向けでやってるぽいし、lada ex commanderがリモート運用がメインっぽいからバイナリー化はしばらく待つしかなさそう

Jasnaの設定で、二次修復　Topaz TVAI（低速　高品質）の項目を選ぶと、エラーがでて使えない。これ、どうすれば使えるのかな？別のアプリが必要なのかな？

>>289
別のアプリって、当然Topaz TVAIは持ってますよね？

TVAIはバージョンによってはTVAI worker thread crashedエラー出るね
最新の1.3.1はダメで買い切り版(7.x.xは問題無かった

>>290
いや、持ってない。そのアプリ？入れたら、その設定使えるの？

日本語のドキュメント見たら？

>>292
TVAIは高いので俺は5.x.xまでしか買ってないし、2次修復を使ってみたこともない。
>>291 によると7.x.xは使えそうなので買ってみたら？

昨年全てサブスク版へ移行したのでTAVI7はもう買えないのでは？

✕TAVI
◯TVAI

そもそもtopazとrtxでそんな滅茶苦茶差があるのか？あくまで破壊後の高画質化だろ？

小学1年生のクレヨンで描いた絵とピカソくらいの差はある。

>>298
うそつくな、ほんとならjasna\assetsの茄子のテストクリップでいいから上げてみろ

芸術が分かるやつじゃないと分からないくらいの差だぞって言う比喩じゃないのか

jasna5.0 jasna6.0　違いを教えてください

TVAIをあらためて買う程じゃないと思うが、古いTVAIしか持ってないワテが言うのもなんだが。高いし、前スレにある様にRTX Super Resで十分だと思う。パラメータを変更するだけでシャープになる。ワテはデフォルトで使ってるが。

TVAIはサブスクに移行する前の715とBETA7203持ってるが、正直RTX Super Resで十分。ただSD動画をFHDするのに役に立っている。

そこそこの画質だったらRTX VSRでも良いけど
エロだと公式配信でインタレ解除失敗してるのとかザラにあるから
TVAI欲しくなるのはわかる

IVとかもインターレースそのままで配信販売してるのあったりして結構ひどいよね

胡散臭い会社だよね

jasnaにはLadaのように顔モザ無視モードないのかな
登場人物に顔モザあるのがケムール人みたいになってキモかった

検出モデルv5を使う

皆様、JASNAの細かい設定はどのようにされていますか？

>>270
Linux版に比べると機能制限はあるけど、Lada-Ex commanderがWindowsでも動くようになった

lada-exのlinux版で進捗99%や100%で残り数百フレームのところでフリーズすることが多い。--resumableで再開してもフリーズ。--vr-fisheye付けると多いみたいだけどフリーズするとメッセージも出ないしログも無いから何が起きてるかよくわからない。

クラウドGPUでladaするマンや。
少し前に>>253であったようなカクツキやモザイク部分の揺れが確認されたので、Claudeさんになんか良い感じに修正してもらって8割ほど改善はした。
ただ、クラウドGPUなのでスケジューリングOFFとかは出来ないし、Claudeさんにも「動きの速い部分でズレるのは今の仕様上仕方ないんや諦めろ」と言われてしまたので、jasnaさんのアルゴリズム改善待ちや…(しないかもしれんが

>>311
lada-exはいつのやつを使っている？
現状dev版しかない＆結構な頻度で更新されている＆チューニング要素もりもりだから、バージョンと構成そろえるのがムズい
LOG_LEVEL=INFO か LOG_LEVEL=DEBUGをlada-cliの前につけて実行すると手がかりがのメッセが得られるかも

>>312
Linux系なのでNVIDIA Multi-Process Service(MPS)をRunPod環境で動かしている？
これ使ってもカクツキ出るならスケジューラの問題ではないか

今更だが、Ladaの破壊結果に動画の明るさはあまり関係ないんだな
大本が部屋真っ暗くした作品で、元のままと、ガンマ+100くらいにしたやつを
それぞれLadaしてみたけど、結果は全く同じだったわ

ガンマで明るさとか言われてもそりゃそうだろう…

ガンマ汁が出た

>>313
現状、RunpodではMPSは使ってない模様。使うことも出来るようだけど、「それじゃ解決しないと思うよ？それでも実装するんか？」とClaude様とCodex様に怒られたので別の解決策ないか検討中…

>>314
元動画のモザイクの細かさ（細かいほうが良い）、モザイク範囲（狭いほうが良い）は破壊結果にかなり効く

えっそんなこと知ってる…と…デスヨネー

jasnaで破壊したやつ、たまに一瞬モザイクが破壊できてないフレームがあって、観ててちょっと気になるんだけど、設定とか対処法はある？使ってるのはgui版

検出しきい値（Detection Threshold）を0.10にしてみる

>>320
ありがとうございます。それでやってみます。

>>313
アドバイスありがとうございます。毎日git pullを欠かさないのでlada-exは最新です。
LOG_LEVELをセットできるのですね、標準出力とエラーをリダイレクトしてみます。

>>320
検出しきい値を動かして0.1にすると、実際に保存される値は0.09999999999999998になるんだよね
編集して0.1にしたらいいけど、またプリセットを保存したら0.09999999999999998に戻るよね

2進数で計算しているようで、0.25（2のマイナス2乗）以外はぴったりにならないんだよね

他は0.50と1.00だけど、そんなに大きくしないだろうし

>>318
事前に動画ファイルをガンマ補正した事によって白飛びが発生した場合、
モザイクに影響して取りこぼしが発生するかどうかだからね
結果、気にするこっちゃないという話なんで・・・

>>322
仲間
今はAIコーディングができるから問題が見つかったら自力でなんとかなることも多いよ
改善ネタはcodebergで報告すれば、作者さんが対応してくれるかも

>>324
そのレベルの差で処理結果の違いが判ることはまずないから、気持ちの問題と思う

>>327
結果に違いはないだろうけど、画面上で0.1と設定しているのに保存されるのが0.09999999999999998というのは気持ち悪い
もし自分だったら、小数点以下かなり低い位ででも四捨五入してピッタリの値を書き込むという話
あと、0.75もピッタリなの忘れてた

>>321
言い忘れたけど検出モデルはテンプレのv2_accurate
試しにtest_clip1_1080p.mp4をrfdetr-v5の0.10でやってみたら焼け石に水だったわ

明るくしたほうが行けるときあるぞ

新ツール「jafish.exe」26/04/20版です。（いつもと同じコマンドラインツールです）
フィッシュアイなのは間違いないのにオンにしても四角にならないサイドバイサイドの VR動画 専用のツールです。
これまでのように真正面ではなく、視点を上下に動かして jasna を適用すればマシになるかもしれないと思って作りました。
ところが、当方には対象となる VR動画がほとんどないので、マシになっているのか変わらないのかよくわかりません。

「jafish.exe」には２つのモードがあります。
・視点変更モード（デフォルト）
　視点を上下に 45度以内で動かした分割フィッシュアイ動画に対してそれぞれ jasna 処理をして、正面に戻して結合します。
　例えば、-d -30 とオプション指定すると、正面より下向き 30度のフィッシュアイ動画を使用します。
　ただし、正面に戻した際に頭上 30度のデータが失われるので、その部分は入力動画から切り出して補完します。
　当然ですが、補完した部分は jasna は適用されません。
　（-x オプションで補完しないとどういう状態になるかを確認することもできます）
・3分割モード（テスト版）
　思い付きでつけた果てしなく時間の無駄かもしれないモードです。
　画面を正面と上下 22度向きで3分割（縦の比率 3:2:3）し、それぞれ jasna 処理をして、最後に結合します。
　上下 22度を 1つに纏めることで全 4動画への分割となり、それぞれ jasna 処理をするので一時ファイルは 8つになります。
　特に、ffmpeg での最初の分割と最後の結合にとても時間がかかります。

なお、このツールでは、デフォルトでは 60fps の動画は半分の 30fps に落とすようになっています。
60fps のままで処理を行いたい場合は、-6 オプションをつけてください。
-v オプションで全てのコマンドラインが表示されますので、どのようにやっているのか興味のある方はどうぞ。

（ダウンロードパスは jasn）
https://93.gigafile.nu/0729-cb809df0e85001762ea3e7ae58ce545c5

Lada 最初期からの浦島です。
再現性はそこそこ向上しているのでしょうか？
聞き慣れない Jasna とかが幅を利かせてるし。

今現在の最適解を御教示願いたし。
環境でも変わると思いますので以下に記します。
Ryzen5 5600
RAM 64GB
RTX 3060 12GB

根本的にスペック不足は否めません、が最初期 Lada なら快適に動いています。

>>332
>>2
復元モデルはコンパイルonでladaの2倍速
RTX Super resでladaのボケがなくなる
streamモードでそのスペックでもリアルタイム再生可

昨年こちらでladaの使い方を教えて頂き感謝しています。久しぶりに来たら専門的な用語が飛び交う高度なスレになっていました。去年から進化したのか、もしも親切な方がおられましたら教えていただけたら幸いです。宜しくお願いいたします。

Jasnav0.5.0alpha10使ってるんだけど
RTX Super resにチェック入れても全く変わらない動画になるんだけどなんでだろう

>>335
>>223 辺りの投稿確認
ScaleやQualityの設定どうしてる?

>>319
Jasnaのほうが認識悪いな

>>334 jasnaはladaを高速化した様な感じ。ハイエンドのグラボでなくても動く、取り敢えずは導入を勧める。ダウンロード先は本スレ>>1、1の検出モデルを使うと更に速くなる。リネームしないと使えないので本スレ>>2を参考。

>>334 >>1の検出モデルが使えないjasnaのバージョンがある。俺的にはv0.5.0 alpha10が安定版かなと思っている。

v0.5.0 alpha10とv0.5.1って違いある？

バージョンが違う

数字が違う

JasnaでVR動画の破壊を開始しようとすると
failed to open codec video invalid argumentというエラーが出て開始できないです
VR動画によっては問題なく破壊を完了できるものもあるので、コーデックの何が問題なのかわかりません…

出来る動画と、できない動画を比べたらいいんじゃね？

>>343
コーデックチェッカーで出来るものと出来ないものの比較してみたら？
出来ないものが出来るようになるわけじゃないけど

>>343
分割の時に出るんでしょ
ffmpeg -hwaccel cuda -c:v h264_cuvid -i "INPUT.mp4"...
入力ファイルのコーデックで、_cuvid の前を変えなくてはダメだぞ
h264_cuvidとhevc_cuvidが主なものだけど、それ以外でもいけるぞ
ffmpeg -decoders | find "_cuvid"
で見てみ

>>343
もし、ツール使っていてエラー出るんなら、入力ファイルmkvなんじゃね？
mkvはmp4と同じ方法では動画の情報取得ができないことがあるから、
ffmpeg -i input.mkv -c copy output.mp4
で無劣化変換したらいけるんじゃない？

>>340 多分大した違いは無いと思うが、v.0.5.1の前バージョンv.0.5.0で過去スレである様に勝手にアプリがクローズされた事がある。5.1で改善されたかは、分からん。アルファ10の方は俺環では、結構回数やったがクローズ等出てない。ただ5.0はTVAIが速くなっていると感じた、毎回クローズする訳では無いのでTVAIを多用する人は5.0以降が良いのかも。

mp4 D3D11_MV12 856X480 BT.709 の素材をJasna0.5.1　で処理すると　全体が　大きくガクガク震えます
mp4 D3D11_MV12 1280X720 BT.709　の素材は問題なく処理できます
この映像フォーマットでは　SD素材はダメなのでしょうか
おれ環かと思い他のPCでやってみましたが同様でした

ガクガクはSDに限らない。動画カッターで切り取った動画などでもある。Ffmpegで再エンコードするしかない。

手持ちの動画、SDはBT.709フィルタ設定でH.265化
HD/FHDはH.265に変換した

jasna頭固いジジイみたく入出力厳しいな、ladaは何でも食うし何でも出すのに

>>334
俺もこのスレの内容は8割方意味不明だよ
謎の呪文の羅列にしか見えないし謎の呪文の説明がこれまた謎の呪文になってるので頭の悪い爺さんはギブアップだわ
大人しく何とか導入できたladaで頑張るよ

>>353
https://github.com/Kruk2/jasna/releases/tag/v0.6.0-alpha5
ここのassetsから7z.001 7z.002を落として解凍してjasna-gui.exeを実行するだけ
secondary restoration でrtx super resを指定すると驚く結果になるぞ
一括変換の速度やリアルタイム再生のスムーズさもladaとはレベチだ

>>353
なお初回実行時は復元モデルの最適化処理が走るから30分ぐらい我慢汁

RTX3050を使っているのだが、ladaとjasnaの処理時間はほぼ同じ。
rtx super resの処理を加えるせいかもしれないが、jasnaのほうが遅い。
原因はGPU（もしくはメモリ）の限界なのかなと思っている。
3050（もしくはそれ以下）でladaよりjasnaが2倍速いっていう人いる？

コンパイルon常にしないとladaと同じ

BasicVSRコンパイルはONにしているよ。わざわざオフにしたりしてない。
一番最初に実行されるコンパイルも成功しているが、コンパイルにかかった時間は1時間ぐらいだったと思う。

検出モデルがrfdetr-v5になってるって事はないの、あれ遅いよ

そう
jasnaは検出モデルをyoloにしないと速くならない

みんなレスありがとう。
lada-yolo-v4を選択しているし、その設定をプリセットしている。
3050の限界だったとしても10万だして買い替えるつもりもないんだけどねｗ
いまどき3000シリーズを使っているヤツは少数派なんだろうね。

>>354 ありがとう。v0.6.0-alpha5 なんて出てたのね。
早速試してみたけど、ｖ0.5.0 で >>2 をやったやつとの比較では違いがよくわからんかった。

>>361 グラボは頭の 20** 30** 40** よりかはケツの **50 **60 **70 の方で性能差が出るんじゃ？
**80 とかがお大尽クラスでベンチマークもかなり違ってくるみたいだし。

右下のGPUやVRAMの仕様率でどちらかが100%近く占有することが多いなら性能やRAM容量不足なんじゃないかな

>>362
0.5 と 0.6の違いは —stream オプションつまりリアルタイム再生対応かどうか
jasna-gui.exeは今は再生機能ないが、
jasna作者が公開しているjasna対応したstash動画管理再生アプリなどでリアルタイム再生できる
有料GUIツールのalethisでもリアルタイム再生できる

>>361
ははは、ワイはいまだに2070sでがんばっちょるよ

>>365
chatgptに3050と2070sの比較をしてもらったら
純粋な性能 → RTX 2070 Superが圧勝
省電力・新しさ → RTX 3050
という回答だった。

>>362
コメントしてくれたとおりみたいだね。どうもありがとう！