【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

魚眼はもやるな
vrは左右画像がきっちり復元しないと正しく立体視できないし

jasna-cliの--benchmarkコマンド実行してみた
basicvsrppの復元速度、rfdetrとlada_yoloの検出速度をassetsフォルダにあるナスの動画を使って測ってくれる様だ
以下コマンド実行すればOK
jasna-cli.exe --benchmark --benchmark-filter yolo
jasna-cli.exe --benchmark --benchmark-filter rfdetr

現時点だとrfdetr-v5とlada_yolo(v4_fast)の検出速度測定は動くが、basicvsrppの測定処理はバグがあるようでリリースパッケージのバイナリだとエラーで失敗した
ソースからビルドした開発版の方はClaude Codeに直してもらって動くことは確認した

環境：Ryzen 7 5900X+RTX4060+Win11
PS H:\jasna-0.5.1> .\jasna-cli.exe --benchmark --benchmark-filter rfdetr
model test_clip1_1080p.mp4 test_clip1_2160p.mp4
---------------------- -------------------- --------------------
rfdetr_detection_speed 63.5 fps (4.73s) 57.2 fps (5.24s)

PS H:\jasna-0.5.1> .\jasna-cli.exe --benchmark --benchmark-filter yolo
model test_clip1_1080p.mp4 test_clip1_2160p.mp4
------------------------- -------------------- --------------------
lada_yolo_detection_speed 321.8 fps (0.93s) 207.0 fps (1.45s)

rfterは遅いと思っていたが、lada-yoloの方が4〜5倍速いのか

>>231
構成は問題なさそうですね
となると、入力ソースと処理結果の好みの問題かな

>>230
え？　おまえら最先端なんじゃねえか

俺は大発見をしてしまったかも知れない...
なんとボカシも除去できてしまうかも
ボカシの部分に編集ソフトでモザイク掛けて
※俺はPowerDirectorでモザイク幅2・高さ1で設定
それをjasnaで破壊するとあら不思議
モザイク破壊で再構築されてるのか仕組みはよく分らんが大分ボカシが薄れる
ただそれ以上はわからんぞ。気のせいだという人はほっとけばいいし気になる人は掘り下げてみてくれ

魚眼VRは、左右を魚眼に変換して処理した後に魚眼から逆変換して左右に配置しているけど、
魚眼のまま左右に配置すれば少しはましになるのでは？
多分デュアルフィッシュアイのVRとして再生できるだろうし

フィッシュアイのままだとズームで歪むんよね

ダメだ、stash全然わかんない
The media could not be loaded, either because the server or network failed or because the format is not supported.
↓
メディアを読み込めませんでした。サーバーまたはネットワークエラーが発生したか、フォーマットがサポートされていない可能性があります。
どのファイル選んでもこれになる

>>236
ぼかしは破壊すべき部分と認識しないが、ぼかしの上にモザイクをかけると破壊すべき部分と認識するのか…

>>236
なるほど、じゃあ、魚眼でやっても斜めになったりして認識されないやつもその「リモザイク法」でやればおｋってことか

ののの

ま○こが生々しく再現されるのはまだ理解が出来るが（理解出来るとは言ってない）、パンツの生地の質感というか、縫製の感じまで再現されるのは驚いた
肉が見えてないんだから、そもそもモザイクかけんなよという部分だが、よくよく見るとめちゃくちゃエロくて、制作側がモザイクかけるべきシーンだと判断した気持ちがわかった
ま○こ大好き人間だけでなく、下着フェチにもおすすめしたい

破壊速度は上がったけどVRの場合は分割結合に時間食われるね

今朝から突然、次のエラーが出てjasnaが途中で止まるようになった

torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 1008.00 MiB. GPU 0 has a total capacity of 11.94 GiB of which 0 bytes is free.
Of the allocated memory 5.58 GiB is allocated by PyTorch, and 1.69 GiB is reserved by PyTorch but unallocated.
If reserved but unallocated memory is large try setting PYTORCH_ALLOC_CONF=expandable_segments:True to avoid fragmentation.
See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables)

書かれている「set PYTORCH_ALLOC_CONF=expandable_segments:True」をやった後でもダメ、
再起動やjasna・pytorch・Python・CUDAの再インストールしてもダメだったが、
「set PYTORCH_ALLOC_CONF=max_split_size_mb:128」をやると、今までがウソのように問題なく完走できるようになった

rfdetr-v5a全然しょぼいな

そらぁvr_v2_accurate & generic_v1.2_full 一択よぉ

>>245
何も弄ってないのに突然エラー出て止まる原因がSSDが壊れる予兆だったとかもあったんで気をつけて

v5じゃなくてJasnaの認識が悪いわこれ
つなぎ目で変にならないからJasnaのほうが認識以外は上なんだけどなぜかおかしい

>>249
オレ環境だと、Jasna0.5,1での検出モデルはv4が良かった
v2_accurate.ptはLADAでは良かったけどJasnaでは検出漏れ多数
Jasna標準のv5とv4も大差無いかと思ったけど、FC2の極小モザイク動画を処理したら
v4の方が検出良かった

「jaspre.exe」26/04/11版です。主な変更点は以下の通り。
・--output OUTPUT を省略すると自動で出力ファイル名を作成するようにした（出力先はカレントフォルダ）
・コマンドラインで指定されているパラメータは重複となるので出さないようにした（--encoder-settings を除く）
・ .exe を省略して呼び出すと、実行前に確認メッセージを出すようにした
・ .exe をつけると確認メッセージは出ない（終了時の音の回数は拡張子の小文字の数、.exe だと 3回、.eXe だと 2回、.EXE だと 0回）
（ダウンロードパスは jasn）
https://52.gigafile.nu/0720-c8bff3e358a5c179b3a2c547226536aae

jaspre.exe を使うことで、batファイルで全 .mp4 を処理することができますが、同じフォルダに生成するとできたファイルに再処理してしまい終わらなくなります。
カレントフォルダ以外のフォルダに対して処理するか、または、以下のようにして無限処理を避けてください。（22 は GUI で保存したプリセットの cq の値）

for %%f in (*.mp4) do (
echo %%f | find "_resj22.mp4" >nul
if errorlevel 1 jaspre.EXE --input %%f
)
rem 全終了後に音を鳴らす（3 は回数）
echo 0123456789 | choice /c 3 >nul

JASNAで出力された動画ですが、モザイクの部分のつなぎ目で変に動画の一部が揺れます。設定の問題でしょうか？

>>253
1の
■　不具合があった場合に試してみる事
は試しましたか

完成品がカクついて解析部分がズレる問題ですが、不具合があった場合に試してみる事とは何でしょうあ？

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

これは全てやってみました

>>256
それやってもカクつくならばおま環の問題かも
エスパーしてもらうにしても情報は多い方が良いよ
使っているJasnaのバージョンは安定しているやつなのか(0.5.1/0.5.0/0.5.0-alpha10あたり)?
検出・復元モデル、ドライババージョン、GPU、CPU、メモリは?
Basicvsrppのコンパイルしなかったらどうなるのか?
特定の動画だけでそうなるのか、全部だめなのか?
とか

クラウドGPUでladaするマンなんやが、1週間がかりでjasnaをRunpodで動かすことに成功したわ。claude code様々や…。
需要あるか分からんが、セットアップ用Dockerイメージ置いておく。
https://codeberg.org/xilight/pod_for_jasna

ちなみに自分は基本バイブコーディングしか出来んので、起動しなかったりエラーが起きても堪忍な。あとRunpodで同じGPUでもNVENC使えたり使えなかったり割とガチャなので、そこも忍耐や。

>>257
アドバイスありがとうございます。0.5.0バージョンです。
全動画でモザイク破壊したところが揺れる感じになってしまいます・・・

>>258
大変乙です
TRTエンジンの書き出し形式 (v240) とデシリアライザ (v239) のバージョン不整合が発生、にはニヤリとした
Ubuntuのビルドでも遭遇。こんなんわかるか！と共に、それをデバッグできるのは、さすClaudeって思った

>>260
そこをお気付きになるとはお目が高い。実はTRTエンジンの不整合が最後まで引っかかって、解決するのにOpusフル稼働させてセッション使い切ったのは良い思い出。それでもさすClaude様ですわ…。

>>259 時間オーバーラップの数値変えてみるとか？

>>259
揺らぎはdenoiseで緩和されたような気がする

俺もだんだんそんな気がしてきた

>>259
GPUスケジューリング　オフにしても
再起動しないとだめだよ。

アニメ弱いって話だけどリアル塗りのやつはきれいに復元するな、パイパン限定で

「jaspre.exe」26/04/12版です。
・自動生成の出力ファイル名が入力ファイル名と同じ拡張子になっていたのを .mp4 に固定（入力が .mkv だと出力も .mkv になっていた）
・入力ファイル名が自動生成されたものであると判断した場合は確認メッセージを出すようにした（20秒で自動的に「スキップ」を選択）
この変更により、>>252 に書いたようなことをしなくても無限処理には陥らないようになりました。
それにしても、lada-cli は Ctrl-C で止まるのに、jasna-cli は Ctrl-C で止めても止めてもゾンビのように復活するのはなぜだろう？
入力履歴が消えてしまうので窓は閉じたくないんだけど、タスクマネージャーから止めるしかないか。
（ダウンロードパスは jasn）
https://86.gigafile.nu/0721-bed36cafd33c93600cfe8274df2a249ce

>>265
おはようございます。再起動したら直りました。本当にありがとうございます。

>>262　263　264
アドバイスいただいたものを全てやって再起動したら直りました。
親切なアドバイス感謝します。おかげでやっとJASNAを使うことができました。

テンプレ案件だったか
設定のところに書いてあるけど、再起動指示を見落としがち・・・

ハードウェアアクセラレータによるGPUスケジューリング
この変更を有効にするには、pcを再起動する必要があります

Lada-Ex commander
国産全部入り

Jasnaを使ってみたけど、自分のPCが非力なのでGPUがギリギリで他の作業とかしてるとHDDとか他アプリとかがハングしてちょっと使えなかったな残念
Jasnaだけ動かしているなら全然行けるんだけどね
CUDAの使用レベルとか設定できればいいんだけどな

>>270
これうちの環境だと動かないんだよね

webで動かすシステムだから、デフォルトだと動かないのかな
おれかんのUbuntuなら普通に動いた

lada-exのwindowsへのdevelopper installationがうまく動かないね。
uv.lockファイル消してもsysplatform == 'linux' で怒られてしまう。

>> 274
今、作者さんがtorchcodecを使った--fast-pipeline機能を実装中で、この機能を組み込んだビルドがLinux前提になっているからだと思う
現状Windowsでビルドするならgit cloneした後に　git reset --hard bef570c でtorchcodecを取り込む前まで戻すと良いよ
(俺環では実績あり)

Windowsで--fast-pipelineを動かそうとするとヘルモードのビルドが待っている
Claude Codeで何とかなったけど、こういうの好きな人じゃなければお勧めはしない

torchcodecを使った--fast-pipelineで俺環ではJasnaとタメを張れるくらいまで処理速度が上がった
使いこなしはまだ試行錯誤中

>>275
ありがとう。その方法でスムーズに導入できました。chatgptにそそのかされてtorchcodecは手を付けたとこで爆死の雰囲気を感じたので止めたとこでしたw
今入っている環境が違いすぎる。

>>272
Lada-Ex commanderも基本Linuxで動作確認しているみたいだから、
Windows環境だと自力 or AIアシストでなんとかできる人じゃないと厳しいみたい
一応動かしたけど、ファイル4つ修正しないと処理までたどり着けなかった
GUIがモダンでカッコよ、なんだが、操作や設定にちょっと戸惑った

Ubuntuへはlada-ex commander入れたけどGUIを見た瞬間ファミコンを思い出した。

zelefansにiterから始まる除去モデルが2つ上がっているけど、Unsafeって付いているってことはやばいの？

fisheyeをオンにしても四角にならないやつってさ、ヘッドセットつけて見ると四角く見えるんだよね
つまり、球体画像に対してかけているんだから、それを平面に変換したらどうやっても四角じゃなくなるってことだね

>>279
新しくトレーニングしていた復元モデルのテスト版と中間プロセス版らしいよ
データセットが足りなくて完成はあきらめたんだって

ログを作ってくれるのが地味に便利だな
エラーが起きるとテキスト化してAIに見せて解決させてる
古い規格のカラースペースだとはじかれる、とか

モデルのトレーニングしている人いる？

最近の破壊精度には結構満足してるから取り組む気が起きない

zelefansがv10.8になったね。便利機能の追加とのことでDLNA環境でVR動画に字幕を表示できるんだって。

1080pだとキノコは綺麗に破壊するけど、アワビは綺麗に破壊してくれないよね

lada-exってバイナリーでの配布では無いのですか？

現状ないですね
基本linux向けでやってるぽいし、lada ex commanderがリモート運用がメインっぽいからバイナリー化はしばらく待つしかなさそう

Jasnaの設定で、二次修復　Topaz TVAI（低速　高品質）の項目を選ぶと、エラーがでて使えない。これ、どうすれば使えるのかな？別のアプリが必要なのかな？

>>289
別のアプリって、当然Topaz TVAIは持ってますよね？

TVAIはバージョンによってはTVAI worker thread crashedエラー出るね
最新の1.3.1はダメで買い切り版(7.x.xは問題無かった

>>290
いや、持ってない。そのアプリ？入れたら、その設定使えるの？

日本語のドキュメント見たら？

>>292
TVAIは高いので俺は5.x.xまでしか買ってないし、2次修復を使ってみたこともない。
>>291 によると7.x.xは使えそうなので買ってみたら？

昨年全てサブスク版へ移行したのでTAVI7はもう買えないのでは？

✕TAVI
◯TVAI

そもそもtopazとrtxでそんな滅茶苦茶差があるのか？あくまで破壊後の高画質化だろ？

小学1年生のクレヨンで描いた絵とピカソくらいの差はある。

>>298
うそつくな、ほんとならjasna\assetsの茄子のテストクリップでいいから上げてみろ

芸術が分かるやつじゃないと分からないくらいの差だぞって言う比喩じゃないのか

jasna5.0 jasna6.0　違いを教えてください

TVAIをあらためて買う程じゃないと思うが、古いTVAIしか持ってないワテが言うのもなんだが。高いし、前スレにある様にRTX Super Resで十分だと思う。パラメータを変更するだけでシャープになる。ワテはデフォルトで使ってるが。

TVAIはサブスクに移行する前の715とBETA7203持ってるが、正直RTX Super Resで十分。ただSD動画をFHDするのに役に立っている。

そこそこの画質だったらRTX VSRでも良いけど
エロだと公式配信でインタレ解除失敗してるのとかザラにあるから
TVAI欲しくなるのはわかる

IVとかもインターレースそのままで配信販売してるのあったりして結構ひどいよね

胡散臭い会社だよね

jasnaにはLadaのように顔モザ無視モードないのかな
登場人物に顔モザあるのがケムール人みたいになってキモかった

検出モデルv5を使う

皆様、JASNAの細かい設定はどのようにされていますか？

>>270
Linux版に比べると機能制限はあるけど、Lada-Ex commanderがWindowsでも動くようになった

lada-exのlinux版で進捗99%や100%で残り数百フレームのところでフリーズすることが多い。--resumableで再開してもフリーズ。--vr-fisheye付けると多いみたいだけどフリーズするとメッセージも出ないしログも無いから何が起きてるかよくわからない。

クラウドGPUでladaするマンや。
少し前に>>253であったようなカクツキやモザイク部分の揺れが確認されたので、Claudeさんになんか良い感じに修正してもらって8割ほど改善はした。
ただ、クラウドGPUなのでスケジューリングOFFとかは出来ないし、Claudeさんにも「動きの速い部分でズレるのは今の仕様上仕方ないんや諦めろ」と言われてしまたので、jasnaさんのアルゴリズム改善待ちや…(しないかもしれんが

>>311
lada-exはいつのやつを使っている？
現状dev版しかない＆結構な頻度で更新されている＆チューニング要素もりもりだから、バージョンと構成そろえるのがムズい
LOG_LEVEL=INFO か LOG_LEVEL=DEBUGをlada-cliの前につけて実行すると手がかりがのメッセが得られるかも

>>312
Linux系なのでNVIDIA Multi-Process Service(MPS)をRunPod環境で動かしている？
これ使ってもカクツキ出るならスケジューラの問題ではないか

今更だが、Ladaの破壊結果に動画の明るさはあまり関係ないんだな
大本が部屋真っ暗くした作品で、元のままと、ガンマ+100くらいにしたやつを
それぞれLadaしてみたけど、結果は全く同じだったわ

ガンマで明るさとか言われてもそりゃそうだろう…

ガンマ汁が出た

>>313
現状、RunpodではMPSは使ってない模様。使うことも出来るようだけど、「それじゃ解決しないと思うよ？それでも実装するんか？」とClaude様とCodex様に怒られたので別の解決策ないか検討中…

>>314
元動画のモザイクの細かさ（細かいほうが良い）、モザイク範囲（狭いほうが良い）は破壊結果にかなり効く

えっそんなこと知ってる…と…デスヨネー

jasnaで破壊したやつ、たまに一瞬モザイクが破壊できてないフレームがあって、観ててちょっと気になるんだけど、設定とか対処法はある？使ってるのはgui版

検出しきい値（Detection Threshold）を0.10にしてみる

>>320
ありがとうございます。それでやってみます。

>>313
アドバイスありがとうございます。毎日git pullを欠かさないのでlada-exは最新です。
LOG_LEVELをセットできるのですね、標準出力とエラーをリダイレクトしてみます。

>>320
検出しきい値を動かして0.1にすると、実際に保存される値は0.09999999999999998になるんだよね
編集して0.1にしたらいいけど、またプリセットを保存したら0.09999999999999998に戻るよね

2進数で計算しているようで、0.25（2のマイナス2乗）以外はぴったりにならないんだよね

他は0.50と1.00だけど、そんなに大きくしないだろうし

>>318
事前に動画ファイルをガンマ補正した事によって白飛びが発生した場合、
モザイクに影響して取りこぼしが発生するかどうかだからね
結果、気にするこっちゃないという話なんで・・・

>>322
仲間
今はAIコーディングができるから問題が見つかったら自力でなんとかなることも多いよ
改善ネタはcodebergで報告すれば、作者さんが対応してくれるかも

>>324
そのレベルの差で処理結果の違いが判ることはまずないから、気持ちの問題と思う

>>327
結果に違いはないだろうけど、画面上で0.1と設定しているのに保存されるのが0.09999999999999998というのは気持ち悪い
もし自分だったら、小数点以下かなり低い位ででも四捨五入してピッタリの値を書き込むという話
あと、0.75もピッタリなの忘れてた

>>321
言い忘れたけど検出モデルはテンプレのv2_accurate
試しにtest_clip1_1080p.mp4をrfdetr-v5の0.10でやってみたら焼け石に水だったわ

明るくしたほうが行けるときあるぞ

新ツール「jafish.exe」26/04/20版です。（いつもと同じコマンドラインツールです）
フィッシュアイなのは間違いないのにオンにしても四角にならないサイドバイサイドの VR動画 専用のツールです。
これまでのように真正面ではなく、視点を上下に動かして jasna を適用すればマシになるかもしれないと思って作りました。
ところが、当方には対象となる VR動画がほとんどないので、マシになっているのか変わらないのかよくわかりません。

「jafish.exe」には２つのモードがあります。
・視点変更モード（デフォルト）
　視点を上下に 45度以内で動かした分割フィッシュアイ動画に対してそれぞれ jasna 処理をして、正面に戻して結合します。
　例えば、-d -30 とオプション指定すると、正面より下向き 30度のフィッシュアイ動画を使用します。
　ただし、正面に戻した際に頭上 30度のデータが失われるので、その部分は入力動画から切り出して補完します。
　当然ですが、補完した部分は jasna は適用されません。
　（-x オプションで補完しないとどういう状態になるかを確認することもできます）
・3分割モード（テスト版）
　思い付きでつけた果てしなく時間の無駄かもしれないモードです。
　画面を正面と上下 22度向きで3分割（縦の比率 3:2:3）し、それぞれ jasna 処理をして、最後に結合します。
　上下 22度を 1つに纏めることで全 4動画への分割となり、それぞれ jasna 処理をするので一時ファイルは 8つになります。
　特に、ffmpeg での最初の分割と最後の結合にとても時間がかかります。

なお、このツールでは、デフォルトでは 60fps の動画は半分の 30fps に落とすようになっています。
60fps のままで処理を行いたい場合は、-6 オプションをつけてください。
-v オプションで全てのコマンドラインが表示されますので、どのようにやっているのか興味のある方はどうぞ。

（ダウンロードパスは jasn）
https://93.gigafile.nu/0729-cb809df0e85001762ea3e7ae58ce545c5