【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

二次修復のTVAIものすごい時間かかるな 10fpsとかになってる
5070ti程度じゃきついのかな

>>182
同時実行数だったかを2から6くらいにしてみた？

>>183
8にしたらPC落ちて、6にしたら5fpsくらいになってしまった
逆に1にしたら許容範囲になったわ！

結局どの設定がモザイクをベストに破壊できるの？

ソース次第だな
お前は目玉焼きに何をかけたら美味しいのか聞くタイプみたいだな

>>181
154だけど、Microsoft Storeで100ドルくらいで売ってるビデオフェイススワップっていうアプリ。
ハシカンでもローラでも広瀬すずでも、好みの顔画像さえ用意するだけでいい。
顔の角度が急とかだと破綻するしまだ完璧じゃないけど、それでも動画素材との相性が良ければ魔法みたいだし100ドルの価値は十分にあると思う。
オンラインにアップロードするタケノコ剥ぎタイプのアプリよりも、自由に相性の良い動画を試すには買い切りの方が結局安上がりだと思うし。

jasnaの二次修復はTVAIのPRO4が一番良いと思ってるけど、結局元動画の画質やらモザの種類に大きく左右される。
RTX VSRと大差ない場合もあれば良くなる場面もあるなあ

>>186
俺は醤油派やな

>>187
それは瞬きするんだろうか
無料ならVisoMasterが50xx系に対応している
わかってると思うが生成AI動画が最先端です

ケチャップが一番

動画でfaceswapするよりも静止画でfaceswapなりheadswapして、その静止画を動かしたほうが表情も含め完璧なものが作れる。civitaiのvideos参照。スレチ失礼。

>>187
それはおしゃぶりもうまくいく？

>>190
情報ありがとう。
今確認したら瞬きのタイミングで薄目になる感じで、完全に閉じてないね。
VisoMasterの使い方をざっと見た感じ、ビデオフェイススワップよりも設定項目が複雑そうだけど、こだわればいい感じ仕上がりそうね。

>>193
顔の角度と顔の前面にかぶさる面積によりけりだけど、ガッツリ被ると破綻するけど、軽めだと頑張って顔の変形に対応出来てる。
フィフティーフィフティーといったところ。

アップデートしていないTVAIで、環境設定は以前やっていたのでffmpegのパスだけ追加、開始前にTVAIを開いてやってみた。元動画の時間の0.8くらいで出来た。iris-2の設定やがワテのTVAIは最初のirisしか入ってない、動作したTVAIのモデルはjavplayerみたいに直近の加工モデルが使われるのかな？

>>192
動画を一度ffmpegでフレーム画像に分解して加工ソフトで画像処理後、再度ffmpegで動画に戻すやつだね
色々応用効く

モザ認識はJavPlayer同等のもの出来ないのかな

stashで通常再生は出来るのに、jasnaのSTREAMしようとすると全て×で止まる。。
SPEC不足かしら

Lada始めて使ってみたけど、ほぼ無修正レベルになってびっくりした。

>>200
こちらの世界へようこそ🤗

はよモデルアップデートしてけれー

jasnaの検出モデルv5は閾値0.1にすればv2vrより精度が高いと思う
処理に時間がかかるのが難点だが顔モザも残してくれるからお気に入り作はこっちを使ってる

>>199
https://github.com/Kruk2/stash/blob/7414f02a1cb9650b7f7a0b643b2dcb25a0f4a5e4/docs/JASNA_STREAMER.md

JASNA_CLI_PATHにパラーメターを直接書けるんで軽いモデルにすると良いよ。
復元モデルはVR用のV2_fast、RTX Super ResはX2、max_clip_sizeは60にすると軽くなる。
3060でもモザイクが多いシーン以外はFHDで止まらない。ただし、FHD 60Hz映像だと上位GPUが必要になる。
このプレーヤーはChromeだとピクチャーインピクチャーで自動文字起こしかつリアルタイム翻訳もできるね。

起動BATファイルを用意しておくと便利だよ。

@echo off
set "JASNA_CLI_PATH=C:\xxx\jasna-cli.exe --fp16 --max-clip-size 60 --secondary-restoration rtx-super-res --rtx-scale 2 --rtx-quality high --rtx-denoise low --rtx-deblur ultra --detection-model lada-yolo-v4"

start "" ".\stash.exe"

>>199
対応するmax_clip_sizeのコンパイル済みモデルがないと時間がかかる
それ以外でxが出た時は進捗バーをクリックすると動きだす
動きが怪しい時はタスクマネージャーでjasna-cliの挙動を確認すると良い
stash経由だとjasnaのプロセス管理がよくできておりゴミが残らないところがお気に入り。ただし、連続再生が3分に設定されているのでほっとくと止まる。

>>205
>>204
詳細有難うございます！
正直レスのレベルが高いので、じっくり読みながらやってみます
有難う

>>1に貼られてるやつって何？
試してみたら一昔前のように再現度が悪化したんだが

元動画はモザイクの小さな動画が良いンゴ

>>207 一番良いとされている検出•復元モデル、リネームしないと使えない。ladaで使う場合、前すれpart3 440参照。jasnaで使う場合 2を参照。

VRの復元モデルならlada_vr_mosaic_restoration_model_generic_v0.5_test_20260331.pthか20260402.pthが今のところ頭1つ抜けて最高に感じる。
変換部分の画像の綺麗さはlada_mosaic_restoration_model_generic_v1.2_full.pthが少し上だが台形や平行四辺形に歪んたモザイクもほぼ復元されるのが素晴らしい。過去動画全部やり直してる。

>>207
俺も>>1のモデルを入れてみたが直ぐに捨てた
Jasna v0.5.0をママ使用してるほうが復元・破壊ともに良いと感じたよ

誤字失礼
>>検出・復元ともに良いと感じたよ

ワイは2Dしか基本処理しないから、generic_v1.2_full.pthばかりやな。よほど大きいモザイクでなければ綺麗に復元される

generic_v1.2_full.pthつかってていまいちだなーと思ってたところ
jasnaでも問題なし？

jasnaGUIってptは選択できるのに、なぜpthは固定なの？
変えたい場合はjasnaCLI使って変えろということなのか

>>215
それは今の仕様だな
いまいちと思うが、jasnaは復元モデルのファイル名を"lada_mosaic_restoration_model_generic_v1.2.pth"でハードコードしている
GUIでもCLIでもv1.2_fullを使いたかったらハードコードされているこのファイル名に変えて元ファイルを差し替えないとダメってことだ

>>216
GUIはどうしようもないけど、CLIなら
jasna-cli --restoration-model-path "C:\\jasna\\model_weights\\lada_vr_mosaic_restoration_model_generic_v0.5_test_20260402.pth"
でいける
model_weightsに
lada_vr_mosaic_restoration_model_generic_v0.5_test_20260402_sub_engines
というフォルダができる

おや、「\」は「\\」じゃないとダメだったはずだが「\」でもいけるや
もしかして、ダメだったのは0.5.0で0.5.1では修正されたのかも
jasna-cli --restoration-model-path "C:\jasna\model_weights\lada_vr_mosaic_restoration_model_generic_v0.5_test_20260402.pth"

>>217 サンクス
CLIは存在するpthファイルのフルパス名をmodel pathオプションで指定すれば取り込んでくれるのか
ハードコードしているのはデフォルト復元モデルのファイル名でした

勘違いしている人がいるかもだけど、jasnaCLIでも初回使用時にはコンパイルしてくれるぞ

Compiling TensorRT engines (this may take several minutes)...
Compiling BasicVSR++ sub-engines (max_clip_size=90)...
Compiling sub-engine 1/6: loop_body [backward_1]
Compiling sub-engine 2/6: loop_body [forward_1]
Compiling sub-engine 3/6: loop_body [backward_2]
Compiling sub-engine 4/6: loop_body [forward_2]
Compiling sub-engine 5/6: preprocess (batch=3..90)
Compiling sub-engine 6/6: upsample (batch=1..90)
BasicVSR++ sub-engines compiled.

今さらだけど検出と復元モデル変えたら見違えたな
古めの動画の激しいシーンでめっちゃモザイク残ってたやつもしっかり認識してくれて感動すらしたわ

>>221
それはLada？Jasna？

jasnaのrtx-super-res、皆どういう設定でやってるか気になる。最初は全部ultra設定してたけど、処理の負荷が掛かりすぎるのと、denoise上げすぎると逆にのっぺりするのでmediumかlowにする事多くなった。deblurはいらんかなと最近思ったりもしている。

--secondary-restoration rtx-super-res \
--rtx-scale 4 \
--rtx-quality ultra \
--rtx-denoise medium \
--rtx-deblur medium \

そう
俺も最初はかけ過ぎてた
今は「4/ultra/無し/無し」が自分の標準設定

スケール4Xにするとボヤけるんやがワシだけ？
2Xだとクリアです。
GUI
v0.5.0 alpha10
で
前スレの808に従いV2accurateにしてます。
ので自分はX2の全てultraが完璧な仕上がりです。

自分も「4/ultra/無し/無し」だがエンコードの品質（CQ）を22から18に変えたらお〇んこがくっきりになるな
ファイルサイズが大きくなるんで重要物件だけそれ使ってる

TVAI使えるならproteus naturalが良さそうだな

VRはなかなか満足いく結果にならないな
設定とかが悪いのかな？
jasvrも使ってみたけど、2Dとくらべてだいぶ品質が劣ってしまう

>>225
使っている復元モデルとGPUは？
俺環はv1.2_fullとRTX4060だが、scale 4でぼやける感じにはならないな

NVIDIA、6GB以もVRAMが不要になる新技術「RTX NTC」を発表、エロビデオのモザイク破壊の技術を応用 [249548894]
https://hayabusa9.5ch.io/test/read.cgi/news/1775646574/

>>229
復元モデルは何も弄ってなかったのでデフォルトでした。
ので、
v1.2_fullを導入し再度コンパイルしてx4試したのですがやっぱり微妙にボヤけるんですよね。。。
x2だとクッキリです。
グラボはRTX5080です。

魚眼はもやるな
vrは左右画像がきっちり復元しないと正しく立体視できないし

jasna-cliの--benchmarkコマンド実行してみた
basicvsrppの復元速度、rfdetrとlada_yoloの検出速度をassetsフォルダにあるナスの動画を使って測ってくれる様だ
以下コマンド実行すればOK
jasna-cli.exe --benchmark --benchmark-filter yolo
jasna-cli.exe --benchmark --benchmark-filter rfdetr

現時点だとrfdetr-v5とlada_yolo(v4_fast)の検出速度測定は動くが、basicvsrppの測定処理はバグがあるようでリリースパッケージのバイナリだとエラーで失敗した
ソースからビルドした開発版の方はClaude Codeに直してもらって動くことは確認した

環境：Ryzen 7 5900X+RTX4060+Win11
PS H:\jasna-0.5.1> .\jasna-cli.exe --benchmark --benchmark-filter rfdetr
model test_clip1_1080p.mp4 test_clip1_2160p.mp4
---------------------- -------------------- --------------------
rfdetr_detection_speed 63.5 fps (4.73s) 57.2 fps (5.24s)

PS H:\jasna-0.5.1> .\jasna-cli.exe --benchmark --benchmark-filter yolo
model test_clip1_1080p.mp4 test_clip1_2160p.mp4
------------------------- -------------------- --------------------
lada_yolo_detection_speed 321.8 fps (0.93s) 207.0 fps (1.45s)

rfterは遅いと思っていたが、lada-yoloの方が4〜5倍速いのか

>>231
構成は問題なさそうですね
となると、入力ソースと処理結果の好みの問題かな

>>230
え？　おまえら最先端なんじゃねえか

俺は大発見をしてしまったかも知れない...
なんとボカシも除去できてしまうかも
ボカシの部分に編集ソフトでモザイク掛けて
※俺はPowerDirectorでモザイク幅2・高さ1で設定
それをjasnaで破壊するとあら不思議
モザイク破壊で再構築されてるのか仕組みはよく分らんが大分ボカシが薄れる
ただそれ以上はわからんぞ。気のせいだという人はほっとけばいいし気になる人は掘り下げてみてくれ

魚眼VRは、左右を魚眼に変換して処理した後に魚眼から逆変換して左右に配置しているけど、
魚眼のまま左右に配置すれば少しはましになるのでは？
多分デュアルフィッシュアイのVRとして再生できるだろうし

フィッシュアイのままだとズームで歪むんよね

ダメだ、stash全然わかんない
The media could not be loaded, either because the server or network failed or because the format is not supported.
↓
メディアを読み込めませんでした。サーバーまたはネットワークエラーが発生したか、フォーマットがサポートされていない可能性があります。
どのファイル選んでもこれになる

>>236
ぼかしは破壊すべき部分と認識しないが、ぼかしの上にモザイクをかけると破壊すべき部分と認識するのか…

>>236
なるほど、じゃあ、魚眼でやっても斜めになったりして認識されないやつもその「リモザイク法」でやればおｋってことか

ののの

ま○こが生々しく再現されるのはまだ理解が出来るが（理解出来るとは言ってない）、パンツの生地の質感というか、縫製の感じまで再現されるのは驚いた
肉が見えてないんだから、そもそもモザイクかけんなよという部分だが、よくよく見るとめちゃくちゃエロくて、制作側がモザイクかけるべきシーンだと判断した気持ちがわかった
ま○こ大好き人間だけでなく、下着フェチにもおすすめしたい

破壊速度は上がったけどVRの場合は分割結合に時間食われるね

今朝から突然、次のエラーが出てjasnaが途中で止まるようになった

torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 1008.00 MiB. GPU 0 has a total capacity of 11.94 GiB of which 0 bytes is free.
Of the allocated memory 5.58 GiB is allocated by PyTorch, and 1.69 GiB is reserved by PyTorch but unallocated.
If reserved but unallocated memory is large try setting PYTORCH_ALLOC_CONF=expandable_segments:True to avoid fragmentation.
See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables)

書かれている「set PYTORCH_ALLOC_CONF=expandable_segments:True」をやった後でもダメ、
再起動やjasna・pytorch・Python・CUDAの再インストールしてもダメだったが、
「set PYTORCH_ALLOC_CONF=max_split_size_mb:128」をやると、今までがウソのように問題なく完走できるようになった

rfdetr-v5a全然しょぼいな

そらぁvr_v2_accurate & generic_v1.2_full 一択よぉ

>>245
何も弄ってないのに突然エラー出て止まる原因がSSDが壊れる予兆だったとかもあったんで気をつけて

v5じゃなくてJasnaの認識が悪いわこれ
つなぎ目で変にならないからJasnaのほうが認識以外は上なんだけどなぜかおかしい

>>249
オレ環境だと、Jasna0.5,1での検出モデルはv4が良かった
v2_accurate.ptはLADAでは良かったけどJasnaでは検出漏れ多数
Jasna標準のv5とv4も大差無いかと思ったけど、FC2の極小モザイク動画を処理したら
v4の方が検出良かった

「jaspre.exe」26/04/11版です。主な変更点は以下の通り。
・--output OUTPUT を省略すると自動で出力ファイル名を作成するようにした（出力先はカレントフォルダ）
・コマンドラインで指定されているパラメータは重複となるので出さないようにした（--encoder-settings を除く）
・ .exe を省略して呼び出すと、実行前に確認メッセージを出すようにした
・ .exe をつけると確認メッセージは出ない（終了時の音の回数は拡張子の小文字の数、.exe だと 3回、.eXe だと 2回、.EXE だと 0回）
（ダウンロードパスは jasn）
https://52.gigafile.nu/0720-c8bff3e358a5c179b3a2c547226536aae

jaspre.exe を使うことで、batファイルで全 .mp4 を処理することができますが、同じフォルダに生成するとできたファイルに再処理してしまい終わらなくなります。
カレントフォルダ以外のフォルダに対して処理するか、または、以下のようにして無限処理を避けてください。（22 は GUI で保存したプリセットの cq の値）

for %%f in (*.mp4) do (
echo %%f | find "_resj22.mp4" >nul
if errorlevel 1 jaspre.EXE --input %%f
)
rem 全終了後に音を鳴らす（3 は回数）
echo 0123456789 | choice /c 3 >nul

JASNAで出力された動画ですが、モザイクの部分のつなぎ目で変に動画の一部が揺れます。設定の問題でしょうか？

>>253
1の
■　不具合があった場合に試してみる事
は試しましたか

完成品がカクついて解析部分がズレる問題ですが、不具合があった場合に試してみる事とは何でしょうあ？

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

これは全てやってみました

>>256
それやってもカクつくならばおま環の問題かも
エスパーしてもらうにしても情報は多い方が良いよ
使っているJasnaのバージョンは安定しているやつなのか(0.5.1/0.5.0/0.5.0-alpha10あたり)?
検出・復元モデル、ドライババージョン、GPU、CPU、メモリは?
Basicvsrppのコンパイルしなかったらどうなるのか?
特定の動画だけでそうなるのか、全部だめなのか?
とか

クラウドGPUでladaするマンなんやが、1週間がかりでjasnaをRunpodで動かすことに成功したわ。claude code様々や…。
需要あるか分からんが、セットアップ用Dockerイメージ置いておく。
https://codeberg.org/xilight/pod_for_jasna

ちなみに自分は基本バイブコーディングしか出来んので、起動しなかったりエラーが起きても堪忍な。あとRunpodで同じGPUでもNVENC使えたり使えなかったり割とガチャなので、そこも忍耐や。

>>257
アドバイスありがとうございます。0.5.0バージョンです。
全動画でモザイク破壊したところが揺れる感じになってしまいます・・・

>>258
大変乙です
TRTエンジンの書き出し形式 (v240) とデシリアライザ (v239) のバージョン不整合が発生、にはニヤリとした
Ubuntuのビルドでも遭遇。こんなんわかるか！と共に、それをデバッグできるのは、さすClaudeって思った

>>260
そこをお気付きになるとはお目が高い。実はTRTエンジンの不整合が最後まで引っかかって、解決するのにOpusフル稼働させてセッション使い切ったのは良い思い出。それでもさすClaude様ですわ…。

>>259 時間オーバーラップの数値変えてみるとか？

>>259
揺らぎはdenoiseで緩和されたような気がする

俺もだんだんそんな気がしてきた

>>259
GPUスケジューリング　オフにしても
再起動しないとだめだよ。

アニメ弱いって話だけどリアル塗りのやつはきれいに復元するな、パイパン限定で

「jaspre.exe」26/04/12版です。
・自動生成の出力ファイル名が入力ファイル名と同じ拡張子になっていたのを .mp4 に固定（入力が .mkv だと出力も .mkv になっていた）
・入力ファイル名が自動生成されたものであると判断した場合は確認メッセージを出すようにした（20秒で自動的に「スキップ」を選択）
この変更により、>>252 に書いたようなことをしなくても無限処理には陥らないようになりました。
それにしても、lada-cli は Ctrl-C で止まるのに、jasna-cli は Ctrl-C で止めても止めてもゾンビのように復活するのはなぜだろう？
入力履歴が消えてしまうので窓は閉じたくないんだけど、タスクマネージャーから止めるしかないか。
（ダウンロードパスは jasn）
https://86.gigafile.nu/0721-bed36cafd33c93600cfe8274df2a249ce

>>265
おはようございます。再起動したら直りました。本当にありがとうございます。

>>262　263　264
アドバイスいただいたものを全てやって再起動したら直りました。
親切なアドバイス感謝します。おかげでやっとJASNAを使うことができました。

テンプレ案件だったか
設定のところに書いてあるけど、再起動指示を見落としがち・・・

ハードウェアアクセラレータによるGPUスケジューリング
この変更を有効にするには、pcを再起動する必要があります

Lada-Ex commander
国産全部入り

Jasnaを使ってみたけど、自分のPCが非力なのでGPUがギリギリで他の作業とかしてるとHDDとか他アプリとかがハングしてちょっと使えなかったな残念
Jasnaだけ動かしているなら全然行けるんだけどね
CUDAの使用レベルとか設定できればいいんだけどな

>>270
これうちの環境だと動かないんだよね

webで動かすシステムだから、デフォルトだと動かないのかな
おれかんのUbuntuなら普通に動いた

lada-exのwindowsへのdevelopper installationがうまく動かないね。
uv.lockファイル消してもsysplatform == 'linux' で怒られてしまう。

>> 274
今、作者さんがtorchcodecを使った--fast-pipeline機能を実装中で、この機能を組み込んだビルドがLinux前提になっているからだと思う
現状Windowsでビルドするならgit cloneした後に　git reset --hard bef570c でtorchcodecを取り込む前まで戻すと良いよ
(俺環では実績あり)

Windowsで--fast-pipelineを動かそうとするとヘルモードのビルドが待っている
Claude Codeで何とかなったけど、こういうの好きな人じゃなければお勧めはしない

torchcodecを使った--fast-pipelineで俺環ではJasnaとタメを張れるくらいまで処理速度が上がった
使いこなしはまだ試行錯誤中

>>275
ありがとう。その方法でスムーズに導入できました。chatgptにそそのかされてtorchcodecは手を付けたとこで爆死の雰囲気を感じたので止めたとこでしたw
今入っている環境が違いすぎる。

>>272
Lada-Ex commanderも基本Linuxで動作確認しているみたいだから、
Windows環境だと自力 or AIアシストでなんとかできる人じゃないと厳しいみたい
一応動かしたけど、ファイル4つ修正しないと処理までたどり着けなかった
GUIがモダンでカッコよ、なんだが、操作や設定にちょっと戸惑った

Ubuntuへはlada-ex commander入れたけどGUIを見た瞬間ファミコンを思い出した。

zelefansにiterから始まる除去モデルが2つ上がっているけど、Unsafeって付いているってことはやばいの？

fisheyeをオンにしても四角にならないやつってさ、ヘッドセットつけて見ると四角く見えるんだよね
つまり、球体画像に対してかけているんだから、それを平面に変換したらどうやっても四角じゃなくなるってことだね

>>279
新しくトレーニングしていた復元モデルのテスト版と中間プロセス版らしいよ
データセットが足りなくて完成はあきらめたんだって