【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

HandBrakeって癖強くない？何が原因だったか忘れたけど、HandBrakeで処理した動画が相性よくなかったから
avidemuxでh264にした動画で処理してるけど、加工には特に問題なし

トリミングの出力が709とかになって通るようになってるだけじゃないか？
DVDもタグで601指定されてないやつは普通にJasna通るぞ

handbrakeに限らずbt609を再変換してもbt609のままだからjasnaはエラーになる
jasnaで処理するならffmpegでbt609をbt709に変換すればいい

>>138
.mkv の VR動画がないのでテストできなかったのですが .mp4 から変換すればよかったですね。
次回バージョンでは修正します。

何かと制限が多く面倒くさい bat はやめて C で書いてますが、やはり C は自由でいい。
bat だと編集して上書きしたら動作していた bat がエラーとなりましたが C ではコンパイルしない限り影響なし。
ですが、ソースが見えないし実行するコマンドラインが表示されないので不安ではないですか？
そんなあなたに裏オプションの -d スイッチ、もちろん裏オプションといっても追加料金は不要です。
ちなみに、次回バージョンアップでは謎の超電磁 -v スイッチも実装されます。

113です
途中でクローズする原因が分かったみたい
バージョン変えてもダメなんで、試しにグラボのオーバークロックを低くしたら2台とも完走するようになりました
アフターバーナーのOCスキャン結果どおりにOCしてたけど、50%くらいまでOC下げました

完成品がカクついて解析部分がズレる問題
うちの場合はシステムチェックの時にcomfyuiのpytorchを誤認してシステムの方に入ってなかったからそれが原因だった
pytorch入れ直したら治った

Ubuntuでjasna1280×720 2時間の動画
10分で処理完了して草

ubuntuはUSBから起動しようとしたらグラボが暴走してぶっ壊れかけたから二度と手を出さないことにした

動かすまでがハードモードだが、jasnaもUbuntuの方が速いよね

グラボの暴走ってどんな状態なの？

jasnaもflatpak化して欲しいね

>>151
ファンが全力で唸りっぱなしになって画面表示が崩壊してノイズしか表示されず
その後電源ボタン長押しで強制OFFしてUSB抜いて再起動したがBIOS画面が崩壊したままWindowsは正常起動って状態
翌日はBIOS画面も復活して今に至る

ここの住人でディープフェイクAVを生成してる人って居ますか？
最近ローカル環境で簡単に顔交換出来るアプリが出始めたので、顔が微妙だけど体が良いAVが超絶美人に加工出来るので、LADAで初めてモザイク破壊出来た時以来の衝撃がありました。
なので他の人はどんなソフト使ってるのかなと。
自分はビデオフェイススワップってアプリに課金しました。

親父譲りの蛇行地獄

ただでいいのかあるじゃん

>>156
ビデオフェイススワップは顔を変えたい素材の女優動画と、理想の顔画像を指定するだけだけど、無料のでそれくらい簡単に作れるソフトがあるもんなんですかな？

無料のだと変換度合いを調整したり複数人を別々の顔のIDを指定して変換したりと簡単にやるつもりが凝ったことやりだして面倒になってしまう。

>>154
>顔が微妙だけど体が良い
むしろこういうのばかり探してしまう。体が良いのに顔がハンコ顔の作品を微ブスに変換したい

>>154
ローカルLLMで遊んでるがGPUをハイエンドにしないと時間がめっちゃかかるよ

>>160
まだビデオフェイススワップってソフトしか知らないけど、グラボはRTX5070でHDの動画の尺1時間のレンダリングが3時間前後なので、時間はLADAと同じくらいかな。

>>41
そのSECONDARY RESTORATIONについて教えて欲しいです。私の環境でRTX Super Res を選んで x2 とすると、解像度が倍になるのかと思えば、出てきたファイルの解像度は変わらないようです。もちろん RTX 4050 は使ってます。この設定が何をしているのか分からないのですが、もし良かったら使い方と効果を教えて下さい。

lope next　

テンプレ通りにやってみたけど、こりゃ凄いね
javpの時も驚いて、素のladaで驚いて、さすがにこれ以上変わらんだろと思ったらまだいけますか

寝食忘れて相性の良いAVずっと探索してて体調わるいw

ちゃんと寝らんとチンポの立ちが悪くなるぞ

>>162
両者を並べてじっくり比較すると。。。
全く違うから

>>130
ATOPAZ契約してるけど、Jasnaでは俺が色々試す限りはモザのあった部分がユーザー登録が反映されずに色反転とTOPAZの透かし入りになっちまう。
ちゃんとしたやり方あるんかな？

>>137
GPUが5080だとボトルネックはGPUよりCPUの性能にかなり依存すると思うんだけど、どうなの？

>>162 元動画のサイズは変わらないよ
Scale x4, Quality ultraくらい極端に効かせた結果と、Secondaryを使わなかった結果で比べてみたらわかるさ

>>168
core i5 14500、i7 14700K、i9 14900K
4070、4070tis、5080
これらを組み換えてみたところTAVIの場合はGPUが一番効いた。公開されてるベンチマークからも上位のGPUはもっとパフォーマンス出てるね。
ladaの場合はGPUよりCPUのシングルスレッド性能の違いが処理時間にかなり影響した。

>>164
1年以内にもう一段のブレークスルーが来ると思うてます。

>>170
CPUどれかに固定して適当な動画を、GPU4070、4070tis、5080にした場合(RTX VSR有効)それぞれの出力に掛かった時間を教えてもらえないでしょうか？

>>167
オレの場合はjasnaを立ち上げる前にTopazを立ち上げてログインしてからjasnaの処理したらできた

>>172
VSRってTVAIやladaの変換に影響あるの？
lada-exのupscaleのこと？
どちらにせよ来週家に帰ってから入れ替えの危険性確認してテストするかどうか判断するね。cuda12.1とcuda12.8を同居させた上でtensorrt13入れつつ古いonnxやpytorchでnsfw前のReactorノードも動作するようにしてるから構成変わって壊れるのが怖いので。

>>173
Jasnaを立ち上げる前のTVAIログインは試してなかったな。
試してみるわ、サンクス。

なるほど顔が微妙だけど体が良いのは捨てずにとっておかなきゃいけなかったのか

顔とモザが自由自在っちゅーことは、体とシチュが最も重要になったな。これは自分の選択基準が全てひっくり返るほどの革命だわ。

>>174
Jasnaの二次修復にRTXSuperResを使ってって意味ですね。ladaが動く環境ならJasnaも大抵問題ないかと思うので、気が向いたらお願いします

>>177
無修正よりもモザイクAVの方が可愛い女優が多いのでモザイク破壊の価値があるけど、
逆に無修正の女優の顔を自分好みに可愛くすればええやんっていうのは逆転の発想だよね。
LADAのモザイク破壊によって、最近の新作モザイクAVって、ほとんどがゴム付けてる疑似中出しって事がバレてるし。

>>178
使ってみたけど、必要以上にヌルツルになりすぎてキモかった

>>177
>>179
ちょっとスレ違いでスマンが顔の加工には何のアプリを使ってるの？

二次修復のTVAIものすごい時間かかるな 10fpsとかになってる
5070ti程度じゃきついのかな

>>182
同時実行数だったかを2から6くらいにしてみた？

>>183
8にしたらPC落ちて、6にしたら5fpsくらいになってしまった
逆に1にしたら許容範囲になったわ！

結局どの設定がモザイクをベストに破壊できるの？

ソース次第だな
お前は目玉焼きに何をかけたら美味しいのか聞くタイプみたいだな

>>181
154だけど、Microsoft Storeで100ドルくらいで売ってるビデオフェイススワップっていうアプリ。
ハシカンでもローラでも広瀬すずでも、好みの顔画像さえ用意するだけでいい。
顔の角度が急とかだと破綻するしまだ完璧じゃないけど、それでも動画素材との相性が良ければ魔法みたいだし100ドルの価値は十分にあると思う。
オンラインにアップロードするタケノコ剥ぎタイプのアプリよりも、自由に相性の良い動画を試すには買い切りの方が結局安上がりだと思うし。

jasnaの二次修復はTVAIのPRO4が一番良いと思ってるけど、結局元動画の画質やらモザの種類に大きく左右される。
RTX VSRと大差ない場合もあれば良くなる場面もあるなあ

>>186
俺は醤油派やな

>>187
それは瞬きするんだろうか
無料ならVisoMasterが50xx系に対応している
わかってると思うが生成AI動画が最先端です

ケチャップが一番

動画でfaceswapするよりも静止画でfaceswapなりheadswapして、その静止画を動かしたほうが表情も含め完璧なものが作れる。civitaiのvideos参照。スレチ失礼。

>>187
それはおしゃぶりもうまくいく？

>>190
情報ありがとう。
今確認したら瞬きのタイミングで薄目になる感じで、完全に閉じてないね。
VisoMasterの使い方をざっと見た感じ、ビデオフェイススワップよりも設定項目が複雑そうだけど、こだわればいい感じ仕上がりそうね。

>>193
顔の角度と顔の前面にかぶさる面積によりけりだけど、ガッツリ被ると破綻するけど、軽めだと頑張って顔の変形に対応出来てる。
フィフティーフィフティーといったところ。

アップデートしていないTVAIで、環境設定は以前やっていたのでffmpegのパスだけ追加、開始前にTVAIを開いてやってみた。元動画の時間の0.8くらいで出来た。iris-2の設定やがワテのTVAIは最初のirisしか入ってない、動作したTVAIのモデルはjavplayerみたいに直近の加工モデルが使われるのかな？

>>192
動画を一度ffmpegでフレーム画像に分解して加工ソフトで画像処理後、再度ffmpegで動画に戻すやつだね
色々応用効く

モザ認識はJavPlayer同等のもの出来ないのかな

stashで通常再生は出来るのに、jasnaのSTREAMしようとすると全て×で止まる。。
SPEC不足かしら

Lada始めて使ってみたけど、ほぼ無修正レベルになってびっくりした。

>>200
こちらの世界へようこそ🤗

はよモデルアップデートしてけれー

jasnaの検出モデルv5は閾値0.1にすればv2vrより精度が高いと思う
処理に時間がかかるのが難点だが顔モザも残してくれるからお気に入り作はこっちを使ってる

>>199
https://github.com/Kruk2/stash/blob/7414f02a1cb9650b7f7a0b643b2dcb25a0f4a5e4/docs/JASNA_STREAMER.md

JASNA_CLI_PATHにパラーメターを直接書けるんで軽いモデルにすると良いよ。
復元モデルはVR用のV2_fast、RTX Super ResはX2、max_clip_sizeは60にすると軽くなる。
3060でもモザイクが多いシーン以外はFHDで止まらない。ただし、FHD 60Hz映像だと上位GPUが必要になる。
このプレーヤーはChromeだとピクチャーインピクチャーで自動文字起こしかつリアルタイム翻訳もできるね。

起動BATファイルを用意しておくと便利だよ。

@echo off
set "JASNA_CLI_PATH=C:\xxx\jasna-cli.exe --fp16 --max-clip-size 60 --secondary-restoration rtx-super-res --rtx-scale 2 --rtx-quality high --rtx-denoise low --rtx-deblur ultra --detection-model lada-yolo-v4"

start "" ".\stash.exe"

>>199
対応するmax_clip_sizeのコンパイル済みモデルがないと時間がかかる
それ以外でxが出た時は進捗バーをクリックすると動きだす
動きが怪しい時はタスクマネージャーでjasna-cliの挙動を確認すると良い
stash経由だとjasnaのプロセス管理がよくできておりゴミが残らないところがお気に入り。ただし、連続再生が3分に設定されているのでほっとくと止まる。

>>205
>>204
詳細有難うございます！
正直レスのレベルが高いので、じっくり読みながらやってみます
有難う

>>1に貼られてるやつって何？
試してみたら一昔前のように再現度が悪化したんだが

元動画はモザイクの小さな動画が良いンゴ

>>207 一番良いとされている検出•復元モデル、リネームしないと使えない。ladaで使う場合、前すれpart3 440参照。jasnaで使う場合 2を参照。

VRの復元モデルならlada_vr_mosaic_restoration_model_generic_v0.5_test_20260331.pthか20260402.pthが今のところ頭1つ抜けて最高に感じる。
変換部分の画像の綺麗さはlada_mosaic_restoration_model_generic_v1.2_full.pthが少し上だが台形や平行四辺形に歪んたモザイクもほぼ復元されるのが素晴らしい。過去動画全部やり直してる。

>>207
俺も>>1のモデルを入れてみたが直ぐに捨てた
Jasna v0.5.0をママ使用してるほうが復元・破壊ともに良いと感じたよ

誤字失礼
>>検出・復元ともに良いと感じたよ

ワイは2Dしか基本処理しないから、generic_v1.2_full.pthばかりやな。よほど大きいモザイクでなければ綺麗に復元される

generic_v1.2_full.pthつかってていまいちだなーと思ってたところ
jasnaでも問題なし？

jasnaGUIってptは選択できるのに、なぜpthは固定なの？
変えたい場合はjasnaCLI使って変えろということなのか

>>215
それは今の仕様だな
いまいちと思うが、jasnaは復元モデルのファイル名を"lada_mosaic_restoration_model_generic_v1.2.pth"でハードコードしている
GUIでもCLIでもv1.2_fullを使いたかったらハードコードされているこのファイル名に変えて元ファイルを差し替えないとダメってことだ

>>216
GUIはどうしようもないけど、CLIなら
jasna-cli --restoration-model-path "C:\\jasna\\model_weights\\lada_vr_mosaic_restoration_model_generic_v0.5_test_20260402.pth"
でいける
model_weightsに
lada_vr_mosaic_restoration_model_generic_v0.5_test_20260402_sub_engines
というフォルダができる

おや、「\」は「\\」じゃないとダメだったはずだが「\」でもいけるや
もしかして、ダメだったのは0.5.0で0.5.1では修正されたのかも
jasna-cli --restoration-model-path "C:\jasna\model_weights\lada_vr_mosaic_restoration_model_generic_v0.5_test_20260402.pth"

>>217 サンクス
CLIは存在するpthファイルのフルパス名をmodel pathオプションで指定すれば取り込んでくれるのか
ハードコードしているのはデフォルト復元モデルのファイル名でした

勘違いしている人がいるかもだけど、jasnaCLIでも初回使用時にはコンパイルしてくれるぞ

Compiling TensorRT engines (this may take several minutes)...
Compiling BasicVSR++ sub-engines (max_clip_size=90)...
Compiling sub-engine 1/6: loop_body [backward_1]
Compiling sub-engine 2/6: loop_body [forward_1]
Compiling sub-engine 3/6: loop_body [backward_2]
Compiling sub-engine 4/6: loop_body [forward_2]
Compiling sub-engine 5/6: preprocess (batch=3..90)
Compiling sub-engine 6/6: upsample (batch=1..90)
BasicVSR++ sub-engines compiled.

今さらだけど検出と復元モデル変えたら見違えたな
古めの動画の激しいシーンでめっちゃモザイク残ってたやつもしっかり認識してくれて感動すらしたわ

>>221
それはLada？Jasna？

jasnaのrtx-super-res、皆どういう設定でやってるか気になる。最初は全部ultra設定してたけど、処理の負荷が掛かりすぎるのと、denoise上げすぎると逆にのっぺりするのでmediumかlowにする事多くなった。deblurはいらんかなと最近思ったりもしている。

--secondary-restoration rtx-super-res \
--rtx-scale 4 \
--rtx-quality ultra \
--rtx-denoise medium \
--rtx-deblur medium \

そう
俺も最初はかけ過ぎてた
今は「4/ultra/無し/無し」が自分の標準設定

スケール4Xにするとボヤけるんやがワシだけ？
2Xだとクリアです。
GUI
v0.5.0 alpha10
で
前スレの808に従いV2accurateにしてます。
ので自分はX2の全てultraが完璧な仕上がりです。

自分も「4/ultra/無し/無し」だがエンコードの品質（CQ）を22から18に変えたらお〇んこがくっきりになるな
ファイルサイズが大きくなるんで重要物件だけそれ使ってる

TVAI使えるならproteus naturalが良さそうだな

VRはなかなか満足いく結果にならないな
設定とかが悪いのかな？
jasvrも使ってみたけど、2Dとくらべてだいぶ品質が劣ってしまう

>>225
使っている復元モデルとGPUは？
俺環はv1.2_fullとRTX4060だが、scale 4でぼやける感じにはならないな

NVIDIA、6GB以もVRAMが不要になる新技術「RTX NTC」を発表、エロビデオのモザイク破壊の技術を応用 [249548894]
https://hayabusa9.5ch.io/test/read.cgi/news/1775646574/

>>229
復元モデルは何も弄ってなかったのでデフォルトでした。
ので、
v1.2_fullを導入し再度コンパイルしてx4試したのですがやっぱり微妙にボヤけるんですよね。。。
x2だとクッキリです。
グラボはRTX5080です。

魚眼はもやるな
vrは左右画像がきっちり復元しないと正しく立体視できないし

jasna-cliの--benchmarkコマンド実行してみた
basicvsrppの復元速度、rfdetrとlada_yoloの検出速度をassetsフォルダにあるナスの動画を使って測ってくれる様だ
以下コマンド実行すればOK
jasna-cli.exe --benchmark --benchmark-filter yolo
jasna-cli.exe --benchmark --benchmark-filter rfdetr

現時点だとrfdetr-v5とlada_yolo(v4_fast)の検出速度測定は動くが、basicvsrppの測定処理はバグがあるようでリリースパッケージのバイナリだとエラーで失敗した
ソースからビルドした開発版の方はClaude Codeに直してもらって動くことは確認した

環境：Ryzen 7 5900X+RTX4060+Win11
PS H:\jasna-0.5.1> .\jasna-cli.exe --benchmark --benchmark-filter rfdetr
model test_clip1_1080p.mp4 test_clip1_2160p.mp4
---------------------- -------------------- --------------------
rfdetr_detection_speed 63.5 fps (4.73s) 57.2 fps (5.24s)

PS H:\jasna-0.5.1> .\jasna-cli.exe --benchmark --benchmark-filter yolo
model test_clip1_1080p.mp4 test_clip1_2160p.mp4
------------------------- -------------------- --------------------
lada_yolo_detection_speed 321.8 fps (0.93s) 207.0 fps (1.45s)

rfterは遅いと思っていたが、lada-yoloの方が4〜5倍速いのか

>>231
構成は問題なさそうですね
となると、入力ソースと処理結果の好みの問題かな

>>230
え？　おまえら最先端なんじゃねえか

俺は大発見をしてしまったかも知れない...
なんとボカシも除去できてしまうかも
ボカシの部分に編集ソフトでモザイク掛けて
※俺はPowerDirectorでモザイク幅2・高さ1で設定
それをjasnaで破壊するとあら不思議
モザイク破壊で再構築されてるのか仕組みはよく分らんが大分ボカシが薄れる
ただそれ以上はわからんぞ。気のせいだという人はほっとけばいいし気になる人は掘り下げてみてくれ

魚眼VRは、左右を魚眼に変換して処理した後に魚眼から逆変換して左右に配置しているけど、
魚眼のまま左右に配置すれば少しはましになるのでは？
多分デュアルフィッシュアイのVRとして再生できるだろうし

フィッシュアイのままだとズームで歪むんよね

ダメだ、stash全然わかんない
The media could not be loaded, either because the server or network failed or because the format is not supported.
↓
メディアを読み込めませんでした。サーバーまたはネットワークエラーが発生したか、フォーマットがサポートされていない可能性があります。
どのファイル選んでもこれになる

>>236
ぼかしは破壊すべき部分と認識しないが、ぼかしの上にモザイクをかけると破壊すべき部分と認識するのか…

>>236
なるほど、じゃあ、魚眼でやっても斜めになったりして認識されないやつもその「リモザイク法」でやればおｋってことか