【超解像】Lada part3

前スレ
【超解像】 Lada　part2
https://mercury.bbspink.com/test/read.cgi/avideo/1761381502/

【超解像】 Lada　
https://mercury.bbspink.com/test/read.cgi/avideo/1758433407/

>>850
アドバイスThx
先ほどアップデートをかけて、念のため再起動もしたけど変わらなかった。

python --version で表示されるのがPython 3.11.9なんだけど、関係あるかな？

>>851 最初にシステムチェックの表示があるじゃん、全部OKだった？左に緑の✔︎入ってたかな

修復モデルv1.2のfull版落としてリネームするとすんなりイケるパターンかも
確かオレ環だとそうだった気がする

ここの話は専門的すぎて、なに言ってるのか良く分からんが、取り敢えず素人でも
簡単に扱える、Windows版のLADA使ってる。これ、連続で複数の動画モザイク破壊録画してると、
よく途中でソフト自体落ちて、失敗してるんだよな。ここんとこ安定していたら、
寝てる間や、仕事行ってる間に10本ほど録画できてて、最高なんだが、みんなもそんな感じ？

>>854 そんな感じ、寝てる間はやらない。pc、ベッド近くなので結構うるさいから。ladaよりjasnaの方が速い、404のモデルを使うともっと速くなる。（808を参考に名前を変えて）低スペックpcほど使うべき、ワテみたいに。

VR動画 というかその1コマの VR画像 を使って V360フィルターの実験をしました。
10ドット方眼＋対角線＋「こちらはサンプル画像です」のデカ文字 の 2160x2160 の sample.png を作り、
それを ffmpeg で V360フィルターをかけて .png の画像で出力します。（ffmpegは動画だけでなく、画像にも使える）
そして、その画像に逆向きのフィルターをかけて、元の画像にどれだけ近い状態に戻るのかを確認します。
（なお、equirect は e という省略形も使用できます）

この実験でわかったこと

�@ hequirect は同じ解像度で出力されサイドバイサイド向けだが、equirect だと縦は同じだが横は倍となりトップアンドボトム向き
�A fisheye から equirect に変換後 equirect から fisheye に戻した場合は、隅々までかなり元の画像が再現できる
�B fisheye から hequirect に変換後 hequirect から fisheye に戻した場合は、画像内接円の内側は再現できるが、外側はのびる
�C 実は、equirect の左右 1/4 ずつを切り取ると hequirect と同じ（頭の h はハーフだが、これで納得できた）
�D equirect に変換した画像の左右の黒い部分に何を描いても逆変換すると消滅する
�E ladaz.bat でトップアンドボトムをモード2でサイドバイサイドにした時、VRゴーグル被って横見ると見える範囲が狭くなる原因はこれ

わかるとは思いますが、Windows以外の方は test.bat の頭に @ が付いている行以外を実行すれば動作します。
一応、ffmpegが動かない方（ここにはいないだろうけど）のために結果画像も含めて圧縮しました。
ダウンロードした「v360filter.zip」を解凍すると、「sample.png」・「test.bat」と結果 .png 画像 4つが出てきます。
（ダウンロードパスはなし）
https://45.gigafile.nu/0703-b1a928eaa042c0f3180c05eb66ceb3212

>>854
lada が処理落ちするときは元動画が一部欠落してて、10フレーム連続で欠けてるとlada が落ちる
①元動画を再入手するか、②元動画をffmpegで再エンコードすればlada 落ちを回避できる
ffmpegのインストール、使い方はChatGPTかGoogle gemini、Claude等に聞いて

元動画のファイル名が極端に長すぎるのも駄目です

gui版のladaよりも、windowsコマンドプロンプトから文字だけで操作するlada-cliのほうがエラーログを確認できてgemini等に貼り付けしたら解決できるよ バッチ処理のやり方も生成AIに聞いて

ハードウェアそのまま＆OSデュアルブートで、windowsからlinux（ubuntu）に乗り換えると速度が約2～2.5倍早くなるよ
>>749

>>852
>>844に書いてる通り、チェックは全部OK。

>>853
ladaで使っていたfullをコピーし、リネームしたけどダメでした。

まあ、ladaで何とかなるし、ソース落としてごそごそやってみます。
アドバイスThx!

Jasna、wmv3動画を格納したmkvファイルの読み込みでエラーになるなあ
ladaも初期の頃wmvファイルはエラーになってた記憶があるので同じ原因かもしれない…早く直ってほしいものだ

>>857
色々教えてくれて、ありがとうね。

逆だったかもしれねェ・・・じゃなくて、変換が完全に逆でした。
おかしいなとは思っていましたが、equirect の場合は横2倍のサンプル画像を使わなくてはなりませんでした。

わかったこととして書いた内容も間違いだらけですんません。
でも、hequirect がサイドバイサイド向け、equirect がトップアンドボトム向けであることは正しかったようです。
どちらも、フィッシュアイに変換すると正方形になりますが、逆変換すると元の比率に戻ります。
equirect の場合、中央の正方形の部分以外の情報はかなり失われます。

ダウンロードした「v360filter2.zip」を解凍すると、「sampleh.png」・「samplee.png」・「test2.bat」と結果 .png 画像 4つが出てきます。
（ダウンロードパスはなし）
https://120.gigafile.nu/0703-da1cb1ce729a779d086cb68c44d994355
粗い画像にはなりますが「いますぐ中身を見る」から画像を確認することができます。

>>859
ladaでwmvファイル処理できるの？
ver7.2くらいから11.0まで一度も処理できたことないよ
いつもmp4に変換してた
やり方教えて

>>862
最新版だとwmvファイル処理できてるで

>>863
11.0だよね？
なんか設定あるの？
wmvファイルを読み込むとぐるぐる回ったまま何も動かないよ

>>864
すまん、手持ちのwmvで上手くいっただけで設定等は弄っとらんのですよ

VRでもfisheyeじゃなければ分離・結合せず、いきなり2Dでやっても同じじゃないかと思っていたけど、
ハーレムものなどだとモザイクの場所が2倍になって上限超えると処理されずに残るってことだよな
逆に言うと、全編通じてモザイクが1箇所しかないという場合だと分離結合なしの2Dでやっても同じじゃない？
それとも、分離・結合で2回の再エンコが加わっても、片目ladaを同時処理できれば早く終わるってことなのかな？

K札の天下り先と言われている所の1本6万円という処置を考えると、中央部分にしかないのはいいけど、画面隅にあると変換してからかけるのは
ぐにょ〜んと変形している広い部分が対象になり範囲もわかりづらいので、やっぱり、変換前にかけるのが楽なんじゃないかと思うけど

Jasnaは動画形式変えたり何やっても処理部分以外が同じフレームが続いて動きがガクガクになる
処理部分は綺麗に動いている
何がいかんのかよく分からん
全部チェックokだしな

>>866
通常動画に比べてVRは左右があるから単純にモザイク箇所は多くなる。
しかし広いエリアだとYOLOの検出精度が下がるからそれを補うため全体の処理時間が増加しても半分づつ処理することで良い結果を得られる。

>>868 ワテもなったけど 772やったら大丈夫になった。

素人考えだと、vrは片目だけ２ｄ変換してそのモザイク部分だけiw3みたいな深度処理で視差を数値変換したものを反対の目のモザイク部分に貼り付けた方がきれいになりそうな気がする

>>869
解説ありがとう
ということは、2Dでも4Kのままやるより、フルHDとかに落としてやる方が良いということかな？
単純に、解像度が高い方が良い結果が得られるものだとばかり思っていたけど

>>870
了解、帰ったらやってみる

最新版のjasna、エラー吐く。コンパイルがうまくいかないのかな？オレ環？

4096x2048/SBS/59.94FPS/約40分/fisheyeではない動画を使って処理時間の比較をしてみた
2Dで処理
　lada処理 1時間59分
VRで処理
　分割処理 28分（同時に両目を出力）
　lada処理 1時間31分 (左右を並列処理)
　結合処理 17分
　合計時間 2時間16分
偶然にもVRの分割処理・lada処理の合計が2Dのlada処理時間と一致し、結合処理の17分だけ長くかかった
2D処理は見え隠れする瞬間に藻が出たりしたが、VR処理はそういうことがほぼなかった
また、2回の再エンコードでの画質低下も全くわからなかった

GPUスケジューリングはチェックokにする為に元からオフにしていたわ
Jasnaは自分の環境ではお手上げだからやめたw

lada-exとやらを使えば無印ladaよりもクリアで精度の高い破壊が可能なのでしょうか？
それとも単に処理速度の向上のみでしょうか？

lada-exでアップスケールできるだけでも嬉しいけどフレーム補間も同時にできればもっと嬉しい。

アップスケールできるだけで、
モザ破壊の精度が上がる訳ではないのですね。

基本部分は同じだが今はlada本家より全て上
3/27時点ではjasnaがgui付きで楽

全て、ということはモザ破壊のレベルも上ということですね。
jasnsa とやらを試そうと思います。
ありがとうございます。

VSRで結果がかなり変わるから自分好みに調整可能
JavplayerでいうところのSTD系モザイクのボケ感もかなり抑えられるし、逆にギラギラ系にもできる
自分はscale 2x quality-high denoise-midium deblur-ultraでやり直ししてる

jasanaはv0.5.0 alpha 10を使うこと、11以降はyolo検知が使えないので
検出モデルは808を参考のこと
4070クラスだとSDが実時間の1/3、FHDが1/2ぐらいで完了する

jasna GPU利用率高いのでPL50%にしてるがこれでも速い

>>883
ありがとうございます
早速同じ設定で処理開始しました！

>>880
自分の環境では動かないから関係ないな・・・(涙

破壊完了
破壊した部分がめちゃくちゃクリアな映像になって、まるで無臭そのものを観てるみたいです！
無印lada より明らかにレベルアップして驚きました。
しかし、
時々破壊部分にズレが生じることがあるのだけが気になりました。
設定で上手く回避できるのですかね。

13は
モザイク検出モデルを改良しました。
ちらつきを軽減する時間的な重なり。
二次修復モデル（Topaz TVAIおよびRTX Super Res）。画質とシャープネスを向上させます
との事

見様見真似でjasna導入して見たけど初回起動してから数十分変化ないんだけどなにしてるのこれ？
初回起動うんたらってって出てたんだけど適当に流しちゃったんで誰か教えて

>>889
初回起動時はコンパイル走るから止まって見えるようでも終わるまで待て、って言われてる

>>889
初回時は最初まるで動いてないようで不安になりますが、
きちんと動いてますのでしばらく待てば大丈夫です

>>890,891
素早い回答ありがとう
1分ぐらいのテスト動画でどんな仕上がりか見ようとしただけで
30分以上GPU使ってるから結構不安ですねこれ

>>883
度々すみません。
hugging faceのサイトに
lada_mosaic_detection_model_v2_accurate
が見当たらず
lada_mosaic_detection_model_v2
しかv2のものはないのですが
accurateが付いてないものでokなのでしょうか？

jasanaはv0.5.0 alpha 10動きました
1分30秒ぐらいのテスト動画なんですが破壊品質はladaと同等でやや明るめ
2回目の処理時間が爆速で57秒でした(LADAは1分27秒)

これは乗り換える価値ありますねぇ

破壊品質ladaと同等でしたか。
私の場合、明らかにjasnaのほうがクリアでladaだと本のちょいモヤ掛かっていたものが綺麗に取れて違いを感じました。
元の作品によるのでしょうね。

>>893 883じゃないが405を参考に、zelefansで検索、ファイルの所にある。

ladaは最初はそれなりの速さでも、長くなるにつれどんどん遅くなってくるじゃないですか？
lada-exやjasnaはどうですか？
自分で試したくても、ladaのDeveloper Installationでさえ上手くいかずに挫折したもので

>>896
ありました！
zelefans のところを見れていませんでした。。恥

ありがとうございました！

ladaでも途中から遅くなったりしないよ。

>>899
そうなんですか？じゃあ、最初の方は藻がないから速くて、後の方はあるから遅くなるのかな？
試しに普通の映画をやってみて速さが落ちないか調べてみます

今のladaはGPUがかなり遊ぶんだよね
モザイクがないところで負荷が無くなる感じだと思う
jasnaは初回のコンパイルは怖いですがそれさえクリアしたら
CPUもGPUもそこそこ使って今のところ時短もあって快適ですね

jasnaの最新版13はrfdetr-v5しか動かないんだね
10が一番安定してる

zelefans 云々はVR用？普通のはrfdetr-vで十分？

何度も申し訳ないです
>>405のとおりにv2_accurateをmodel_weightsに置いたのですが
検出モデルには
rfdetr-v5とlada-yolo-v4の選択肢しか現れず、、、正しく導入出来てないですよね…
考えられる原因は何でしょう。。

>>904 808を参考にしてリネームしてファイルを置き換えたならlada-yolo-v4がリネームしたものなので、lada-yolo-v4を選択する。

軽く破壊してみました720Pの56分の動画で33分 GPU3050-8G
今までLADAで実時間1.3倍ぐらいかかってたから
ローエンドGPUでも半分の処理時間これはありがたい

>>903 vr用らしいが2d動画でも使える、過去スレにあるがladaの検出モデルで1番良いと上げていた人がいて参考にさせて貰った。808がjasnaでも使えると教えてくれて、出来上がりも良いし何せ速い。

>>905
ありがとうございます！
808のファイル名にリネームし、lada-yoro-v4でやってみます

>>908
model_weightsフォルダに

lada_mosaic_detection_model_v4_fast.onnx
lada_mosaic_detection_model_v4_fast.win.engine

が出来てたら一旦消さないとダメよ、それは元々入ってたv4_fastでコンパイルされたファイルだから
消したら改めて中身v2_accurateでコンパイルされたファイルが作成される

>>909
！！
削除していませんでした。
ありがとうございます、またコンパイルからやり直します。

なんかID2種類出来ちゃってますが
じぶん910は908でもあります

おれ環だとrfdetrやv4_fastよりv2_accurateの方がモザイク取りこぼし減ったからおすすめ

>>907
なるほどーありがとう
検知の差はほとんど感じなかったけどスピードはv2_accurateのほうが圧倒的でしたわ
めちゃくちゃ速い

LADAとDEEPMOSICESとどっちの方が良いの？

ここ最近のやりとり参考にjasna入れてみた。
確かに速いね。俺環では動画の実時間の半分くらいで終わった。

Google TurboQuantでladaの速度も早くなるんか？
まぁメモリが過剰生産で暴落したり、サム・アルトマンのクソ野郎がメモリウエハーの在庫抱えてスカンピンになったらそれだけでメシウマだが。

jasna10 guiは確かに処理は早いですが、
無印Lada guiに比べると、破壊した部分が四角く明らかに不自然に微妙にズレるというか、
一瞬カクカクするというか、兎に角、滑らかではないのですが、自分の設定の問題ですか？
皆さんはそんな事象起きてないのですかね。
無印Lada guiはめっちゃ自然な出来上がりになります。

JasnaのREADMEに書いてあるが、Max clip + temporal overlap設定じゃないか

＜日本語訳＞
temporal overlap（時間方向のオーバーラップ）は、クリップの境目で出るチラつきを減らすためのものです。
正直、20 以上にしてもあまり違いは感じません。
オーバーラップを大きくすると
・ 処理時間は長くなる
・ でもチラつきは減る
…という感じです。
基本方針としては、なるべく大きいクリップサイズを選んで、overlap は 8～20 くらいにしておくのが無難です。
自分がちょっと試した範囲だと、目安はこんな感じ

60 clip size + temporal overlap 6
90 clip size + temporal overlap 8
180 clip size + temporal overlap 15 (needs 12 GB+ VRAM with Compile BasicVSR++ enabled, less with it disabled).

772 とかみた？
DVD をhandBrakeでmp4にしたものでカクついたが、それ以外は200本以上やったが問題ない

jasnaのoverlapはいろいろと試したけど10以下かつclip sizeの1割ぐらいの値が無難かな
clipの半分を超えるとエラーになるし10より大きくするとたまにモザイクのマス目だけみたいなノイズが出るっぽい

>>917
NVIDIA ドライバーを最新にした試して下さいな。readmeにあるバージョン以下だと綺麗に復元出来ないよ。
バージョンを最新にしたらその現象はなくなった。

>>919
元動画に問題ということみたいだが、
HandBrake以外は何のアプリで
用意した素材？

いろんな動画素材を試しているが
どうしてもカクつきが残っていて
これではLadaから移行できないな。

>>922
HandBrakeでカクついたものも再エンコードすれば問題なくなるよ
他のソースについては警察沸くから勘弁ね

>>917です
みなさん、早速ありがとうございます。

>>918
現在の主な設定は以下ですが、見直すべきところありますかね。。

最大クリップサイズ：180
検出モデル：lada-yolo-y4 （v2accurate）
時間オーバーラップ：20
スケール：2X
品質、ノイズ除去、ブレ除去：Ultra

グラボはRTX5080です


>>919
772拝見しました。
「ハードウェアアクセラレータによるGPUスケジューリング」はOFFにして
再実行中です。改善すると良いのですが。。

>>921
NVIDIAドライバは595.97にしており最新の認識です。

917です

いま、処理が終わりバッチリ改善しました！

>>919
772が原因でした。

ありがとうございました！

Ladaのおかげでパソコンを24時間常時起動状態にするようになった
夜は眩しいから光るパーツはすべて光らないものに交換した

数ヶ月ぶりに来てjasnaを入れてみた
範囲指定は出来ないのね

範囲指定欲しいよね
いちいち動画編集ソフトで切るの面倒やわ
ま、ほとんどの作品は全部処理するけども

モザイクの小さな動画が好みです

モザイクのない動画が好みです

>>927, 928 範囲指定は(CLIからだけど)Lada-EXだとできる

Lada-EXのRTX50系性能問題が解決したので性能比較してみた
サマると、俺環ではFHDサイズとSDサイズで最速の環境が変わった
・FDH：Win11+Jasna+BasicVSRPPコンパイル (元動画の3倍速で処理)
・SD：Ubuntu+Lada-EX+TensorRT (元動画の5倍速で処理)
・TensorRT/BasicVSRPPコンパイルは2割～8割位高速化した
　効果は構成により変わる
・nvvsr/RTX super resを追加しても処理コストは5%～10%増える位
　得られる効果に対してはお得と思う

WindowsなのにJasnaが爆速で凄い。Linux版に期待できる？
性能問題はRTX40シリースだと起きていない問題
RTX50シリーズが登場して1年以上経つけど、最適化はまだこなれてないのかな
特にPCIeレーン数がx8のグラボだと影響が顕著な模様

＜構成＞
CPU：Ryzen 9700X、GPU： RTX 5060ti 16GB、メモリ：64GB
検出モデル：vr_v2_accurate (Jasnaはリネームして使用)
復元モデル：v1.2_full (Jasnaはリネームして使用)
エンコ設定：それぞれのソフトのデフォルト
nvvsr/RTX super res設定：x4, Quality ULTRA, Denoise MEDIUM, Deblur MEDIUM
FHD動画：17:31
SD動画：5:55
Win11：ハードウェアアクセラレータによるGPUスケジューリングをOFF
Ubuntu：nvidia-cuda-mps-controlを実行

つづき
＜比較対象＞
Lada：0.11
Lada-EX：0.11.1-dev+4a32ec8
Jasna：0.5.0-alpha10

＜FHD結果＞　※数字が大きいほど速い
Lada： Win11 (1=基準)、Ubuntu (x1.4=基準の1.4倍速)
Lada-EX：Win11 (x0.8)、Ubuntu (x1.2)
Lada-EX+tensorrt：Win11 (x0.9)、Ubuntu (x1.6)
Lada-EX+tensorrt+nvvsr：Win11 (x0.9)、Ubuntu (x1.4)
Jasna：Win11 (x1.1)
Jasna＋BasicVSRPPコンパイル：Win11 (x1.8) ※俺環最速
Jasna＋Basic VSRPPコンパイル+RTX super res：Win11 (x1.3)

＜SD結果＞　※数字が大きいほど速い
Lada： Win11 (1=基準)、Ubuntu (x1.4)
Lada-EX：Win11 (x0.9)、Ubuntu (x1.3)
Lada-EX+tensorrt：Win11 (x1.4)、Ubuntu (x2.1) ※俺環最速
Lada-EX+tensorrt+nvvsr：Win11 (x1.2)、Ubuntu (x1.8)
Jasna：Win11 (x1.0)
Jasna＋BasicVSRPPコンパイル：Win11 (x1.8)
Jasna＋BasicVSRPPコンパイル+RTX super res：Win11 (x1.3)

初回のコンパイルでエラーになると言ってたものです。
CUI版ではエラーが出ないので、GUIと同じオプションで試してみたいのですが、デフォルトのままでのオプションがわかる方いませんか？

jasna-cli.exeを引数なしで実行すれば表示されるはず

>>933
コンパイルは1回やって.engineファイルが生成されれば次は実行されないからcliでコンパイル→GUIで使用でも大丈夫じゃないの

>>934
引数の説明じゃなくて、GUI版のデフォルトと同等のことをするには、どの引数を何にすればよいかを知りたいのです。

>>935
自分もそれを期待してやったんですけど、未コンパイルのダイアログが出て、そのあとの結果も同じだったんですよ。

>>936
GUIのDefaultプリセットをロードして確認するのではダメなの？

以下のファイルを生成AIにアップロードして
ttps://github.com/Kruk2/jasna/blob/main/jasna/main.py

jasnaをCLIで実行する際のデフォルト設定をまとめて　

とか聞くときれいにまとめてくれるぞ
無料版Claudeがお勧め

そもそも使っているバージョンは何だ？
>>902に書いてある通り一番安定しているalpha10?

ハードウェアアクセラレータによるGPUスケジューリングをOFFにすると
ゲームでマルチフレーム生成出来なくなるので、再起動しなきゃだめだな。

試したのは以下のオプション
PS F:\jasna-v0.5.0-alpha13> .\jasna-cli.exe
--input F:\jasna-v0.5.0-alpha13\assets\test_clip1_2160p.mp4
--output F:\jasna-v0.5.0-alpha13\assets\test_clip1_2160p_restore.mp4 --fp16
--detection-model F:\jasna-v0.5.0-alpha13\model_weights\lada_mosaic_detection_model_v4_fast.pt
--compile-basicvsrpp
--restoration-model-path F:\jasna-v0.5.0-alpha13\model_weights\lada_mosaic_restoration_model_generic_v1.2.pth
--log-level debug

改行は見やすくするためで、実際には1行。

alpha13だとguiでlada-yoroがエラーになるからalpha10を使いましょうって話

test_clip1_2160p.mp4
にどんな映像が納められているのか興味津々

>>932
詳しいベンチありがとうございます
参考になりました

cpu使用率、gpu使用率、ram, VRAMの使用量とかも気になりますね

jansaは単一の動画に関しては速いけど、並列実行で複数動画を処理して、VRAM, ramをギリギリまで使ったときの方がトータルfpsは稼げないのかな？

どなたか有志の方　jasana の導入方法を教示そてください

lada-exがうまく動かない
windowsもmacもお手上げや

>>941
あらためてalpha10を入れたけど、13と同じ結果でした。

>>946
検出モデルのデフォはrfdetr-v5だからv4_fastを使いたかったら
きちんと--detection-model lada-yolo-v4 を指定しないとだめじゃね？
復元モデルは現状1つしかないから指定しなくてもOK

>>943
Win11でターミナルを2つ開いてjasna-cliでFHD動画を2並列処理してみた
jasna-cli.exe自体の負荷はメモリ3GB弱、CPU負荷1桁後半%くらい
Lada系と違ってメモリとCPUはそんなに食わないみたい
一方、GPUのほうはVRAM 13GB、使用率90%後半だから、GPU負荷は高い
2並列やるならVRAM 16GB以上は必須な感じ
2並列だとどちらか一方のjasnaのspeedが低い感じで俺環では結局一本ずつ
処理するのとあまり変わらなかった
この辺がWindowsの弱点かも

Ubuntuの方もLada-EX+TensorRTでやってみたが、こっちは1プロセスでメモリ11GB、CPU負荷20～30%くらい食う
GPUもjasna並みに使っている
2並列でも1本の時間×2よりは速く終わった
但し、短い時間しかやっていないので処理の安定性の確認はこれからの課題

927，928、 GitHubでsuphamsterさんが公開されている

ここにきてjasnaウェーブか。

みんな処理速度で食いついてるように見えるけど、肝心のモザの向こうの鮮明度はどうなん？

ドバイ見てから何気なくチェックしたら
v0.5.0とv0.6.0-alpha1がきてた

v0.5.0はlada-yoroがちゃんと動くようになってるね
リリースノートにはAuto-discover models from model_weights folderと書かれているが稼働していないから標準以外のモデルを使うにはリネームが必要
alpha10からの移行だとモデルの再コンパイルが必要だから.engineファイルをコピペしたらダメ