【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

ここに書いても作者見てないから
改善して欲しいならgithubで報告して

0.6.0alphaで普通に完走するファイルが0.6.2だと途中エラーが出て未完になるな
仕上がりに違いは無いからalphaのが良い

おま環だろ、それ

>>714
ありがとうございます。無事出来ました。稼働も問題ないです。
後、細かい設定ですが、二次修復などはどれがベストでしょうか。自分は全てULTRAにしています。

v0.6.2を起動しようとしたら、マカフィーに隔離された。今までのバージョンでは起きたことなかったんだけどな。

jasna v0.6.2 でカクカク問題が本当に解消したのを確認
1080p, 31524フレームの動画を同条件で2回処理 → 検出結果が完全一致(処理毎の非決定性ゼロ)
LinuxとWindows(GPUスケジューリングON ＝一番症状が出やすい条件)の両方で確認できた
これで性能デグレとカクカク問題の両方解決！

>>714
好みによるから自分が良いと思ったものがベスト

0.6.2の検知モデルrfdetrでエラー、yoloは完走
21:58:56 PM ERROR [primary] thread crashed
Traceback (most recent call last):
File "jasna\pipeline_threads.py", line 171, in primary_restore_loop
File "jasna\restorer\restoration_pipeline.py", line 101, in prepare_and_run_primary
File "jasna\restorer\basicvsrpp_mosaic_restorer.py", line 70, in raw_process
File "torch\nn\modules\module.py", line 1778, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)

>>722
ちょうど横でClaude Codeで作業してたんで聞いてみた
砕けた感じの回答↓

それ検知(rfdetr)のバグじゃないっす。落ちてんのは一次復元のBasicVSR++のほう。
ログ末尾が raw_process → self.model(...) なんで、rfdetrは引き金なだけ。

rfdetrとyoloで差が出るのはたぶんVRAM。rfdetrは検出多め＆768pxの常駐エンジンで重いから、
yoloより先に足りなくなるパターンかと。crop準備は通ってるしshapeは正常っぽいんで、
CUDA OOMくさいです。

ただ貼ってくれたログ、_call_implの直後で切れてて肝心のエラー文が見えないんよね。
もしよければ
・その下の続き(RuntimeError: CUDA out of memory…みたいなやつ)
・GPUとVRAM
貼ってもらえればもっとわかるかも。

>>722
rfdetrは性能が高いから小さすぎるモザイクも検出しちゃう
小さすぎるモザイクだとBasicVSR++でエラーが起きる
しきい値を少し大きくすれば消える
って上の方に書かれてたやつだろ、それ

>>723
ログ出力してなかったから改めて試行、0.6.2、rfdetr-v5

05:11:19 AM ERROR [blend-encode] thread crashed
Traceback (most recent call last):
File "jasna\pipeline_threads.py", line 301, in blend_encode_loop
File "jasna\pipeline_threads.py", line 90, in decode_detect_loop
File "jasna\pipeline_processing.py", line 129, in process_frame_batch
File "jasna\mosaic\rfdetr.py", line 131, in __call__
File "jasna\mosaic\rfdetr.py", line 85, in _preprocess
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 380.00 MiB. GPU 0 has a total capacity of 8.00 GiB of which 0 bytes is free. Of the allocated memory 712.48 MiB is allocated by PyTorch, and 453.52 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://docs.pytorch.org/docs/stable/notes/cuda.html#optimizing-memory-usage-with-pytorch-cuda-alloc-conf)

NVIDIA GeForce RTX-4060 Laptop GPU 8.00GB
GeForce 591.4 WHQL DCH-[r591_66]

>>725
CUDA out of memory って出ているからClaude Codeの見立てて合ってる
回避策は環境変数 PYTORCH_CUDA_ALLOC_CONF=expandable_segments を設定する
そうするとCUDAエラーを回避できる可能性がある (できない場合もある)

それでもだめなら >>724 指摘の通り検出しきい値を少し大きくする

処理設定次第だけど、rfdter+Secondary Restorationとか使っているなら
経験的にVRAM 8GBだと1080p解像度でRTX Super Res x4, Quality ultraとかは荷が重い

検出モデルや除去モデル変わらなきゃ大して変化ない？
いまだV0.5.0alpha10

>>727
仕上がりに差はないよな？

まだ数本しかやってないが、v0.5.0アルファ10と仕上がりと時間は同じ程度じゃないかな。

jasna v0.6.2ではWindowsのGPUスケジューリングONで処理してもカクカクしなくなるが、元々OFFで使っていたら仕上がりは変わらないな
ゲームやる人がいちいちリブートしなくて良くなるメリットはある
性能デグレは使っているGPUと処理動画の解像度により効果が変わると思う
>>709
みたいなケースもある

v0.5.0-alpha10からだと性能デグレが直っただけか
v0.6系でブレンディングの仕方が変わっているからその辺は仕上がりに影響あるかも

>>726
rfdetrは検出しきい値0.95まで上げてもエラー、1.00にすると完走、復元未処理ファイルが出力された
yoloは検出しきい値0.10でv2v4共に完走
0.6.2のrfdetrはおれ環で使用不可という事で、新しいの出たら再度試してみる

yolo後に更にrfdetrをするとより鮮明になる気がするが気のせいかな？

もう２D対応の基本性能は完成に近いだろ
VRはまだずいぶん取りこぼしがあって興ざめ

>>732
俺環のWindowsデスクトップのRTX4060だと1080pの動画でもrfdetr-v5+RTX Super Res 4x, quality ultraは完走した
デスクトップ向けとノートPC向けの4060はそんなに性能違わないみたいだが、なんだろね
メインメモリの容量とか関係するのか？
あとできそうなのは、Max Clip Sizeをデフォルトの90で使っているなら60に下げてみるとか
初回にBasicVSR++のコンパイルがもう一度走るけど使用するVRAM量は減るはず

>>732
お前だけの特殊ケースだ
そもそも問題だらけの GeForce 591.44ドライバーを使っているのが悪い

zelefansさんの別プロジェクト？CUDA特化版
https://github.com/zerochocobo/VR-Video-Toolbox-CE

2D→3D面白そうだな

SteamVRアプリにautodepth image viewer
ってリアルタイムで2Dを3D表示するのがあったな

>>739
サンキューベリーマッチ

2D⇒3Dはいいな

zelefansの人は色々わかってる人のようだ。

iw3みたいな機能か

>>739
空間を見渡せるだけじゃなくて、物体の側面に回り込めるのが凄いよね

モザイク検出と復元に関して情報共有

当方、素人物の顔面モザイク破壊が好きで復元できないモザイクや復元できてもウネウネや目のギラギラがどうも苦手
そこで元動画の明るさを弄ると是正できる可能性がある
※方法がめんどくさいのとそれ以上聞かれてもわからないので興味がない人はスルーしてくれ

・おれ環　12700の3070tiでドライバ最新
・jasna v0.5　GUI版
・RTX Super Resはオフ
・元動画を編集ソフトで「露出」のみを月明り程度になるまで暗くする（自分は最下限値まで落としてる）
・復元後、編集ソフトで露出・輝度・シャドウを弄って元の明るさに調整する

モザイクが検出できない動画や復元後ウネウネする場合は試してみるといい
検出や復元具合はどうも元動画の明るさにも相関があるらしい
※当然画質は落ちるから、あくまでモザイクの向こう側を見たい方推奨。もし無駄足踏ませたらすまん

0.6.2　カクカク出てます

GPUスケジューリング　ONでもOFFでもカクカクします
おれ環かもだけど　原因不明
同じ解像度、色空間で、カクカクする素材としない素材がある
いろいろこれからやってみます

>>746
NVIDAのGPU種類と使っているドライバのバージョンは？

zelefansの新型で2D to Depth VR試してるけど全面緑色基調でノイズが乗ったような画面になってしまう。
導入手順のどこかでミスってそうだがda3のこともっと調べないと正解まで遠そう。

それは残念だけどまだ初号機だからな
iw3desktopのリアルタイムが素晴らしいから
事前変換するなら大幅に超えて欲しいと期待してしまう

>>745
良情報ありがとう！
顔モザ外し、専用ソフトじゃないからあんまり上手くいかなかったから試してみる！
だいぶ露出を暗くするってことで良いのかな？
復元の際のモデルもおすすめがあると嬉しいです。

色々いいじってみる！

>>748
全画面緑基調のアーティファクトが出る問題は経験ある
BT.601動画の処理で必要な色変換テーブル(�@YUV→RGB、�ARGB→YUV)で�@の変換時に�Aを使っちゃうとそうなる
何で使うテーブルがおかしくなっているかはわからんが、最近出たClaudeのFable 5に調べてもらえば解決すると思う
別件で昨日モザイク検出→復元パスの問題をFable 5に調べてもらったら速攻で原因特定・対策してくれて驚いた
課金必要だけど

>>749
iw3.desktop教えてくれてありがとう
スゲーの一言

>>747
610.47 studioドライバです
RTX3060　12GB

素材をHandbrakeでH265-10bit　カラースペースBT.709フィルタ入れてエンコするとカクカクしなくなります
元素材はSD BT.709です

>>753です
追記します
Handbrakeでエンコしてから0.6.2処理するとカクカクしないの意味です
0.6.2は。SD、FHD素材にかかわらずエラーがでるものがあり、その素材もHandbrake H265-10bit カラースペースBT.709フィルタで
エンコしてから0.6.2処理するとエラーを吐かなくなります

jasnaは従来 HEVC / 10bit(P010) / BT.709 固定だった GPU エンコード出力をv0.6.1でBT.601 対応はしたけど、まだ色空間やビット数対応が狭いと思う
ここから外れる動画は >>754 のように再エンコが必要なのかも

>>753
Fable 5に調査してもらった結果

カクカクの本命は素材側のタイムスタンプ(PTS)やフレーム構造の汚さで、Handbrakeの再エンコードがそれを正規化したから直った、と読むのが自然です。

jasnaの出力はソースのPTSをそのまま出力タイムコードに使います。つまりSD素材にありがちな VFR・壊れたPTS・テレシネ/インターレース由来のフィールド単位タイムスタンプが、そのまま出力の表示タイミングになります。
さらに video_encoder.pyでは重複PTSを「+1 tick ずらす」だけで処理するので、重複タイムスタンプを持つ素材だと2フレームがほぼ同時刻に詰まり、明確なジャダーになります。
fps は ffprobe の r_frame_rate から取りますが、インターレースSDではこれがフィールドレート(2倍値)で報告されることがよくあります。
Handbrakeで再エンコードすると、デインターレース/デテレシネ込みでクリーンな CFR・単調増加PTS のストリームになるので、上記すべてが消えます。「H265-10bit + BT.709フィルタ」が効いたのではなく、「再エンコードしたこと自体」が効いた可能性が高い。BT.709フィルタと10bitはほぼ無関係のはずです。
「エラーが出る素材」の方も整合します video_decoder.py:57 はデコーダ出力が NV12(8bit 4:2:0) か P10(10bit) の二択である前提で書かれています。NVDECが対応しない 8bit 4:2:2 H.264 などのプロファイル、あるいはストリーム破損があると例外で落ちます。Handbrake→HEVC 10bit 4:2:0 は NVDEC のど真ん中フォーマットなのでエラーが出なくなる、という説明がそのまま付きます。

俺環ではTMPGEnc Video Mastering Works 7でNVENCでエンコした物はカクカクになる。x264ではカクカクしない。理由は不明

インターレースの対応方法によっては実fpsと設定情報上のfpsと合わないとかもある。

>>757
NVENCが悪いんじゃなくて、TMPGEncのNVENC側だけインターレース保持とかプルダウン付きで出力されてる可能性が高い
x264側はプログレッシブで出てるから差が出てるだけだと思う

>>756に書いた通りjasnaはソースのPTSとr_frame_rateをそのまま信じる作りだから、
・インターレースのままだとfpsがフィールドレート(2倍)で誤認される(>>758の言う通り)
・VFRや重複PTSがあるとそのままカクつきになる

対処は出力設定で
・インターレース解除ON＋プログレッシブ固定
・プルダウン出力なし
・フレームレートは「ソースと同じ」じゃなくCFR固定（23.976とか29.97）
・色形式は4:2:0 (HEVCならMain/Main10)

0.6.2出てたけど>>2のやり方だとうまくいかないね

>>760 おま環じゃない？
>>713 が試して >>719 でうまく行った報告してる
正確には >>2 + >>4 をやったと思うが

バッチ処理中に動画ファイルの問題でアプリが落ちると今まで対症療法的に再エンコしてたが、
実行前に問題起きそうかチェックする PowerShell 製のツールを作った

・lada-ex / jasna 両方に対応
・ffprobe / ffmpeg を使って動画のメタデータ・PTS/DTS・ビットストリームを調べ、
　両ツールの仕様 (コンテナ / コーデック / 色空間) に合っているか、
　PTS の壊れ (欠落・負値・重複・逆行・大きなギャップ) が無いかを事前に確認
・問題が見つかった場合は、その原因の説明とあわせて、そのままコピペして実行できる
　修復用の ffmpeg コマンドを提示
・対処コマンドをファイルに書き出してPowerShell スクリプトとして一括修正も可

詳しくは github.com/sh202603/lada-jasna-input-check を見てね

これ、Fable 5を使って作っていたら、例の件で突然使えなくなって途中からOpusに引き継ぎ・・・

>>761
おま環というか、止めたつもりがプロセス残ってて悪さしてたわ
動いたけど、何が変わったのかよくわからん

>>762
使ってないけどいつもありがとう

>>762
尊敬するわ

で、
破壊精度は向上したんかね？

破壊精度 = 検出精度+復元精度なら最近はこんな感じと思う

jasna：検出精度の変化はなし、復元精度はWindowsでGPUスケジューリングONでもカクカクしなくなった (動画自身に問題ないとき)
lada-ex：検出精度の変化はなし、復元精度は向上(複数モザある時の復元取りこぼし減少、--tensorrt指定時の品質向上)

lada-exで--tensorrt指定で処理してた動画はやり直したくなった

ん？今ladaexのがクオリティ高いの？

>>768
いいや
今までのlada-exに比べれば、って話
画像の中に複数モザそんなに離れていない距離にあるような俺テスト動画を
双方のツールで同じ検出モデル(v4-fast)＋TenroRTのYOLOルートを指定して処理するとjasnaの方が多く復元できてる
その差がどこから来るのか調査中
PyTorchのYOLOルートだとそうはならんのだけれど、今となっては処理が遅いから何とかしたい

1ヶ月頑張ったけどアニメの修復モデルの学習は断念した
アーティファクトが出やすいのとシーンによって線が不安定になるのが直せなかった

>>739
今更だけどこれめっちゃ良いわ
柚子故障のやつ破壊してVRでこれ使って観ると捗る捗る

あとは淫尻とかでケツがアップになるやつとか、逆さアングルのは大変相性良し

必死にマシンパワー使ってVR素材破壊してボケボケになるより、被写体の演技もいらないような同人の観察系動画を無修レベルにしてautodepthで鑑賞した方がいいまであるよな
プロの作品でもメーカーとか年代によっちゃ（自重

>>767
766
ありがとうございます
劇的な進化はしていない、と理解
ブレークスルーが起きたら起こしてください

永眠した模様

2回回したら復元精度があがるとか書いてた人いたけどほんまなん

ボケボケにならないが…

>>771
顔をAI加工してるやつで抜けるのがすごいわ

ちんこまんこをAI加工しているスレでそんなこと言われても。。。

jasna v0.7.0がリリースされたんでOpusに内容調べてもらったで
実験ビルドだから動かなかったら報告してくれって

v0.6.2 → v0.7.0 変更点メモ
1. 概要：有料サポーター向けモデル追加＋暗号化・配布インフラ＋ビルド刷新。無料部分（検出・動画修復・RTX/TVAI）は維持しつつ、追加モデルに課金ゲートを導入する構造変化
2. 目玉機能 — SD 1.5 画像修復（静止画向け）
・Stable Diffusion 1.5 inpaint をファインチューンした静止画専用パイプライン。動画パイプラインとは別系統
3. unet-4x セカンダリアップスケーラ
• サポーターモデル。256→1024 のシャープな修復、TVAI iris-2 に視覚的に近いがローカル実行で追加セットアップ不要
4.サポーターキー / モデル暗号化（最重要の構造変化）
• 無料部分はそのまま、追加モデルだけ課金ゲートという収益化構成
5. ビルドシステム刷新
・PyInstaller → Nuitka
6. その他の修正
• fix: tvai pad for very short detections（短い検出での TVAI パディング）
• don't support dnd on linux if it fails to load (old lib)（古い lib で失敗時 Linux で D&D 無効化）
• GUI improvements / gui fixes（複数）、locales 更新、Windows build（複数）

LinuxでRTX super resを動くよう直したやつとか+modiで入れた修正も本家に入った
動画パイプラインのベース機能はv0.6.2から変わってないと思う
マネタイズ強化に舵切ったのかな?

>>771
性成AIのやつは顔が普通にしている時はいいけど、やっている時にお面のように表情が乏しくて不気味なので好きじゃないんだよね
先日も好きな女優さんの顔やなんかを性成AIで変えた作品が人気になったらしいけど、わざわざ変える必要ある？
元の女優さんバージョンも販売すれば２度おいしいと思うのになぜ出さないんだろう

>>779
藻がかけられている部分を元の正規に戻そうとするのがここ
生成AIのAVは元の顔や体なんかを仮想のものに変えてしまうもので、顔入れ替えなどに近い
全く正反対のことをしていると思われ

>>780
v0.6.2の環境はそのまま残して、v0.7.0は「jas7」という名前にして入れてみます

Discord入ってないんで課金部分の感想を誰かお願いします！

>>780
買い切りならいいけどサブスクなら終わりやね

静止画修復ってどういうニーズ何だろね
ffmpegで静止画書き出し→これで処理→別のソフトで更にアプスケ等の加工→ffmpegで動画に戻す
とかの処理組むのかな?

顔の加工とマンコじゃ全然意味が違うだろｗ
ゆず故障は初期の頃は無加工だったのになぜあんな気持ちの悪いAI加工にしたんだろな

>>783
15ドル以上を寄付するとキーがもらえる
モデルのトレーニング費用として活用
サブスクではない

>>787
静止画についてはDiscord見ろってあったから聞いてみたんだが15ドルでいいなら試してみるかね

>>788
静止画処理も含まれる
Discordには静止画サンプルが掲載
VRAM 20GB程度要したとのこと　0.7.0
静止画の出来はがない良い

>>787
15ドル程度なら払ってもいいな

UNIFANSの方でやろうとしたら仮想通貨か中国系の送金システム使わないとだめっぽいな
By Me a Coffeはクレジットカード行けるんだっけ
と思ってたらv0.7.1来てたわ

動画のスクリーンショットを静止画処理してみたが復元品質が素晴らしいな
処理も速くて良い
4070で一枚30秒程度

一枚のクオリティに拘ると動画として繋げたときには破綻するのかな
博士が昔そのようなこと言ってた気がする
用途が違うと言われたらそれまでだけども

仕組みはまだ理解していないが静止画はいわゆるAI生成系なのかな
不自然さはほとんどないが

>>778
ディープフェイクのソフトじゃないぞハゲ

>>792
マジかよ！？
有益そうな情報ありがとう！やってみる！

>>796
新しいVer出てたんだね...先走りすぎた..

コーヒー奢ってみた。特にメルアドとか聞かれなかったので、どうしたらいいの？と焦ったけど、githubに書いてあるメールアドレスに寄付したよってメールにコーヒー奢る時に作ったアカウントのリンク送ったら、返信でキーを送ってくれた。

「Jasnaを有効化する」が消えているんだけど
どうやって出すの？

消してやり直した

静止画結構いい感じになるな
開始まで時間かかるけど始まると速攻なので一枚一枚やるより一度に複数やらせる方がいい

静止画処理はせめてSDXLにならんのかな？
まあ素のSD1.5よりは大分いいどさ

jasna CLIの--input --output にフォルダを指定できるようになったのが地味に便利
処理中のファイル名は表示してほしいので手直しはしたが

>>782
モザイクを検出して、その周囲の状況とモザイクの色合いを踏まえて、過去に見たことがある無修正画像のソレと出来る限り似たものを書き込む。
これがLada/jasnaの基本的な動き。
貴方の言い回し風で言えば、Lada/jasnaはモザイクを仮想のちんこまんこに変えてしまうもの。

Error importing PyNvVideoCodec: libavformat.so.62: cannot open shared object file: No such file or directory
とかいうエラーが出るんだけど、Linux版

>>804
全然ちがうぞ
デタラメを書くな

>>805
それだけでは何とも言えんな
v0.7.xはLinuxのパッケージ版がまだないが、ソースビルドを試したのか？

>>806
ttps://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
Ladaで使用するモデルに対する追加学習のドキュメントね。このドキュメントを読めばLada/jasnaのモデルが何を基準に何をやっているかが分かるよ。

これを理解出来なくても、実例を通しても理解は出来る。
例えば、少し前に国内AVの無修正が大量流出した事件があったけど、それのモザイク付き一般流通品を通すと実物とまるで違うものが描かれたり、
新基準モザイクとか銘打って、新しいモザイクを掛けて再リリースされたものの新旧それぞれを通すと全く違った結果が出たりする。

おま環かもしれんがv0.7.1はシステムチェックに失敗することがあるな
起動はするんだけど右下のGPUやVRAMの表示がハイフンになってってよく見たらシステムチェックがバツになってた
静止画やったあとに出やすい？

自分のPCも6.2までは問題なかったが7．1ではエラーが出ます。
使用可能な判定が出ましたがNVIDIA最新、MKVMERMEGおよびffmpegをインストールしないとダメなんでしょうか？

>>810
自分の環境ではその症状が出たらv0.6.2を起動させてシステムチェックが全てOKになることを確認して再度v0.7.1を起動すると使えるようになった
ただプリセットが消えてしまう副作用があるけど…

>>804
無臭の学習結果から藻の部分の元の画像はこのようなものであったのではないかを推測して入れ替えているということだよね
それを仮想の正規に変えていると言うのなら、アニメのアップコンバート技術なども仮想の画像への置き換えになるよね
生成AIにより本来の顔や体などを仮想の顔や体に変えるのは、どちらかというと正規の部分に藻をかける側の行為
自分としては、普通にしている時はいいけど絡みの時に不気味になる生成AIの作った顔じゃなく元の顔が見たい

さっきv0.7.2があがったよ、早いわ

素晴らしい…

課金するからどんどん更新してほしい

課金したら使えるモデルて、今までより良いの？