【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

>>367
「モデルの選び方」に書いてある 別途ダウンロード要

>>369
ありがとう！そんなところに書いてあったとは💦

V0.9.0を起動させたらシステムチェックでずっと止まったままなんだが・・・

0.9.0はGPUの使い方が最適化されてるみたいだね
前は3Dは100%と60%を行き来してギザギザが深かったんだけど
今は最低でも88%で100%に貼りついてる時間が長い
Video Encodeも90%くらい、VideoDecodeも70%くらいで前より仕事してる
専用GPUメモリが、自分のグラボは8Gなんだけど、
前は6GBくらいまでだったのが6.8GBくらいまでギリギリを攻めてる

もうv6か進化が早すぎる

変わったのは検出モデルだからもともとうまくいってたのは正直変わらない感じかな

四角が見えたとたんに興ざめするから復元精度よりも取りこぼしの方が重要な気はしてる

>>375
それわかるわ。
絶対に性器が映っていない角度でもモザイクかけている場合があるから、それが無くなるだけでもマシ。

処理速度が8.1の2倍近く早くなってる

>>369
モデルの選び方
v6-large is a separate download (check models docs)　はどこにありますか

>>378
https://github.com/Kruk2/jasna/releases
Usage（使用方法）→Learn More（もっと詳しく知る）→Choosing models（モデルの選択）にある

>>379
ありがとうございました
みつけました

この季節の作業は排熱がキツイ

処理時間と出来上がりサイズ　比較
zelefans-vr-yolo -v2

302です途中で書き込みスマソ

元ファイル　フレーム幅1280　サイズ　593MB　長さ　35:35

処理時間と出来上がりサイズ　比較
zelefans-vr-yolo -v2　21:45　1,308MB
rfdetr-v5 29:35 1.307MB
rfdetr-v6 21:34 587MB
いずれも　エンコード　H265　CQ20　の結果
処理の仕上がりは、ほぼ同じ感じ
処理速度はV6が若干早い
処理後のサイズは　V6がほぼ元動画と同じくらいに収まった

元動画にもよるとは思う

日曜日に0.8.1をダウンロードして、コーヒーを奢ってテスト変換を始めたばかりだったけど、
動きが早い。
またダウンロードしなければ…

4KじゃないのにLarge使ったら単に遅いだけか

vrでsbs魚眼にすると四角の枠が出るんだな
そこそこ破壊できるのに残念

383 追記だよ

zelefans-vr-yolo -v2とrfdetr-v5は0.8.1
rfdetr-v6は0.9.0

0.9.0　は処理後のファイルサイズがいい感じ

グラボ高騰してるから9070XTで0.9.0してみたいけど使ってる人居ますか？
使用感知りたいです

>>371
Windowsで4kモニタを使って、ディスプレイの設定で拡大/縮小の%いじってる？
YESだったらjasnaのissue #253で報告されている問題
4kでこれを200%とかにしていると起動しないね ここいじっているなら150%(推奨)にすれば動く

issue報告のスクショに報告者映り込んでで草

371の現象は次の設定をすればディスプレイの拡大縮小率を変えなくてもOKかも
１．Jasna.exeファイルを右クリック
２．「プロパティ」を選択
３，[互換性]タブを選択
４．「設定」の[高DPI設定の変更]を押す
５．「高DPIスケール設定の上書き」の「高いDPIスケールの動作を上書きします」にチェックを入れる
６．拡大縮小の実行元：「アプリケーション」を選択
７．[OK]を押す

>>389
>>390
拡大/縮小のサイズが175になっていたので150%にしたらアッサリ起動して使えました
有り難うございました！

V9.0にしたらエラーで進まねえ...どんなに検出モデルや設定を変更してもダメ
なんでだあああ

v0.9.1出とるぞ
アプリ起動時のフリーズ問題の修正とかもあるらしい

>>393
え？見当たらんがどこにあんの？

v0.8.xでVRモード使うと何か埋め込まれて、VLCで試し見するとVRモードで表示されて見にくかったけど直ったな

jasna v0.9.1 リリース 変更点ざっくりまとめ v0.9.0 の翌日だけど中身デカいよ

・VRAM 大幅削減：720p 7.9→4.3GB、1080p 8.4→4.9GB、4K 10.6→7.3GB（RTX 5090 公式ベンチ、速度そのまま）VRAM 少ないカードに朗報
・Max Clip Size 変更で再コンパイル不要に GUI スライダー上限も 180→720 に拡大
・CUDA Graphs デフォルト有効で e2e 2〜10% 高速化（問題出たら JASNA_TRT_CUDAGRAPHS=0 で切れる）
・AMD：復元中に出力が壊れる件（#252）とクラッシュ修正
・Windows の表示スケール 200% 以上でウィンドウ潰れ・チラつき・起動フリーズを修正

>>388
作者がラデ持ってないらしくリリースのたびに基礎的なバグが見つかる状況
9070XTなら今はまだlada-ROCmの方をすすめる
issue上がればすぐに対応はしてくれてるから、そのうち追いつくだろうね

Discoだと作者AMDは諦めかけてる気もするけどね

0.9.1すごい！8GBのグラボで5GBぴったりに収まってる
この調子で8K VRも扱えるようにならないかな…

V6-large、クリップサイズ60設定で8KVRスタートできた！
以前までは即エラーだったからこれいけたらゲームチェンジャーだな！

5070ti 16GBで8K VR行けたよ。
VRAM15GBくらい使ってた。

帰ったら試そ

>>400
VRAM12GBで11.2～11.7GBくらいを推移しててエラー落ち
16GBのグラボ欲しすぎる

アップデートが頻繁だな
作者さんには頭が下がる

8kVRはVRAM12GBでv6-largeのクリップサイズ60で、出力ファイルが作られないまま延々と同じことを繰り返していたけど、
BasicVSR++コンパイルをオフにしたらちゃんと動作している模様
出力ファイルもサイズが大きくなってきていて、現在9％

>>403
Playable while processing (--fmp4) オプション付けておくと落ちる直前まで処理した動画を再生できるぞ
v0.9.0で追加してもらった機能

あ、Windows版です

>>406
どこかでリクエストできるの？

>>408
100ドルぐらい寄付して、連絡欄に書けばやってくれるんじゃないの？

じゃどこでDLしてんだよ

GitHubで公開してるんだからIssue発行すればいいんじゃね？

>>408
issue #244 発行したぞ

2d動画を主に処理してて、二次修復UNetを使っている人に聞きたい。RTXSuper Resとは全然違うの？課金するレベルかな。

なお、なぜかはわからないけど、うまく行かなかった場合はその後で設定を変更してもうまく行くことはないので、jasna GUIを終了して起動し直す必要あり
ちなみに、v6-largeは完走したがモザ残りがあったのでrfdetr-vr-v1で試してみたら5％でメモリ不足になった

何度やっても出力動画は同じサイズになる（ただし「処理中でも再生可能」をオンにすると若干大きくなる）

Macではとてもじゃないが追いつけんなあ…

>>413
課金したけど効果など全く気にせず課金したよ。
楽しく使っているなら渋る金額でもないと思う。

>>417
安全な支払いがgoogle walletぐらいってのがね

>>413
15＄なんで円安の今でも2,500円以下です
同じ動画でRTXとUNetの比較したけどUNetのほうが自分的には好み

>>413
2Dってモデルどうしてる？自前？

自分は課金の支払いは安全なVプリカで支払った。

4KVRだがrfdetr-vr-v1で取りこぼす魚眼モザがrfdetr-v6-largeなら出来たりするな
VRでもlarge使った方がいいかなあ

>>420
さすがに自撮りはしないでしょ。

>>413
個人的にはあまり変わらない(好みのレベル)と感じてる
課金するかどうかはご自由に

>>409
Discordのフォーラムとかあったら教えて～

413です、返信してくれた人達ありがとう。課金はもう少し様子見ます。

v0.9のVR魚眼検出力がv0.8に比べて落ちていると思う。
rfdetr-vr-v1でもrfdetr-v6-largeでもいまいちだが
同じzelefans-vr-yolo-v2(lada_vr_mosaic_detection_model_v2_accurate.pt)を使っても
v0.9はv0.8より悪かった

おま環なのかもしれんが、v0.9.1Windows／VRAM12GB／8k60fpsVR／クリップ60／BasicVSR++コンパイル＝オフで
・rfdetr-vr-v1／zelefans-vr-yolo-v2はスタートするが途中でメモリ不足になる
・rfdetr-v6-large／rfdetr-v6は100％完走おめでとう
勘違いしている人がいるかもしれないが、BasicVSR++コンパイルの設定は復元モデルのみで検出モデルはこの設定に関係なくコンパイルされる
復元は検出されたモザ部分だけにしか適用されないので全体からの比率は低く、この設定をオフにしても全体としてのスピード低下は少しだけ
逆に言うと、全体のスピード低下が少しだけなのでこの設定があるわけで、もし大きく遅延するようなら最初からそんな設定は実装されない
ただし、画面全体にモザがかかっているような特殊な動画なら大きく遅延するだろうけど

>>423
2D＝アニメの事だと思ったのだ。VRではないという意味だったのかね。
アニメ用のモデルがどこかにあるのかなと。

自前モデル学習

4060で8KVRいけるかな？いけるなら課金したい

すんません、VRAM12GBで8kVRですが試した動画の全パートで「SBS-左右別処理」でも「SBS+魚眼」でも完走しました
しかし、別の8kVRでやってみると、今度は全パートでメモリ不足になりました
さらに別の8kVRでは、またまた全パートで完走しました

3つ共、HEVC／59.94fps／8192x4096だったのですが、どうやらビットレートによるものだと思われます
映像の平均ビットレートが15.9Mb/sと23.1Mb/sは完走、29.5Mb/sはメモリ不足でした
映像の最大ビットレートが30.2Mb/sと59.2Mb/sは完走、60.3Mb/sはメモリ不足でした

>>431
RTX4060は8GBなので8kVRは完全に無理ぽ
RTX3060の12GBなら動画によってはいけるかと思われ

ビットレートによっていけるのだとすれば、分割⇒個別処理⇒結合というルートではなく、
再エンコードでビットレートを下げる⇒jasna GUIで処理というルートも見えてくるな
メモリ不足になる8KVRで試してみよう

>>432
失敗した動画でビットレート下げて確認した？

fisheyeは枠みたいなのが残るから
分割方式で処理するしかないか
しかし捗ってありがたい

新しいバージョン出て、旧バージョンから乗り換えたら、いつもはじめのコンパイルに何回か失敗して、何回もコンパイルを試さないと使えないのだが、こんなものなんかな？v9.1は、失敗続きで、中々走らない。何か設定が悪いのかな？

>>435
失敗した動画から1分間を切り出して再エンコードしてビットレートを平均・最大共に完走した動画よりも下げてみたけどメモリ不足になった
ビットレート違うんやったんかい！ということでふりだしに戻る

>>437
でかいファイルでやってない？
Assetsの中に短いファイルがあるから、それでやってみたら？

謎はすべて解けた!!

VideoのBit depthが10bitsならメモリ不足、8bitsなら完走でした
ffmpegで「-c:v hevc_nvenc -pix_fmt yuv420p -profile:v main」をつければおｋ

「-profile:v main」はなくてもいけました

今更なんだけどjasnaてジャスナて読むのとヤスナて読むのとどっちが正解？

JASCOをジャスコと読まずにヤスコと読むか？はいー！それと同じでヤスナはないだろ

JAPANヤーパン

>>437
環境書かないと誰も何もわからないと思うぞ

ただし、映像のBit depthを8bitsにするだけで完走できるわけではないです
やはり、映像のビットレートが高過ぎると、その時点でメモリ不足になります（上限は60Mb/sぐらいのようです）
もし、最大ビットレートを60Mb/sに制限したいなら、ffmpegで再エンコードする際に「-maxrate:v 60000k」を入れます（もう少し下げる方が安全かも）
また、ビットレートに上限があるので、同じビットレートで高画質になるようにh264よりhevcを使うのがお勧めです

【コマンドライン例】
ffmpeg -stats -i input8kvr.mp4 -c:a copy -c:v hevc_nvenc -pix_fmt yuv420p -rc vbr -b:v 30000k -maxrate:v 60000k output8kvr.mp4

0.9.1 rfdety-v6 検出しきい値0.35で大分モザ残りというか全くモザ消えない動画があり
試しにしきい値を0.1まで下げてもまだモザ残りがある
0.8.1からコピーしたzelefanz-vr-yolo-v2でしきい値0.1で処理すると全くモザ残りが無くなる

作者おすすめrfdety-v6 検出しきい値推奨0.35はオレのところでは使えない

お勧めというよりh264は最大で4kまでだからそもそも8kでは使えないよ。

>>447
Segment Editorでrfdetr-v6を使って、そのうまく行かない動画でモザのスキャンをかけて
検出ダメだったところを「より良いマスクを提案する」機能で輪郭書いて送ると今後のモデルの改善に協力できるぞｗ

[h264_nvenc @ 00000265fa1d1480] Width 8192 exceeds 4096
なるほど、勉強不足でした
ご指摘ありがとうございました

av1_nvencでもいけるかどうか今度やってみよう

8K VR を Windows版 jasna で実行する際の VRAM 目安

RTX 5080 16GB / v0.9.1 で 8192x4096 の VR 動画（sbs-fisheye、検出 rfdetr-vr-v1、2次復元なし）を回して測ってみた
数字は jasna 単体なので、デスクトップ分の 1.5〜2GB が別途乗っかる点は注意

■ upstream 版そのまま
・8bit 動画で 12.3GB、10bit だと 13.9GB　→　実質 16GB以上必要
・16GB あれば 10bit ソースも完走できるものあり

■ modi 版でメモリ削っていくとここまで行ける
modi フォークには VRAM 削減系のオプションを足していて8bit ソースだとこんな感じ
・デフォルト（≒upstream）: 12.3GB → 16GB カード
・--fp8-recon を足す： 11.8GB → 16GB カード
・さらに torchcodec + CUDAGRAPHS off： 9.0GB → 12GB カードでいける範囲
・さらに --batch-size 1 --max-clip-size 20： 6.2GB → 8GB チャレンジ枠

8GB でチャレンジするならこれで動くかも(実際には試してない)

set JASNA_TRT_CUDAGRAPHS=0
jasna --input in.mp4 --output out.mkv --detection-model rfdetr-vr-v1 --vr-mode sbs-fisheye --video-backend torchcodec --fp8-recon --batch-size 1 --max-clip-size 20

注意点：
・modi版は自力でビルド必要
・--fp8-recon は RTX 40 番台以降じゃないと使えない
・torchcodec は出力が 8bit になる（upstream は 10bit 出力）
・8GB の数字は 16GB カードを上限 8GB に縛って測ったシミュレーション値 実カードだとデスクトップと VRAM の取り合いになるから、ブラウザとか閉じて 6.5〜7GB 空けてから回す必要あり

音ズレするのは30FPSにすればいいの？

>>452
Windows版使ってるから分かんなーい∩(´∀｀)∩

>>447
それは、rfdetrの特徴である顔モザイクと誤認識して残しているケースじゃないの？
個人的には、これがあるからrfdetrは避けていたんだけどな

まず、av1_nvencでも当然ながらおｋです
ただし、hevc_nvencと同様に、映像のビットレートが上限を超えるとメモリ不足でそこで試合終了です

当方の環境で試してみたら「-maxrate:v 60000k」／「-maxrate:v 59500k」では残念ながらダメでした
>>432 の時に映像の最大ビットレートが59.2Mb/sの8kVRで完走しているので、少し余裕をもって
「-maxrate:v 59000k」なら大丈夫だと思われます（動作している他のソフトなどにもよる）

0.9.1に同梱されてるyolo-v4と0.8に同梱されていたzelefanz-vr-yolo-v2て差あるかな？

>>457
試してみればいいのでは？

VRAM8GBで8K処理できるようになったらいいなあ
処理速度を犠牲にしてとかでできないかなあ

>>459
>>451 と 452 参照
modi版動かすスキルが必要だけど、速度と品質犠牲にすればVRAM 8GBでも可能性はゼロでは無いと思う

>>459
NVIDIAの3D設定のフォールバックポリシーをデフォルトに変えてやってみては？
4KVRだけど0.9.1でもVRはいまいちだったから8K試してないけど
自分はRTX3070のVRAM8GBで0.8.0や0.8.1の時に2D4KでVRAM足らなかったけど
足らない分は勝手にメインメモリーで補って破壊してくれて
JASNA起動時のシステムチェックで警告出るけど無視して使っても問題無かったよ

>>459
分割処理でladaで破壊すればいける
jasna使う前は並列で処理してた
片面6gbも使ってなかった記憶

>>457
>>458 この投稿をヒントにしてw
jasnaのSegment Editorの中から呼び出せる、検出モデルと復元モデルのA/Bテストをやる機能作ってmodiブランチに追加してみた

プレビュー下の A/B 比較… ボタンから、検出モデルと復元モデルの組み合わせを 2 つ左右に並べ、同じフレームで見比べられます
モデルを世代交代するときや、ファインチューンしたチェックポイントを試すときに、動画全体を 2 回処理せずに数秒で差を確認できます

・表示は 3 モード: 復元（復元後のフレーム）、検出（検出マスクのオーバーレイとスコア）、クリップ（短い再生を左右同期で比較）
・各側で検出モデル・信頼度・復元チェックポイント（model_weights 直下の .pth）を選び、実行で両側を順に処理します
・ズームとパンは左右のペインで常に同期します

今まで確認用クリップ切り出し→検出モデルや閾値変えて処理→GridPlayerで結果を並べて再生して見比べ、みたいなワークフローで比較してたけど、
jasna+modi単体で閉じるようになってスッキリした 8K VR 60fps動画(8bit)でも動作確認はしてある

>>459
lada-exでtensorrtや二次修復やパイプラインとかオプション使わなきゃ大丈夫じゃないかな。

>>464
lada-exで高速化オプション・二次復元使わずに、8K VR 60fps動画(8bit)をそのまま--vr-mode VR180 --vr-fisheyeをつけて実行してみたけど
--max-clip-length 30まで減らしてもタスクマネージャー読みでVRAM 9.6GB消費してた(デスクトップ分込み) メインメモリも22GB位消費してる
OOMは起きてないのでメモリたくさん積んでいればワンチャンある？
ただし遅いw RTX 5060ti 16GB+Ryzen 7 5700Xで3fpsくらいしか出ない

macOS専用 mioh-universal

すみません、M1での動作検証をしていませんでした。
M1 Mac mini 16GBで動作検証しました。
最初導入時にモデルのダウンロードや変換でちょっと時間がかかります。

ギリギリなんとかリアルタイム再生が我慢できるレベルです。

macOS 27 Public Betaにすれば、python依存をやめてswift ネイティブになり、coreai機能が使えるので、ちょっと速くなるかも知れません。

https://github.com/mioh-labs/mioh

Javpにあったような微妙に綺麗に除去出来ない動画に大して細かいリモザイクかける2次修復あると良いんだけどな

モザ検出もladaのが上で概ね問題ないしらんよそんなん、気が付いた時にyoloとlada試すくらい
それでも取り切れないレアケースなら自分でモザイクかけるなりすればいい

×yoloとlada　○yoloとrfdetr