【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

ポイントは3つ: 分割/結合はGUIを開かず関数を直接呼ぶ、Jasnaは--vr-mode offで片目ずつ順番に処理(並列不可)、検出モデルはJasna同梱のVR用zelefans-vr-yolo-v2を指定するだけ

zelefansのツール(GUI/ワンクリック)との違い
処理方式と画質は理論上同じ(呼んでいるコードが同じため)
違いはGUIアプリを経由するかどうか
GUIはアプリ自体がGPUを余分に使うため、同じ処理でも遅く、VRAM消費も多い(実測で分割速度が約半分、VRAM+2GB) 動画によって変わる
Pathの問題で処理、結合のテストは中止

自分で環境を作る利点
GUIのムダがない分、速い
設定(検出モデル・しきい値・画質)を自分好みに固定できる
1コマンド化・複数本の連続処理・完了後の自動シャットダウンなど自動化が自由

ざっくりとした結果
8KVR60fps 44分と27分2本の動画を
7時間で処理できた

報告は以上です

>>321
jasnaをforkしてオープンソースの部分を改造したmodiブランチってのを公開してる
ソースから実行できる人ならjasnaのfork一覧か前スレで探してみて

>>331
枠の輪郭みたいなのが残るようになったのってv0.8.1になってから？
他のツール(lada/lada-ex)やjasna 〜v0.7.2まではどうだったんだろ
>>218 に書いたけど v0.8.0 で動画の入出力周りが全面的に作り直されたけど
v0.7.2 → v0.8.1 で2Dの復元周りの処理は変わってないんだよね

VRじゃないけど、数日前に破壊したやつ、ガラスみたいな質感のモザイクの残骸みたいなのが残った。たまたま相性の悪いモザイクだったのかなと思ってたけど、仕様なのかな？アップデートで改善するといいが。

0.8.1試したけど0.5.0-alpha10と違いが判らんかった
VRやらないなら変えなくてもよさそう？

Mac GUI

https://github.com/mioh-labs/mioh

公開します。

>>245ですが、2080ti使ってて、0.8.1だと結局全てのファイルでクラッシュします
20xxで0.8.1稼働する人います？
うちの環境だとFP16をオフにすると完走出来そうです

>>338 ありがとう　早速試してみます

>>335
7系では一度もなったことがなくて、0.8.0はスルーして0.8.1で10本ほど破壊して一つの動画だけなりました
so○系の4k素材です
同じシリーズや別メーカーなど検証してみます

4K素材はうまく破解できなかった経験があるから、FHD素材を選ぶようにしてる。

>>339
2080Tiの件、v0.8.1でtorchやTensorRTのバージョンは変わっていないので、このGPUのFP16が動かなくなった線は薄い
FP16オフだとTensorRTエンジンを読む経路自体が迂回されるので、怪しいのはエンジンキャッシュの方と思う
(初回ビルドに時間がかかるのはスマンが待ってもらうとして) model_weights内の.engineファイルと*_sub_enginesフォルダを全部消して
FP16オンのまま実行するとどうなるかな？ 特に別環境や旧バージョンから.engineファイルをコピーしてると怪しい

>>341
枠の輪郭が残る件、v0.8.0 でデコード/エンコード周りを全面刷新した際のカラーレンジ判定に食い違いがありそう
ファイルのメタデータの付き方次第で発生する(しない動画では全く出ない)ので、10本中1本という頻度もあり得そう
もし問題の動画がまだ手元にあれば、
ffprobe -select_streams v:0 -show_entries stream=pix_fmt,color_range,color_space <ファイル>
の出力見るとFable先生が原因を確定できるって

>>343
コンパイルは何度やり直してもだめでしたね

>>339　gtx1660 (Vram6G)でも0.8.1は動く。ただしモデルはYolo限定。rfdetrだとコンパイルが完了せず、メモリ不足のエラーがでる。なので、Yoloで試すと良いかも

GTX16系はTuringなんだけどTensorコア無しやな

以前ゲームを安定動作させるためにGPUのコアクロックを-25にしてたんだけど
再度-25にしたらFP16オンにしても、今までみたいに即エラー吐かずに、進捗が50%越えました

Windows11を想定するけど、例えばクラッシュしたタイミングでシステムログになんか情報残ってない？何起因のクラッシュかくらいは切り分けできる可能性があると思う。
時刻でどのログか確認してAIに食わせれば何かヒントはでるかも。
linuxならdmesgで同じようなことする。

>>347
クロック下げて処理が通るならGPUの安定性の問題だね
夏だし暑いしHWモニタとかで処理中の温度を確認したほうが良いかも
2080Tiだとだいぶ時間が経っているのでグリス硬化で hotspot 温度が上がっているパターンとか

RTX5070（VRAM12GB）だけど SBS vp9 5400x2700 59.94fps の VR は GUI でそのままいけた

AMDのMI100って安くてVRAM多いのですが持ってる方いますか？
イバラの道ですかね

15ドル寄付(?)したはいいけど、モザイクのある静止画を持っていなかった
試したいけど試せないｗ

動画のスクショ

>>352
FANZAに画像サンプルあるだろ

8K VRで2次をVSRにしても20G超えてくるのだがTVAIにしたらどれくらいVRAMいるのだろうか。

>>355
1080pのケースだけどJasnaのREADME「モデルの選び方」に二次復元使った時の処理速度と VRAM の比較が載ってるよ
RTX Super-ResとTVAIのVRAM使用量はさほど変わらないみたいだから、ここから類推すると同じくらいのオーダーじゃないの
試したら結果教えてくれ

>>337
俺も0.5.1でそれなりに満足していた派だったので、0.6と0.7はスルーしていたが0.8のrfdefr-v5とUNet 4xが気になってインストール
コーヒー奢るのは必須だけど、移行コストはほぼ無いので試す価値あり
結果はかなり満足で0.5.1に戻るつもりはないな

>>356
最新Topaz VideoとTopaz Video Ai7.1.5の両方ともTAVI worker thread crushed とエラー表示されて実行できなかった。
また今度やってみる。

最新バージョンでは放り込むだけでVRを判断して処理してくれるのかと思ったら、
2眼画面の端を真ん中に持ってきて、変な処理してしまう。
なんか設定しないとダメなの？

>>357
これって有料になったの？
VRだけ？

2Dだと、ほぼほぼ裏ビデオみたいになって満足できるレベルだけど、VRはまだまだだな。それでも無破壊のまま観るより楽しいけど。

VRは学習元が少ないって感じ？

VRは魚眼系の下端の方がとりこぼしやすい
AIに聞いたら「Area Selection VR to Flat」モードでマウスで該当部分を指定してやれとか言うけど、二度がけよりも元動画を切り分けてレイヤーで合成しろとかむちゃなことを言われる

魚眼変換してもきっちり格子状にならないタイプのモザがあったりするから
その手のものはどうしたらいいか分からない

魚眼不要なタイプの方でも端の方は引き延ばし歪められた映像にモザをかけられているから
まともな復元が困難なことが多い
こちらは歪み映像にモザをかけられたことに対応した学習モデルが必要なんじゃないかと思うが実現は難しいのかな

SBS+魚眼は魚眼じゃない部分も判断してやってくれてるけど取りこぼしも発生することがあるな
SBS左右別処理なら復元できるところがSBS+魚眼だと復元できてないことがある
中途半端に破解してたりすると2度掛けにも向かなくなるし
SBS+魚眼なら実質VRなんでもOKというわけにはいかなかったな

v0.9.0来たよ

新しい復元モデルはありません:) しかし、Discordにはいくつかのプレビューがあります
2 つの新しい検出モデルを追加しました:rfdetr-v6 とrfdetr-v6-large。 どちらも精度は似ていますが、rfdetr-v6 は rfdetr-v5 と比較して 2 倍高速です。 V6-large は 4K コンテンツをより適切に処理できます。 新しいモデルではデフォルトの検出しきい値が高くなるため、カスタム モデルを使用した場合は確認する必要があります。
VR専用の検出モデルを追加しました: rfdetr-vr-v1。 Zelefans VR モデルはデフォルトで含まれなくなりました
モザイク検出ロジックの改善。 ミス検出と誤ったモザイク検出の処理方法を制御するための 2 つの新しい設定が追加されました。 Jasna はデフォルトで、マスクを補間することで検出漏れを埋めようとします。 これにより、困難なシーンでのモザイクのちらつきの問題が軽減されるはずです。

…V6-largeってどこにある？

大型リリースだね jasna v0.8.1 → v0.9.0 主な変更ざっくりまとめ

・検出モデルが世代交代 新デフォルトの rfdetr-v6 と 4K 向けの v6-large、VR 専用の rfdetr-vr-v1 が追加
・VR 復元が大幅強化 全フレームを丸ごと歪み補正するのをやめて、モザイク領域ごとに fisheye/gnomonic 投影して復元する方式に スタジオをファイル名から自動判別してルーティングまでやる
高速化多数 色変換・デノイズ・LUT・検出前処理が CUDA カーネル融合、エンコーダの stream 整理、GUI のモザイクスキャンも並列化
・ --fmp4 追加 処理中のファイルがその場で再生できて、途中で落ちてもそこまでは生きてる MP4 が出せる
・ --sharpen 追加（CAS シャープ）ビットレートの上限もソース連動になってファイルサイズ暴発しにくくなった
・ --scene-detection 追加 シーンのカット境界でクリップを切るので、カットまたぎのちらつき対策になる
・デコーダに VALI バックエンド復活 壊れかけのファイルに強くて、ダメなら自動で PyAV にフォールバック
・検出の時間フィルタ（隙間埋め＋最短継続時間）と AV1 の NVDEC デコード修正
・AMD (ROCm) 対応が本格化 Windows ネイティブの AMD ビルドも出るように
・GUI は HiDPI 表示の修正、停止ボタンでジョブが固まるバグ修正など

注意点: 検出まわりの変更で TensorRT エンジンは作り直し（初回また時間かかる）

>>367
「モデルの選び方」に書いてある 別途ダウンロード要

>>369
ありがとう！そんなところに書いてあったとは💦

V0.9.0を起動させたらシステムチェックでずっと止まったままなんだが・・・

0.9.0はGPUの使い方が最適化されてるみたいだね
前は3Dは100%と60%を行き来してギザギザが深かったんだけど
今は最低でも88%で100%に貼りついてる時間が長い
Video Encodeも90%くらい、VideoDecodeも70%くらいで前より仕事してる
専用GPUメモリが、自分のグラボは8Gなんだけど、
前は6GBくらいまでだったのが6.8GBくらいまでギリギリを攻めてる

もうv6か進化が早すぎる

変わったのは検出モデルだからもともとうまくいってたのは正直変わらない感じかな

四角が見えたとたんに興ざめするから復元精度よりも取りこぼしの方が重要な気はしてる

>>375
それわかるわ。
絶対に性器が映っていない角度でもモザイクかけている場合があるから、それが無くなるだけでもマシ。

処理速度が8.1の2倍近く早くなってる

>>369
モデルの選び方
v6-large is a separate download (check models docs)　はどこにありますか

>>378
https://github.com/Kruk2/jasna/releases
Usage（使用方法）→Learn More（もっと詳しく知る）→Choosing models（モデルの選択）にある

>>379
ありがとうございました
みつけました

この季節の作業は排熱がキツイ

処理時間と出来上がりサイズ　比較
zelefans-vr-yolo -v2

302です途中で書き込みスマソ

元ファイル　フレーム幅1280　サイズ　593MB　長さ　35:35

処理時間と出来上がりサイズ　比較
zelefans-vr-yolo -v2　21:45　1,308MB
rfdetr-v5 29:35 1.307MB
rfdetr-v6 21:34 587MB
いずれも　エンコード　H265　CQ20　の結果
処理の仕上がりは、ほぼ同じ感じ
処理速度はV6が若干早い
処理後のサイズは　V6がほぼ元動画と同じくらいに収まった

元動画にもよるとは思う

日曜日に0.8.1をダウンロードして、コーヒーを奢ってテスト変換を始めたばかりだったけど、
動きが早い。
またダウンロードしなければ…

4KじゃないのにLarge使ったら単に遅いだけか

vrでsbs魚眼にすると四角の枠が出るんだな
そこそこ破壊できるのに残念

383 追記だよ

zelefans-vr-yolo -v2とrfdetr-v5は0.8.1
rfdetr-v6は0.9.0

0.9.0　は処理後のファイルサイズがいい感じ

グラボ高騰してるから9070XTで0.9.0してみたいけど使ってる人居ますか？
使用感知りたいです

>>371
Windowsで4kモニタを使って、ディスプレイの設定で拡大/縮小の%いじってる？
YESだったらjasnaのissue #253で報告されている問題
4kでこれを200%とかにしていると起動しないね ここいじっているなら150%(推奨)にすれば動く

issue報告のスクショに報告者映り込んでで草

371の現象は次の設定をすればディスプレイの拡大縮小率を変えなくてもOKかも
１．Jasna.exeファイルを右クリック
２．「プロパティ」を選択
３，[互換性]タブを選択
４．「設定」の[高DPI設定の変更]を押す
５．「高DPIスケール設定の上書き」の「高いDPIスケールの動作を上書きします」にチェックを入れる
６．拡大縮小の実行元：「アプリケーション」を選択
７．[OK]を押す

>>389
>>390
拡大/縮小のサイズが175になっていたので150%にしたらアッサリ起動して使えました
有り難うございました！

V9.0にしたらエラーで進まねえ...どんなに検出モデルや設定を変更してもダメ
なんでだあああ

v0.9.1出とるぞ
アプリ起動時のフリーズ問題の修正とかもあるらしい

>>393
え？見当たらんがどこにあんの？

v0.8.xでVRモード使うと何か埋め込まれて、VLCで試し見するとVRモードで表示されて見にくかったけど直ったな

jasna v0.9.1 リリース 変更点ざっくりまとめ v0.9.0 の翌日だけど中身デカいよ

・VRAM 大幅削減：720p 7.9→4.3GB、1080p 8.4→4.9GB、4K 10.6→7.3GB（RTX 5090 公式ベンチ、速度そのまま）VRAM 少ないカードに朗報
・Max Clip Size 変更で再コンパイル不要に GUI スライダー上限も 180→720 に拡大
・CUDA Graphs デフォルト有効で e2e 2〜10% 高速化（問題出たら JASNA_TRT_CUDAGRAPHS=0 で切れる）
・AMD：復元中に出力が壊れる件（#252）とクラッシュ修正
・Windows の表示スケール 200% 以上でウィンドウ潰れ・チラつき・起動フリーズを修正

>>388
作者がラデ持ってないらしくリリースのたびに基礎的なバグが見つかる状況
9070XTなら今はまだlada-ROCmの方をすすめる
issue上がればすぐに対応はしてくれてるから、そのうち追いつくだろうね

Discoだと作者AMDは諦めかけてる気もするけどね

0.9.1すごい！8GBのグラボで5GBぴったりに収まってる
この調子で8K VRも扱えるようにならないかな…

V6-large、クリップサイズ60設定で8KVRスタートできた！
以前までは即エラーだったからこれいけたらゲームチェンジャーだな！

5070ti 16GBで8K VR行けたよ。
VRAM15GBくらい使ってた。

帰ったら試そ

>>400
VRAM12GBで11.2～11.7GBくらいを推移しててエラー落ち
16GBのグラボ欲しすぎる

アップデートが頻繁だな
作者さんには頭が下がる

8kVRはVRAM12GBでv6-largeのクリップサイズ60で、出力ファイルが作られないまま延々と同じことを繰り返していたけど、
BasicVSR++コンパイルをオフにしたらちゃんと動作している模様
出力ファイルもサイズが大きくなってきていて、現在9％

>>403
Playable while processing (--fmp4) オプション付けておくと落ちる直前まで処理した動画を再生できるぞ
v0.9.0で追加してもらった機能

あ、Windows版です

>>406
どこかでリクエストできるの？

>>408
100ドルぐらい寄付して、連絡欄に書けばやってくれるんじゃないの？

じゃどこでDLしてんだよ

GitHubで公開してるんだからIssue発行すればいいんじゃね？

>>408
issue #244 発行したぞ

2d動画を主に処理してて、二次修復UNetを使っている人に聞きたい。RTXSuper Resとは全然違うの？課金するレベルかな。

なお、なぜかはわからないけど、うまく行かなかった場合はその後で設定を変更してもうまく行くことはないので、jasna GUIを終了して起動し直す必要あり
ちなみに、v6-largeは完走したがモザ残りがあったのでrfdetr-vr-v1で試してみたら5％でメモリ不足になった

何度やっても出力動画は同じサイズになる（ただし「処理中でも再生可能」をオンにすると若干大きくなる）

Macではとてもじゃないが追いつけんなあ…

>>413
課金したけど効果など全く気にせず課金したよ。
楽しく使っているなら渋る金額でもないと思う。

>>417
安全な支払いがgoogle walletぐらいってのがね

>>413
15＄なんで円安の今でも2,500円以下です
同じ動画でRTXとUNetの比較したけどUNetのほうが自分的には好み

>>413
2Dってモデルどうしてる？自前？

自分は課金の支払いは安全なVプリカで支払った。

4KVRだがrfdetr-vr-v1で取りこぼす魚眼モザがrfdetr-v6-largeなら出来たりするな
VRでもlarge使った方がいいかなあ

>>420
さすがに自撮りはしないでしょ。

>>413
個人的にはあまり変わらない(好みのレベル)と感じてる
課金するかどうかはご自由に

>>409
Discordのフォーラムとかあったら教えて～

413です、返信してくれた人達ありがとう。課金はもう少し様子見ます。

v0.9のVR魚眼検出力がv0.8に比べて落ちていると思う。
rfdetr-vr-v1でもrfdetr-v6-largeでもいまいちだが
同じzelefans-vr-yolo-v2(lada_vr_mosaic_detection_model_v2_accurate.pt)を使っても
v0.9はv0.8より悪かった

おま環なのかもしれんが、v0.9.1Windows／VRAM12GB／8k60fpsVR／クリップ60／BasicVSR++コンパイル＝オフで
・rfdetr-vr-v1／zelefans-vr-yolo-v2はスタートするが途中でメモリ不足になる
・rfdetr-v6-large／rfdetr-v6は100％完走おめでとう
勘違いしている人がいるかもしれないが、BasicVSR++コンパイルの設定は復元モデルのみで検出モデルはこの設定に関係なくコンパイルされる
復元は検出されたモザ部分だけにしか適用されないので全体からの比率は低く、この設定をオフにしても全体としてのスピード低下は少しだけ
逆に言うと、全体のスピード低下が少しだけなのでこの設定があるわけで、もし大きく遅延するようなら最初からそんな設定は実装されない
ただし、画面全体にモザがかかっているような特殊な動画なら大きく遅延するだろうけど

>>423
2D＝アニメの事だと思ったのだ。VRではないという意味だったのかね。
アニメ用のモデルがどこかにあるのかなと。

自前モデル学習

4060で8KVRいけるかな？いけるなら課金したい

すんません、VRAM12GBで8kVRですが試した動画の全パートで「SBS-左右別処理」でも「SBS+魚眼」でも完走しました
しかし、別の8kVRでやってみると、今度は全パートでメモリ不足になりました
さらに別の8kVRでは、またまた全パートで完走しました

3つ共、HEVC／59.94fps／8192x4096だったのですが、どうやらビットレートによるものだと思われます
映像の平均ビットレートが15.9Mb/sと23.1Mb/sは完走、29.5Mb/sはメモリ不足でした
映像の最大ビットレートが30.2Mb/sと59.2Mb/sは完走、60.3Mb/sはメモリ不足でした

>>431
RTX4060は8GBなので8kVRは完全に無理ぽ
RTX3060の12GBなら動画によってはいけるかと思われ