【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

>>301
Windows jasna v0.8.1でRTX5080+検出モデル：vr-yolo-v2+二次復元：unet-4x+ vr-mode auto
でやってみたけど試した8K 60fpsファイルは実時間の3倍ちょい時間かかったがギリギリ完走した
(二次復元無しなら実時間の倍ぐらい)
VRAM 16GBじゃ3〜4GB不足してるんだがjasnaのVRAM Offloaderが働いて、System Fallback Policyを
「Prefer No System Fallback」にしててもOOM出なかった
マージンないので安定して処理したければ4090/5090クラス以上が要りそうだ

>>303
参考になりました
ありがとうございます

>>302
ストリーミング見放題ですか？今、月3本ならあとちょっとでダウンロード月6本になりますね

例の情報は検索ワードによってヒットしない
元の拡張子・変換したい先の拡張子・何を除去したいのかの3つのワードで検索

次復元のunet-4xって他のどんな違いがありますか？RTX Super Resolutionだとノイズが減ったよりディテール失われたって感じでしたので。

>>306
日本語READMEの「モデルの選び方」に書いてある説明の通りだけと、unet-4xは追加でかかる時間と得られる効果のバランスが良いモデルと個人的には思う
TVAIは持ってないのでunet-4xがTVAIと同程度の出来なのかはわからない
ディテール補うならDiffusion系のアップスケーラーが良いけど、凄い時間がかかるよ

自分用、晒す



https://jpeg.men/1H9No5PmTnJ.jpg

誰かに承認してもらいたいのw？

はい、そうです

アニメ用のモデルを

>>305
そういうツール使って公式アプリに入力した認証情報を抜かれない？

今更だけど、VRの自動って推奨されてるから、自動的に「SBS」か「SBS+魚眼」を識別してくれるものかと思ったけどそうじゃないのな
魚眼のモザが全く処理されていないということは「2D」か「VR（魚眼じゃないSBS）」を識別してくれるってことかな？
「SBS+魚眼」では魚眼じゃないモザも処理されるらしいから、VRなら「SBS+魚眼」、2Dなら「オフ」にするのが正解？
魚眼じゃないVR専門で扱うのならいいかもしれないけど、実際、魚眼も多いので「自動」は使わないな

SBS左右別処理は画面全体に処理がかかるっぽいからチェック服とかで誤認識でボケが入ったことがあった

SBS魚眼はモザだけを処理して修復差分だけを元映像に被せるという革新的な方法をとっているので
モザ領域以外の画質低下が無くなったと感じたし魚眼でもそうでなくてもこればっかり使う

しかし俺環かもしれんが透明なモザイク痕が残るんだよね
イシューにWhy do I see a halo around the deleted mosaic?
って質問があるからその結果に期待なんだが…

Fable先生のjasna --vr-mode auto 挙動ざっくり解説
動画ごとに off / sbs / sbs-fisheye を自動で選ぶ 判定は保守的で、確信がなければoff
・ファイル名にフィッシュアイ系の品番 → sbs-fisheye
・直接SBS系の品番か、VR用メタデータあり、またはぴったり2:1で1080超 → sbs
・それ以外（アスペクト比が2:1じゃない、幅が奇数含む）→ off
sbsは左右の目を別々に処理 sbs-fisheyeはさらにフィッシュアイ空間に再投影してから復元
判定結果はログの VR mode: resolved=... で確認できて、外れたら --vr-mode で明示指定すればOK

選べる

すまん、誤爆

>>314
sbs-fisheye処理後に透明なモザイクの痕が残る症状、俺環でも出るのでFable先生に調べてもらった
俺環での原因は検出でもブレンドでもなく復元モデル(BasicVSR++)自体だった模様
試した動画は8Kアップスケール版なので境界が余計に強調されてる可能性はあるが
メーカーがモザイクを楕円マスクで適用していて、その縁の帯が今の復元モデルには
「実在の輪郭」に見えるらしく律儀に再現してくる模様 再投影なしのsbsでも同じ痕が出ている
これだと本命の対策はVR素材(楕円境界つきモザイク劣化)での復元モデル再学習になっちゃうのかな

>>318
楕円境界っすか
俺環はモザの格子の跡が残るので違うのかな

>>319
sbs-fisheye処理後の格子の跡だったら最近modiに入れた修正(fdcd02e)が効くかも
sbs-fisheyeの今の実装は戻すときの合成方法の問題で、復元した領域に元モザイクの格子エッジの
高周波成分がうっすら残る挙動だった (俺環計測だと格子成分の3〜7割が残存、画面端ほど強い)
修正後は数%まで落ちた
俺環境検証動画は8Kアップスケール版で格子が元から甘くて目視差が出なかったんだけど
格子がくっきり見える症状ならたぶんこの残差を見てるかも

>>320
modiで修正とはソースからのビルドの方に手を入れるとか？　検索してもよく分からんかった

みんな大人だから言わないけど、VR厨はやはり空気読めんのよ
「ADHD　VR　ハマる」でAIに聞いてみ？アメリカの学説出てくるから
スレの流れ、他人の事なんて眼中にないのよ笑
VR買えないから文句言ってるってレス笑ったわ
そらゴーグル被ってるから周り見えんなわ笑

みんな大人だから言わないけど、VR厨はやはり空気読めんのよ
「ADHD　VR　ハマる」でAIに聞いてみ？アメリカの学説出てくるから
スレの流れ、他人の事なんて眼中にないのよ笑
VR買えないから文句言ってるってレス笑ったわ
そらゴーグル被ってるから周り見えんなわ笑

みんな大人だから言わないけど、VR厨はやはり空気読めんのよ
「ADHD　VR　ハマる」でAIに聞いてみ？アメリカの学説出てくるから
スレの流れ、他人の事なんて眼中にないのよ笑
VR買えないから文句言ってるってレス笑ったわ
そらゴーグル被ってるから周り見えんなわ笑

人間てのは過去の失敗から気づいて学んでいくもんやけど
言われて気づけへんのは「そういう事」やで

文句あるんやったら別スレ建てろや
皆の邪魔するなや

どれくらい時間かかるかとか、破壊具合はどうかとか、別にVR動画のモザイク破壊の情報交換の話は、スレ違いじゃないだろ。2D動画ならよくてVR動画は駄目って意味分からん。

また言ってるの？単にVRだと2Dよりエロくて性への貪欲さが異常な結果だと思ってたわ
俺からしたらレスしてる半数以上が様々な意味で「一定のラインに達してない」
よくいるPCに疎い人間で主な特徴は「下げない」
この子も空欄だし言ってる事も目くそ鼻くそレベルの「そういう事」だと思いますね

ID:ywQuD61V0へ、同じ投稿連投しとるし、まぁ落ち着け。みんな大人だから言わないけど、VR機器買えない
現実を突き付けられて、よっぽど悔しかったんだね。わかります。VRで見る
モザイク破壊は楽しいぞ。君も早く楽しめるようになれればいいね。がんばれ。

ほらね
こんな時間に書いてる俺も反省したほうがいいね

致死量のVRレス浴びて静かになったのかと思ったら発狂してて草

しかし、VRに限らず2Dでも0.8.1だと枠の輪郭みたいなのが残る事があるな

重い腰上げて導入したのでわかったこと
なぜOOMするのか
8K VR動画は左右の映像が横に並んだ超巨大な1枚フレーム(8K幅)でできている
これをJasnaにそのまま渡すと、全工程が8K幅のデータを抱え続け、VRAM 16GBでは足りず「CUDA out of memory」で停止する
設定をどれだけ削っても16GBでは無理(24GB以上なら通る可能性あり)

解決策: 分割処理
先に左目・右目の2本のファイルに分割する → 片目は実質4K相当になる
それを普通の2D動画としてJasnaで1本ずつ処理(VRAM使用は13GB程度で余裕)
最後に左右を1本に結合して完成
これは裏技ではなく、zelefans本家のワンクリック機能も内部では同じ方式を使っている正攻法

導入手順(要点だけ)
Jasna公式リリースをダウンロード・展開(CLI版をコマンドラインから使う)
zelefansのVR Video Toolboxをダウンロードし、Python venvを作って依存パッケージをインストール(GUIを使うためではなく、中の分割/結合関数を借りるため)
「分割 → Jasnaで左目 → Jasnaで右目 → 結合」の4ステップを並べたスクリプトを1本書く
以後は./スクリプト 動画.mp4の1コマンドで完成品まで自動

ポイントは3つ: 分割/結合はGUIを開かず関数を直接呼ぶ、Jasnaは--vr-mode offで片目ずつ順番に処理(並列不可)、検出モデルはJasna同梱のVR用zelefans-vr-yolo-v2を指定するだけ

zelefansのツール(GUI/ワンクリック)との違い
処理方式と画質は理論上同じ(呼んでいるコードが同じため)
違いはGUIアプリを経由するかどうか
GUIはアプリ自体がGPUを余分に使うため、同じ処理でも遅く、VRAM消費も多い(実測で分割速度が約半分、VRAM+2GB) 動画によって変わる
Pathの問題で処理、結合のテストは中止

自分で環境を作る利点
GUIのムダがない分、速い
設定(検出モデル・しきい値・画質)を自分好みに固定できる
1コマンド化・複数本の連続処理・完了後の自動シャットダウンなど自動化が自由

ざっくりとした結果
8KVR60fps 44分と27分2本の動画を
7時間で処理できた

報告は以上です

>>321
jasnaをforkしてオープンソースの部分を改造したmodiブランチってのを公開してる
ソースから実行できる人ならjasnaのfork一覧か前スレで探してみて

>>331
枠の輪郭みたいなのが残るようになったのってv0.8.1になってから？
他のツール(lada/lada-ex)やjasna 〜v0.7.2まではどうだったんだろ
>>218 に書いたけど v0.8.0 で動画の入出力周りが全面的に作り直されたけど
v0.7.2 → v0.8.1 で2Dの復元周りの処理は変わってないんだよね

VRじゃないけど、数日前に破壊したやつ、ガラスみたいな質感のモザイクの残骸みたいなのが残った。たまたま相性の悪いモザイクだったのかなと思ってたけど、仕様なのかな？アップデートで改善するといいが。

0.8.1試したけど0.5.0-alpha10と違いが判らんかった
VRやらないなら変えなくてもよさそう？

Mac GUI

https://github.com/mioh-labs/mioh

公開します。

>>245ですが、2080ti使ってて、0.8.1だと結局全てのファイルでクラッシュします
20xxで0.8.1稼働する人います？
うちの環境だとFP16をオフにすると完走出来そうです

>>338 ありがとう　早速試してみます

>>335
7系では一度もなったことがなくて、0.8.0はスルーして0.8.1で10本ほど破壊して一つの動画だけなりました
so○系の4k素材です
同じシリーズや別メーカーなど検証してみます

4K素材はうまく破解できなかった経験があるから、FHD素材を選ぶようにしてる。

>>339
2080Tiの件、v0.8.1でtorchやTensorRTのバージョンは変わっていないので、このGPUのFP16が動かなくなった線は薄い
FP16オフだとTensorRTエンジンを読む経路自体が迂回されるので、怪しいのはエンジンキャッシュの方と思う
(初回ビルドに時間がかかるのはスマンが待ってもらうとして) model_weights内の.engineファイルと*_sub_enginesフォルダを全部消して
FP16オンのまま実行するとどうなるかな？ 特に別環境や旧バージョンから.engineファイルをコピーしてると怪しい

>>341
枠の輪郭が残る件、v0.8.0 でデコード/エンコード周りを全面刷新した際のカラーレンジ判定に食い違いがありそう
ファイルのメタデータの付き方次第で発生する(しない動画では全く出ない)ので、10本中1本という頻度もあり得そう
もし問題の動画がまだ手元にあれば、
ffprobe -select_streams v:0 -show_entries stream=pix_fmt,color_range,color_space <ファイル>
の出力見るとFable先生が原因を確定できるって

>>343
コンパイルは何度やり直してもだめでしたね

>>339　gtx1660 (Vram6G)でも0.8.1は動く。ただしモデルはYolo限定。rfdetrだとコンパイルが完了せず、メモリ不足のエラーがでる。なので、Yoloで試すと良いかも

GTX16系はTuringなんだけどTensorコア無しやな

以前ゲームを安定動作させるためにGPUのコアクロックを-25にしてたんだけど
再度-25にしたらFP16オンにしても、今までみたいに即エラー吐かずに、進捗が50%越えました

Windows11を想定するけど、例えばクラッシュしたタイミングでシステムログになんか情報残ってない？何起因のクラッシュかくらいは切り分けできる可能性があると思う。
時刻でどのログか確認してAIに食わせれば何かヒントはでるかも。
linuxならdmesgで同じようなことする。

>>347
クロック下げて処理が通るならGPUの安定性の問題だね
夏だし暑いしHWモニタとかで処理中の温度を確認したほうが良いかも
2080Tiだとだいぶ時間が経っているのでグリス硬化で hotspot 温度が上がっているパターンとか

RTX5070（VRAM12GB）だけど SBS vp9 5400x2700 59.94fps の VR は GUI でそのままいけた

AMDのMI100って安くてVRAM多いのですが持ってる方いますか？
イバラの道ですかね

15ドル寄付(?)したはいいけど、モザイクのある静止画を持っていなかった
試したいけど試せないｗ

動画のスクショ

>>352
FANZAに画像サンプルあるだろ

8K VRで2次をVSRにしても20G超えてくるのだがTVAIにしたらどれくらいVRAMいるのだろうか。

>>355
1080pのケースだけどJasnaのREADME「モデルの選び方」に二次復元使った時の処理速度と VRAM の比較が載ってるよ
RTX Super-ResとTVAIのVRAM使用量はさほど変わらないみたいだから、ここから類推すると同じくらいのオーダーじゃないの
試したら結果教えてくれ

>>337
俺も0.5.1でそれなりに満足していた派だったので、0.6と0.7はスルーしていたが0.8のrfdefr-v5とUNet 4xが気になってインストール
コーヒー奢るのは必須だけど、移行コストはほぼ無いので試す価値あり
結果はかなり満足で0.5.1に戻るつもりはないな

>>356
最新Topaz VideoとTopaz Video Ai7.1.5の両方ともTAVI worker thread crushed とエラー表示されて実行できなかった。
また今度やってみる。

最新バージョンでは放り込むだけでVRを判断して処理してくれるのかと思ったら、
2眼画面の端を真ん中に持ってきて、変な処理してしまう。
なんか設定しないとダメなの？

>>357
これって有料になったの？
VRだけ？

2Dだと、ほぼほぼ裏ビデオみたいになって満足できるレベルだけど、VRはまだまだだな。それでも無破壊のまま観るより楽しいけど。

VRは学習元が少ないって感じ？

VRは魚眼系の下端の方がとりこぼしやすい
AIに聞いたら「Area Selection VR to Flat」モードでマウスで該当部分を指定してやれとか言うけど、二度がけよりも元動画を切り分けてレイヤーで合成しろとかむちゃなことを言われる

魚眼変換してもきっちり格子状にならないタイプのモザがあったりするから
その手のものはどうしたらいいか分からない

魚眼不要なタイプの方でも端の方は引き延ばし歪められた映像にモザをかけられているから
まともな復元が困難なことが多い
こちらは歪み映像にモザをかけられたことに対応した学習モデルが必要なんじゃないかと思うが実現は難しいのかな

SBS+魚眼は魚眼じゃない部分も判断してやってくれてるけど取りこぼしも発生することがあるな
SBS左右別処理なら復元できるところがSBS+魚眼だと復元できてないことがある
中途半端に破解してたりすると2度掛けにも向かなくなるし
SBS+魚眼なら実質VRなんでもOKというわけにはいかなかったな

v0.9.0来たよ

新しい復元モデルはありません:) しかし、Discordにはいくつかのプレビューがあります
2 つの新しい検出モデルを追加しました:rfdetr-v6 とrfdetr-v6-large。 どちらも精度は似ていますが、rfdetr-v6 は rfdetr-v5 と比較して 2 倍高速です。 V6-large は 4K コンテンツをより適切に処理できます。 新しいモデルではデフォルトの検出しきい値が高くなるため、カスタム モデルを使用した場合は確認する必要があります。
VR専用の検出モデルを追加しました: rfdetr-vr-v1。 Zelefans VR モデルはデフォルトで含まれなくなりました
モザイク検出ロジックの改善。 ミス検出と誤ったモザイク検出の処理方法を制御するための 2 つの新しい設定が追加されました。 Jasna はデフォルトで、マスクを補間することで検出漏れを埋めようとします。 これにより、困難なシーンでのモザイクのちらつきの問題が軽減されるはずです。

…V6-largeってどこにある？

大型リリースだね jasna v0.8.1 → v0.9.0 主な変更ざっくりまとめ

・検出モデルが世代交代 新デフォルトの rfdetr-v6 と 4K 向けの v6-large、VR 専用の rfdetr-vr-v1 が追加
・VR 復元が大幅強化 全フレームを丸ごと歪み補正するのをやめて、モザイク領域ごとに fisheye/gnomonic 投影して復元する方式に スタジオをファイル名から自動判別してルーティングまでやる
高速化多数 色変換・デノイズ・LUT・検出前処理が CUDA カーネル融合、エンコーダの stream 整理、GUI のモザイクスキャンも並列化
・ --fmp4 追加 処理中のファイルがその場で再生できて、途中で落ちてもそこまでは生きてる MP4 が出せる
・ --sharpen 追加（CAS シャープ）ビットレートの上限もソース連動になってファイルサイズ暴発しにくくなった
・ --scene-detection 追加 シーンのカット境界でクリップを切るので、カットまたぎのちらつき対策になる
・デコーダに VALI バックエンド復活 壊れかけのファイルに強くて、ダメなら自動で PyAV にフォールバック
・検出の時間フィルタ（隙間埋め＋最短継続時間）と AV1 の NVDEC デコード修正
・AMD (ROCm) 対応が本格化 Windows ネイティブの AMD ビルドも出るように
・GUI は HiDPI 表示の修正、停止ボタンでジョブが固まるバグ修正など

注意点: 検出まわりの変更で TensorRT エンジンは作り直し（初回また時間かかる）

>>367
「モデルの選び方」に書いてある 別途ダウンロード要

>>369
ありがとう！そんなところに書いてあったとは💦

V0.9.0を起動させたらシステムチェックでずっと止まったままなんだが・・・

0.9.0はGPUの使い方が最適化されてるみたいだね
前は3Dは100%と60%を行き来してギザギザが深かったんだけど
今は最低でも88%で100%に貼りついてる時間が長い
Video Encodeも90%くらい、VideoDecodeも70%くらいで前より仕事してる
専用GPUメモリが、自分のグラボは8Gなんだけど、
前は6GBくらいまでだったのが6.8GBくらいまでギリギリを攻めてる

もうv6か進化が早すぎる

変わったのは検出モデルだからもともとうまくいってたのは正直変わらない感じかな

四角が見えたとたんに興ざめするから復元精度よりも取りこぼしの方が重要な気はしてる

>>375
それわかるわ。
絶対に性器が映っていない角度でもモザイクかけている場合があるから、それが無くなるだけでもマシ。

処理速度が8.1の2倍近く早くなってる

>>369
モデルの選び方
v6-large is a separate download (check models docs)　はどこにありますか

>>378
https://github.com/Kruk2/jasna/releases
Usage（使用方法）→Learn More（もっと詳しく知る）→Choosing models（モデルの選択）にある

>>379
ありがとうございました
みつけました

この季節の作業は排熱がキツイ

処理時間と出来上がりサイズ　比較
zelefans-vr-yolo -v2

302です途中で書き込みスマソ

元ファイル　フレーム幅1280　サイズ　593MB　長さ　35:35

処理時間と出来上がりサイズ　比較
zelefans-vr-yolo -v2　21:45　1,308MB
rfdetr-v5 29:35 1.307MB
rfdetr-v6 21:34 587MB
いずれも　エンコード　H265　CQ20　の結果
処理の仕上がりは、ほぼ同じ感じ
処理速度はV6が若干早い
処理後のサイズは　V6がほぼ元動画と同じくらいに収まった

元動画にもよるとは思う

日曜日に0.8.1をダウンロードして、コーヒーを奢ってテスト変換を始めたばかりだったけど、
動きが早い。
またダウンロードしなければ…

4KじゃないのにLarge使ったら単に遅いだけか

vrでsbs魚眼にすると四角の枠が出るんだな
そこそこ破壊できるのに残念

383 追記だよ

zelefans-vr-yolo -v2とrfdetr-v5は0.8.1
rfdetr-v6は0.9.0

0.9.0　は処理後のファイルサイズがいい感じ

グラボ高騰してるから9070XTで0.9.0してみたいけど使ってる人居ますか？
使用感知りたいです

>>371
Windowsで4kモニタを使って、ディスプレイの設定で拡大/縮小の%いじってる？
YESだったらjasnaのissue #253で報告されている問題
4kでこれを200%とかにしていると起動しないね ここいじっているなら150%(推奨)にすれば動く

issue報告のスクショに報告者映り込んでで草

371の現象は次の設定をすればディスプレイの拡大縮小率を変えなくてもOKかも
１．Jasna.exeファイルを右クリック
２．「プロパティ」を選択
３，[互換性]タブを選択
４．「設定」の[高DPI設定の変更]を押す
５．「高DPIスケール設定の上書き」の「高いDPIスケールの動作を上書きします」にチェックを入れる
６．拡大縮小の実行元：「アプリケーション」を選択
７．[OK]を押す

>>389
>>390
拡大/縮小のサイズが175になっていたので150%にしたらアッサリ起動して使えました
有り難うございました！

V9.0にしたらエラーで進まねえ...どんなに検出モデルや設定を変更してもダメ
なんでだあああ

v0.9.1出とるぞ
アプリ起動時のフリーズ問題の修正とかもあるらしい

>>393
え？見当たらんがどこにあんの？

v0.8.xでVRモード使うと何か埋め込まれて、VLCで試し見するとVRモードで表示されて見にくかったけど直ったな

jasna v0.9.1 リリース 変更点ざっくりまとめ v0.9.0 の翌日だけど中身デカいよ

・VRAM 大幅削減：720p 7.9→4.3GB、1080p 8.4→4.9GB、4K 10.6→7.3GB（RTX 5090 公式ベンチ、速度そのまま）VRAM 少ないカードに朗報
・Max Clip Size 変更で再コンパイル不要に GUI スライダー上限も 180→720 に拡大
・CUDA Graphs デフォルト有効で e2e 2〜10% 高速化（問題出たら JASNA_TRT_CUDAGRAPHS=0 で切れる）
・AMD：復元中に出力が壊れる件（#252）とクラッシュ修正
・Windows の表示スケール 200% 以上でウィンドウ潰れ・チラつき・起動フリーズを修正

>>388
作者がラデ持ってないらしくリリースのたびに基礎的なバグが見つかる状況
9070XTなら今はまだlada-ROCmの方をすすめる
issue上がればすぐに対応はしてくれてるから、そのうち追いつくだろうね

Discoだと作者AMDは諦めかけてる気もするけどね

0.9.1すごい！8GBのグラボで5GBぴったりに収まってる
この調子で8K VRも扱えるようにならないかな…

V6-large、クリップサイズ60設定で8KVRスタートできた！
以前までは即エラーだったからこれいけたらゲームチェンジャーだな！

5070ti 16GBで8K VR行けたよ。
VRAM15GBくらい使ってた。

帰ったら試そ