【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

みなさま。ありがとうございました。お陰様で、稼働出来る様になりました。
感謝です。
出来ましたら、Detection Threshold、Ｔemporal Overlap,などの設定を教えていただけないでしょうか。
どうぞよろしくお願い致します。

0.8.2ていつでたんだ？

>>256
すまん、v0.8.1

新しく作ってるrfdetr-v6ってやばいな。早く実装が待ち遠しい

>>258
そのへんのパラメータの推奨値はめんどかったらデフォでいいと思う
各項目の尻の(？)にカーソル合わせると解説が出るからそれを参考に
おま環やら好みやらの問題もあるし、短いサンプル動画作って条件振って決めればええよ

あ、SECONDARY RESTRATION だけは無課金なら RTX Super Res の選択必須
パラメータはめんどかったら4UUUで　これも同じくチューニングは好みで
時短やら色々メリットはあるけどオレはこれがjasnaのキモだと思ってる

ついでに条件出しのための短い動画作成手順（素人でも大丈夫）

１．モザを取りたくてﾊｧﾊｧしてる動画を用意
２．その動画ファイルをWindows標準付属の「フォト」で開く
３．フォトの画面左上の[トリミング]をクリック→映像の下のスライドバーでモザ取りたい部分を5秒くらい選択→右上の[コピーとして保存]をクリック、適当な名前で保存
４．３．を繰り返して合計30秒分くらいキモの部分を抜き出す
５．「動画結合ソフト」っていうフリーウェアで４．の動画全部合体
https://www.gigafree.net/media/me/join_videos.html
６．合体した動画をjasnaにかけて色々条件振って見比べて唸る

ちなみに３．で120分中の5秒とか実際は選択がムズいので、先にざっくり5分くらい抜き出して、そこから5秒とか切り出すとええです

最近ドキュメントが整理されて前より見やすくなったから
日本語READMEの「さらに詳しく」の部分も目を通しておくとよいかも
Temporal overlap(時間オーバーラップ)とかは「VRAM と GPU 使用量の調整」に書いてある
また、v0.8.0で追加されたSegment Editorを使うとキューに入れた動画毎に検出モデルと検出の閾値を設定することもできるのね
>>263 の玄人志向もやろうと思えばSegment Editorでできそう
検出モデルとしきい値をその場で変えたり、復元のプレビューもできちゃう

>>264
ごめん。コンソールは[JASNA GUI v0.8.1]ってなってるんだけど、
"Segment Editor"っていう項目が探しても見当たらんです。
ビルドじゃないとダメとか？

キューに動画を入れると表示されるハサミマークから起動じゃないの

>>266
ありがとう！ちょっと感動した！ｗ

お試し破壊のサンプルはavidemuxでやってる
残すところ以外を選択してdelするだけだから簡単
書き出しも速い

>>268
こんなソフトあったんだね
ありがたや

LosslessCutは
欲しい部分だけ無劣化で切り出せるし
8KVRもいけるのだ

単発でカットする時：avidemux
複数カットしてまとめるとき：LosslessCut
CLIでやりたいとき：ffmpeg -ss 00:01:00 -to 00:02:00 -i in.mp4 -c copy out.mp4
どれも、再エンコ無しだとキーフレーム単位でしかカットできないよね

それはそう
ただ破壊判定素材として（欲しい部分無劣化）使える
smartcut offで
LosslessCutの話ね

v0.8.0以降は後から追加していた検出モデルは最初から入っているので忘れてたけど、
除去モデルの方は以前と同じで入れ替えた方がいいんだよね？

VRを目の敵にしてる奴は、VRも楽しみたいけど、VR機器買えないんだよ。察してやれ。

0.8.0以降VRが捗る、すごいよ

>>275
VR_Video_Toolboxを使ってで？そんな速くなったん？

0.8.0からAMDにも対応してたのな

lada-exも進化してて1つのファイルを時分割してn列で並行処理する機能が加わった。今まで手動で分割・結合してたから楽に早く処理できる。

>>276
jasna

>>279
片目づつ処理すんじゃなくて、まるごと処理させてってことか。

>>280
JasnaだけでVR左右分割処理も魚眼動画対応も可能になったんだが

>>281
えっそうなの？どこから設定？

>>282
v0.8から詳細設定にVR180モードがあるやろ

>>281
何も設定いらないよ、そのままD&Dすると自動判定

一つの動画で魚眼と魚眼じゃないの両形式が入り混じってる動画でもOKなのがすばらしい
これは全体を魚眼変換してやる方式ではうまくできなかった

あれ？みなさん、8KVRがメインの戦場じゃないの？
うちは8KVR戦場コース痛いエラー「CUDA out of memory.」発生

>>285
shotcutやdavinci resolve studioでシーン毎にクリップ分けて変換してた。
地味に面倒だったし再エンコで時間も掛かってたから大変ありがたい機能だね。

みんなVRの素材はどこのやつから取ってる？やっぱりアダルトフェスタ？

rfdetrは使わずに、2dもvrも全部zelefans-vr-yolo-v2で動かせばいいんかな？

VRはファイルサイズがデカすぎてローカルファイルじゃなくてストリーミングで見てたんだけどjasnaでリアルタイム処理できるならなんとかならんかなあ

>>288
不安座独占は8KVRじゃなければ7日間レンタルして期間中にダウンロードからの夢例亜

もちろん8KVRもいけるけど、公式からデータをダウンロードする必要があるので最も高いやつをチョイスすることになる

VRはVR video toolbox ceでやってる
AIに魚眼の自動判定できないか聞いたら難しいんだって答えて来たけどね
卵かにわとりかみたいな話で、歪んだモザイクはそもそもモザイクと判定できないからだとかなんとか

>>291
kwsk

>>294
検索するとフェイク情報と数年前にはできたけど今はできない古い情報がわんさか出てくる
AIもフェイク情報を真に受けて嘘情報を言ってくるけどそれらをすべてスルーした先に答えがある
ただし、有料で1ファイル当たり60円弱ぐらい
ファイル単位で料金がかかるので、数十ものファイルが含まれる総集編・ベストものとかには向かない

無料のものがあるなら、こっちが知りたい

>>293
jasna0.8の魚眼モードは自動判定してるやろ
魚眼非魚眼混在動画でもいけるんだから

>>295
オンラインサービスってこと？

>>296
自動とSBS+魚眼の場合とで同じ動画でいくつか試してみたがあまり正確に判定できてないみたい。自動だとかなりモザが残る。

javplayerでモザイク破壊を極めたと自己満足して破壊作業から遠ざかっていたんだけど
最近レベチのモザイク破壊動画をネットで見つけこれはと思い調べたら新しい破壊ソフトが
出ているんだね、達人たちお勧めのソフトを教えてもらえたら嬉しい

>>295
お試し1回無料やったらできた なるほどこうやるのね

>>286
4Kは0.8.1でいけるけど、8Kはエラー出るからtool box使ってる
（tool boxでもエラー出る動画もあるから、シーン毎に細かくカットしてやったりしてるけど）
うちのグラボはVRAM12GBだけど、16GBとかあったら8Kそのままいけるのだろうか？

凄いな、今のJSNAはVRも破壊出来るんだな。アダルトフェスタのVR破壊できて感動したわ。問題はアダルトフェスタは月3本しかダウンロードできないから素材に困る。ここみてると、FANZA VRもやれる方法あるみたいだけど、もう少しヒントくれませんかね。

>>301
Windows jasna v0.8.1でRTX5080+検出モデル：vr-yolo-v2+二次復元：unet-4x+ vr-mode auto
でやってみたけど試した8K 60fpsファイルは実時間の3倍ちょい時間かかったがギリギリ完走した
(二次復元無しなら実時間の倍ぐらい)
VRAM 16GBじゃ3〜4GB不足してるんだがjasnaのVRAM Offloaderが働いて、System Fallback Policyを
「Prefer No System Fallback」にしててもOOM出なかった
マージンないので安定して処理したければ4090/5090クラス以上が要りそうだ

>>303
参考になりました
ありがとうございます

>>302
ストリーミング見放題ですか？今、月3本ならあとちょっとでダウンロード月6本になりますね

例の情報は検索ワードによってヒットしない
元の拡張子・変換したい先の拡張子・何を除去したいのかの3つのワードで検索

次復元のunet-4xって他のどんな違いがありますか？RTX Super Resolutionだとノイズが減ったよりディテール失われたって感じでしたので。

>>306
日本語READMEの「モデルの選び方」に書いてある説明の通りだけと、unet-4xは追加でかかる時間と得られる効果のバランスが良いモデルと個人的には思う
TVAIは持ってないのでunet-4xがTVAIと同程度の出来なのかはわからない
ディテール補うならDiffusion系のアップスケーラーが良いけど、凄い時間がかかるよ

自分用、晒す



https://jpeg.men/1H9No5PmTnJ.jpg

誰かに承認してもらいたいのw？

はい、そうです

アニメ用のモデルを

>>305
そういうツール使って公式アプリに入力した認証情報を抜かれない？

今更だけど、VRの自動って推奨されてるから、自動的に「SBS」か「SBS+魚眼」を識別してくれるものかと思ったけどそうじゃないのな
魚眼のモザが全く処理されていないということは「2D」か「VR（魚眼じゃないSBS）」を識別してくれるってことかな？
「SBS+魚眼」では魚眼じゃないモザも処理されるらしいから、VRなら「SBS+魚眼」、2Dなら「オフ」にするのが正解？
魚眼じゃないVR専門で扱うのならいいかもしれないけど、実際、魚眼も多いので「自動」は使わないな

SBS左右別処理は画面全体に処理がかかるっぽいからチェック服とかで誤認識でボケが入ったことがあった

SBS魚眼はモザだけを処理して修復差分だけを元映像に被せるという革新的な方法をとっているので
モザ領域以外の画質低下が無くなったと感じたし魚眼でもそうでなくてもこればっかり使う

しかし俺環かもしれんが透明なモザイク痕が残るんだよね
イシューにWhy do I see a halo around the deleted mosaic?
って質問があるからその結果に期待なんだが…

Fable先生のjasna --vr-mode auto 挙動ざっくり解説
動画ごとに off / sbs / sbs-fisheye を自動で選ぶ 判定は保守的で、確信がなければoff
・ファイル名にフィッシュアイ系の品番 → sbs-fisheye
・直接SBS系の品番か、VR用メタデータあり、またはぴったり2:1で1080超 → sbs
・それ以外（アスペクト比が2:1じゃない、幅が奇数含む）→ off
sbsは左右の目を別々に処理 sbs-fisheyeはさらにフィッシュアイ空間に再投影してから復元
判定結果はログの VR mode: resolved=... で確認できて、外れたら --vr-mode で明示指定すればOK

選べる

すまん、誤爆

>>314
sbs-fisheye処理後に透明なモザイクの痕が残る症状、俺環でも出るのでFable先生に調べてもらった
俺環での原因は検出でもブレンドでもなく復元モデル(BasicVSR++)自体だった模様
試した動画は8Kアップスケール版なので境界が余計に強調されてる可能性はあるが
メーカーがモザイクを楕円マスクで適用していて、その縁の帯が今の復元モデルには
「実在の輪郭」に見えるらしく律儀に再現してくる模様 再投影なしのsbsでも同じ痕が出ている
これだと本命の対策はVR素材(楕円境界つきモザイク劣化)での復元モデル再学習になっちゃうのかな

>>318
楕円境界っすか
俺環はモザの格子の跡が残るので違うのかな

>>319
sbs-fisheye処理後の格子の跡だったら最近modiに入れた修正(fdcd02e)が効くかも
sbs-fisheyeの今の実装は戻すときの合成方法の問題で、復元した領域に元モザイクの格子エッジの
高周波成分がうっすら残る挙動だった (俺環計測だと格子成分の3〜7割が残存、画面端ほど強い)
修正後は数%まで落ちた
俺環境検証動画は8Kアップスケール版で格子が元から甘くて目視差が出なかったんだけど
格子がくっきり見える症状ならたぶんこの残差を見てるかも

>>320
modiで修正とはソースからのビルドの方に手を入れるとか？　検索してもよく分からんかった

みんな大人だから言わないけど、VR厨はやはり空気読めんのよ
「ADHD　VR　ハマる」でAIに聞いてみ？アメリカの学説出てくるから
スレの流れ、他人の事なんて眼中にないのよ笑
VR買えないから文句言ってるってレス笑ったわ
そらゴーグル被ってるから周り見えんなわ笑

みんな大人だから言わないけど、VR厨はやはり空気読めんのよ
「ADHD　VR　ハマる」でAIに聞いてみ？アメリカの学説出てくるから
スレの流れ、他人の事なんて眼中にないのよ笑
VR買えないから文句言ってるってレス笑ったわ
そらゴーグル被ってるから周り見えんなわ笑

みんな大人だから言わないけど、VR厨はやはり空気読めんのよ
「ADHD　VR　ハマる」でAIに聞いてみ？アメリカの学説出てくるから
スレの流れ、他人の事なんて眼中にないのよ笑
VR買えないから文句言ってるってレス笑ったわ
そらゴーグル被ってるから周り見えんなわ笑

人間てのは過去の失敗から気づいて学んでいくもんやけど
言われて気づけへんのは「そういう事」やで

文句あるんやったら別スレ建てろや
皆の邪魔するなや

どれくらい時間かかるかとか、破壊具合はどうかとか、別にVR動画のモザイク破壊の情報交換の話は、スレ違いじゃないだろ。2D動画ならよくてVR動画は駄目って意味分からん。

また言ってるの？単にVRだと2Dよりエロくて性への貪欲さが異常な結果だと思ってたわ
俺からしたらレスしてる半数以上が様々な意味で「一定のラインに達してない」
よくいるPCに疎い人間で主な特徴は「下げない」
この子も空欄だし言ってる事も目くそ鼻くそレベルの「そういう事」だと思いますね

ID:ywQuD61V0へ、同じ投稿連投しとるし、まぁ落ち着け。みんな大人だから言わないけど、VR機器買えない
現実を突き付けられて、よっぽど悔しかったんだね。わかります。VRで見る
モザイク破壊は楽しいぞ。君も早く楽しめるようになれればいいね。がんばれ。

ほらね
こんな時間に書いてる俺も反省したほうがいいね

致死量のVRレス浴びて静かになったのかと思ったら発狂してて草

しかし、VRに限らず2Dでも0.8.1だと枠の輪郭みたいなのが残る事があるな

重い腰上げて導入したのでわかったこと
なぜOOMするのか
8K VR動画は左右の映像が横に並んだ超巨大な1枚フレーム(8K幅)でできている
これをJasnaにそのまま渡すと、全工程が8K幅のデータを抱え続け、VRAM 16GBでは足りず「CUDA out of memory」で停止する
設定をどれだけ削っても16GBでは無理(24GB以上なら通る可能性あり)

解決策: 分割処理
先に左目・右目の2本のファイルに分割する → 片目は実質4K相当になる
それを普通の2D動画としてJasnaで1本ずつ処理(VRAM使用は13GB程度で余裕)
最後に左右を1本に結合して完成
これは裏技ではなく、zelefans本家のワンクリック機能も内部では同じ方式を使っている正攻法

導入手順(要点だけ)
Jasna公式リリースをダウンロード・展開(CLI版をコマンドラインから使う)
zelefansのVR Video Toolboxをダウンロードし、Python venvを作って依存パッケージをインストール(GUIを使うためではなく、中の分割/結合関数を借りるため)
「分割 → Jasnaで左目 → Jasnaで右目 → 結合」の4ステップを並べたスクリプトを1本書く
以後は./スクリプト 動画.mp4の1コマンドで完成品まで自動

ポイントは3つ: 分割/結合はGUIを開かず関数を直接呼ぶ、Jasnaは--vr-mode offで片目ずつ順番に処理(並列不可)、検出モデルはJasna同梱のVR用zelefans-vr-yolo-v2を指定するだけ

zelefansのツール(GUI/ワンクリック)との違い
処理方式と画質は理論上同じ(呼んでいるコードが同じため)
違いはGUIアプリを経由するかどうか
GUIはアプリ自体がGPUを余分に使うため、同じ処理でも遅く、VRAM消費も多い(実測で分割速度が約半分、VRAM+2GB) 動画によって変わる
Pathの問題で処理、結合のテストは中止

自分で環境を作る利点
GUIのムダがない分、速い
設定(検出モデル・しきい値・画質)を自分好みに固定できる
1コマンド化・複数本の連続処理・完了後の自動シャットダウンなど自動化が自由

ざっくりとした結果
8KVR60fps 44分と27分2本の動画を
7時間で処理できた

報告は以上です

>>321
jasnaをforkしてオープンソースの部分を改造したmodiブランチってのを公開してる
ソースから実行できる人ならjasnaのfork一覧か前スレで探してみて

>>331
枠の輪郭みたいなのが残るようになったのってv0.8.1になってから？
他のツール(lada/lada-ex)やjasna 〜v0.7.2まではどうだったんだろ
>>218 に書いたけど v0.8.0 で動画の入出力周りが全面的に作り直されたけど
v0.7.2 → v0.8.1 で2Dの復元周りの処理は変わってないんだよね

VRじゃないけど、数日前に破壊したやつ、ガラスみたいな質感のモザイクの残骸みたいなのが残った。たまたま相性の悪いモザイクだったのかなと思ってたけど、仕様なのかな？アップデートで改善するといいが。

0.8.1試したけど0.5.0-alpha10と違いが判らんかった
VRやらないなら変えなくてもよさそう？

Mac GUI

https://github.com/mioh-labs/mioh

公開します。

>>245ですが、2080ti使ってて、0.8.1だと結局全てのファイルでクラッシュします
20xxで0.8.1稼働する人います？
うちの環境だとFP16をオフにすると完走出来そうです

>>338 ありがとう　早速試してみます

>>335
7系では一度もなったことがなくて、0.8.0はスルーして0.8.1で10本ほど破壊して一つの動画だけなりました
so○系の4k素材です
同じシリーズや別メーカーなど検証してみます

4K素材はうまく破解できなかった経験があるから、FHD素材を選ぶようにしてる。

>>339
2080Tiの件、v0.8.1でtorchやTensorRTのバージョンは変わっていないので、このGPUのFP16が動かなくなった線は薄い
FP16オフだとTensorRTエンジンを読む経路自体が迂回されるので、怪しいのはエンジンキャッシュの方と思う
(初回ビルドに時間がかかるのはスマンが待ってもらうとして) model_weights内の.engineファイルと*_sub_enginesフォルダを全部消して
FP16オンのまま実行するとどうなるかな？ 特に別環境や旧バージョンから.engineファイルをコピーしてると怪しい

>>341
枠の輪郭が残る件、v0.8.0 でデコード/エンコード周りを全面刷新した際のカラーレンジ判定に食い違いがありそう
ファイルのメタデータの付き方次第で発生する(しない動画では全く出ない)ので、10本中1本という頻度もあり得そう
もし問題の動画がまだ手元にあれば、
ffprobe -select_streams v:0 -show_entries stream=pix_fmt,color_range,color_space <ファイル>
の出力見るとFable先生が原因を確定できるって

>>343
コンパイルは何度やり直してもだめでしたね

>>339　gtx1660 (Vram6G)でも0.8.1は動く。ただしモデルはYolo限定。rfdetrだとコンパイルが完了せず、メモリ不足のエラーがでる。なので、Yoloで試すと良いかも

GTX16系はTuringなんだけどTensorコア無しやな

以前ゲームを安定動作させるためにGPUのコアクロックを-25にしてたんだけど
再度-25にしたらFP16オンにしても、今までみたいに即エラー吐かずに、進捗が50%越えました

Windows11を想定するけど、例えばクラッシュしたタイミングでシステムログになんか情報残ってない？何起因のクラッシュかくらいは切り分けできる可能性があると思う。
時刻でどのログか確認してAIに食わせれば何かヒントはでるかも。
linuxならdmesgで同じようなことする。

>>347
クロック下げて処理が通るならGPUの安定性の問題だね
夏だし暑いしHWモニタとかで処理中の温度を確認したほうが良いかも
2080Tiだとだいぶ時間が経っているのでグリス硬化で hotspot 温度が上がっているパターンとか

RTX5070（VRAM12GB）だけど SBS vp9 5400x2700 59.94fps の VR は GUI でそのままいけた

AMDのMI100って安くてVRAM多いのですが持ってる方いますか？
イバラの道ですかね

15ドル寄付(?)したはいいけど、モザイクのある静止画を持っていなかった
試したいけど試せないｗ

動画のスクショ

>>352
FANZAに画像サンプルあるだろ

8K VRで2次をVSRにしても20G超えてくるのだがTVAIにしたらどれくらいVRAMいるのだろうか。

>>355
1080pのケースだけどJasnaのREADME「モデルの選び方」に二次復元使った時の処理速度と VRAM の比較が載ってるよ
RTX Super-ResとTVAIのVRAM使用量はさほど変わらないみたいだから、ここから類推すると同じくらいのオーダーじゃないの
試したら結果教えてくれ

>>337
俺も0.5.1でそれなりに満足していた派だったので、0.6と0.7はスルーしていたが0.8のrfdefr-v5とUNet 4xが気になってインストール
コーヒー奢るのは必須だけど、移行コストはほぼ無いので試す価値あり
結果はかなり満足で0.5.1に戻るつもりはないな

>>356
最新Topaz VideoとTopaz Video Ai7.1.5の両方ともTAVI worker thread crushed とエラー表示されて実行できなかった。
また今度やってみる。