【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>647

作者が転職して忙しみたい。

更新は続けると言ってたから
気長に待て。

jasna使おうとしたらエラー出たが、文字化けしてて、どういうエラーなのか全くわからん。先週やった時は問題なかったのにな。
フォルダごと削除して、プログラムを解凍し直したら動いたけど、何が原因だったのか。

jasna-cliのmodel_weightsフォルダ参照問題を改良するパッチを作った
v0.6.0-alpha5へのパッチとWindows版のビルド手順書を置いたので興味がある人は試してみて
jasnaが組み込んでいるパッケージのライセンス回りが良くわからんので
ビルドしたものを配布するのは止めておく

<注>
Windowsでしか試してないです
わからないところはAIに聞くなりして、基本自分で何とかできる人向けです
パッチや手順書に間違いがあったらゴメン

<今のjasna挙動>
--detection-model-path / --restoration-model-path のデフォルトが jasna-cli.exe と
同じフォルダ内の model_weights\ 相対パス
jasna-cli を PATH に通して任意フォルダから実行すると、コマンドを実行したフォルダの中の
model_weights\ を探して FileNotFoundError

<改良版>
以下優先順でmodel_weights\フォルダを探す
1. 環境変数 JASNA_MODEL_WEIGHTS_DIR で指定したフォルダ
2. jasna-cli.exe と同じフォルダの中の model_weights\
3. コマンドを実行したフォルダの中の model_weights\
4. jasna ソースの親フォルダの中の model_weights\ (uv pip install -e . でソースから動かす人向け)

ttps://13.gigafile.nu/0902-ce3ed12899d6afbe880bd397d559ff2a0
ダウンロードパス：jasn

jasnaのRTX SR UltraとTVAIのiris2をgrid playerで見比べてるけど全く違いが分からん

TVAIが一番効くのはahq12だと思う。GUIでは選択できないが、cliで--tvai-model ahq-12 --tvai-scale 4を指定してみればRSRよりシャープなのが分かる

破解にRSR、破解後の全体仕上げにTVAIの
Starlight Precise2.5を使う俺のようなやつは
少数派なのかな？

そんな使い方してたらGPUはすぐサヨナラされて星になってしまう。

sbsのVRでfisheyeオンしても□が傾く件だが、2つのパターン（またはその複合）を確認した
いずれも、fisheye変換前の片目部分の左右にあるカマボコのサイズを調べる
1.カマボコの左右の横サイズ（厚さ）が異なる場合
　画面左右の中心部分にあるモザは縦がまっすぐになるはずが斜めに傾くことになる
　この場合は、fisheye変換時に視線を横向きに振ってやる必要がある
2.カマボコの画面左右端の縦サイズが普通のものと違う（普通より大きい）
　上下角（v_fov）はデフォルトでは180度だが、モザ処理後hequirectに変換する際にそれを小さくしたと思われる
　この場合は、元の値を探し出し、それを使ってfisheye変換しないと元に戻らない

>>654
今は数分の動画だけの処理が現実的。
NVIDIA3080tiで、1～2時間ものの動画はさすがにやってられない。

h264を100%とすると、hevcなら約50%、av1なら約30%程度のビットレートで同じ程度の画質が得られると聞いてVRの最終ファイルをav1_nvencにしてエンコしてみた
処理時間は、hevc_nvencの時と変わらなかった
しかし、うちのQuest2では、VR再生アプリにはav1対応と書かれていたが、ハードウェアの方が対応していないらしく、8kVRはもちろん4kVRのav1すら再生できなかった

まあav1対応してんのはquest3だからな…3sはどうだっけ

650だがClaude Opus 4.8がリリースされたんでJasnaのLinux版のビルドガイドを頼んだらさくっと作ってくれた
俺環で次まで検証完了:
・vali / PyNvVideoCodec / jasna のソースビルド
・凍結バイナリ生成（dist_linux/jasna/jasna、GUI＋CLI 兼用）
・GUI 全ダイアログ表示、RTX Super Res、lada-yolo / RF-DETR 検出、実動画の復元処理

試したい人がいたら以下からゲットして
ガイド
・ttps://github.com/sh202603/jasna/blob/docs/docs/BUILDING_WINDOWS_ja.md

パッチ (Linux環境固有のパッチが一つ増えた)
・ttps://github.com/sh202603/jasna/blob/docs/patches/build-and-runtime-improvements.patch
・ttps://github.com/sh202603/jasna/blob/docs/patches/fix_linux_gui_and_rtx_vsr.patch

Linux版のガイドはこっちだった
・ttps://github.com/sh202603/jasna/blob/docs/docs/BUILDING_LINUX_ja.md

俺は正式リリース版のLinux版を待つわ

>>661
了解。興味ある人だけチャレンジしてみて

Max 5xのサブスク期限が来る前に勢いで機能追加も頼んだらあっさりやってくれた
さすクロ
BT.601の動画10本位で軽くヒートラン回してWin/Linux両方で動作確認できてます

jasna の出力段を拡張した改造ブランチです
本体の GPU 完結パイプライン（NVDEC→復元→NVENC）はそのまま、エンコード出力の自由度を上げてます
■変更点
　AV1出力対応（--codec av1、ファイル出力のみ）
　8bit(NV12)出力＋ビット深度選択（--bit-depth auto/8/10、既定はソース連動）
　色空間を保持（BT.601 / BT.709 / BT.2020 を入力から維持してタグ付け）
　出力コンテナは拡張子で選択（.mkv / .mp4、AV1-in-MP4も可）
　torch 2.12 / CUDA 13 スタックで再ビルド
■検証
　Win/Linux両方でCLI ＋ GUI 連続処理 ＋ 凍結バイナリ（PyInstaller）動作確認済
　HEVC 8/10bit・BT.601/2020・AV1(8/10bit)・--bit-depth両方向の実機検証済
■公開先
　ttps://github.com/sh202603/jasna （branch: feature/av1-nv12-colorspace）
■詳細
　 docs/CODECS_AND_COLORSPACE_ja.md ／ 変更点: docs/CHANGES_vs_upstream_ja.md

元動画の都度BT.709への変換は面倒だね。

>>663
バッチでバッチリやろ

662です
jasna v0.6.0系で入ったexperimental blendingの性能デグレ原因もわかっちゃったんで
昨日連絡した版(feature/av1-nv12-colorspace)に処理速度の改善を入れときました
クローン済みの人は取り込んどくのがおすすめです

ブレンドマスク生成の畳み込みの計算(2次元blurフィルタ)を素直にK×Kでやっていたのを分離化(一次元フィルタの計算×2回)に変えた
こうすると計算量がO(K^2)→O(2K)に減るのでデグレ分はほぼ解消
実測(同じ1080pのクリップ、31524 フレーム、凍結バイナリ)：処理時間がだいたい3〜4割短縮
- Windows 7:37 → 5:13
- Linux 6:26 → 4:00
出力も変わりません(差はエンコーダの実行ごとのゆらぎ由来) 画質も挙動も変化なしです
対策版コミット：e92dccc

#本家にも報告しておいた

>>662
すみません
これの使用方法を具体的におしえてください

>>666
興味を持ってくれてありがとう
以下リンクにビルドガイドを公開しているからこれを見ながら自分で
jasna-cliとjasna-guiを作るという使い方です
わからないところはAIに聞いて解決するスタイルでお願いします
ttps://github.com/sh202603/jasna/blob/feature/av1-nv12-colorspace/docs/BUILDING_WINDOWS_ja.md

このガイド自体もClaude CodeでOpusに書いてもらってます
各手順の実行→確認はさむとか、途中自分が詰まった所をトラシューとしてまとめるとか
結構くどい位な内容になってます

個人的な実験ブランチなのでバイナリパッケージ公開の予定は無いっす
そのうち本家が対応してくれるかも？

本家のLADAは全然更新されないな

662です
ビルトインのフレーム生成機能をとりあえず追加した (--frame-gen 2x/4x)
中身はRIFE補間で、元の尺・音声はそのままfpsだけ倍にする
(モニタがしょぼいので4xは試してない)
ファイル出力のみ対応
手順とスクリプトは置いといたので重みは自分で用意してね
modiブランチに入れてある

ただ最適化はまだ
1080p(30fps, 31524 フレーム)でざっくり実測（Linux / lada-yolo-v4 + rtx-super-res 4x ultra）:

　frame-gen none (4:00) vs frame-gen 2x (26:40)

全解像度のRIFEをエンコードと同じスレッドで回してるだけなんで
ベースが速いほど補間がモロに効いてガクッと落ちる模様
TRT化とか専用スレッド分離は今後の課題
あと frame-gen 2xにするとrtx-super-res の ultra はVRAM 8GBだと普通にきつい

まあ「とりあえず動く版」です

Jasna の正式リリースまだかよ
夏になっちまうじゃねーか
冬なら暖房機がわりになったのに

GANの学習むずすぎ！何度も失敗してる

https://ja.unifab.ai/video-refiner-ai.htm
>UniFab 高精細復元AI（ローカル版）
>AIを使ってブロッキーアーティファクトを除去し、映像の詳細を復元します。

今までのように一度クラウドに投げる必要が無くなったみたいだけど
はたしてこれは使い物になるのでしょうか。

興味ない

>>665
ubuntu 26.04 にドキュメント通りにコピペのみでインストールできました。ありがとう。
ただ一点、レポジトリ設定の影響か不明だが
python3.14がインストールされるのでこれを3.13に変更する必要があった。

>>672
試用してみたが検出精度が悪すぎてLADA/JASNAと比べるのが失礼なレベル
復元部分の品質は悪くないのとVRAM使用量が少なく処理速度が速いことが救いとは言える

少なくともこのスレの住民の皆様が料金を支払う価値は全く無い

>>674
インストール報告あざます
助かりました原因わかりました
Ubuntu 26.04 って既定の python3 が 3.14 なんですよね
ガイドがそれを想定してなくて、3.14 だと vali / PyNvVideoCodec と
torch cu130 wheel が噛み合わず動きません
なので 3.13 に変えたのは正解です
modi ブランチに対策入れときました
指摘ありがとう、地味に大事なやつでした

Linux jasnaで処理動画カクカク現象に遭遇したら
CUDA_LAUNCH_BLOCKING=1 を先頭につけてjasnaを実行してください
処理速度落ちるけど現状の回避策

Linux jasnaの処理動画カクカク問題を対策したら
WindowsでGPUスケジューリングをONにした時のカクカク問題もかなり改善された
テスト動画で見た限りはWindowsとLinuxが同等の仕上がりになった
が、この問題は完全には解決できないようなので、品質を求めるならGPUスケジューリングOFF
(LinuxならCUDA_LAUNCH_BLOCKING=1)は必須

jasna v0.6.0系でGPUスケジューリングをONにしてても
最初のシステムチェックで弾かれるのと最後の合成をずれないように出来ないのかね

>>679
GUIのシステムチェックはソースを直さないとガードが外れない感じだね
CLIはffmpeg/ffprobe/mkvmergeのバージョン番号しか見てないからGPUスケジューリングがONでも動く
が、Claude Codeに調べてもらったところjasna v0.6.0系の動画処理パイプラインは問題を抱えていて
GPU処理の順番待ちができていない所があり、まだ処理中のデータを別の処理が読んだり上書きすることがある
同じ動画でも実行ごとに微妙に中身が変わり、検出位置が不安定になっているようだ(これがカクカクになる原因)
頑張って問題箇所2つ見つけて9割がたの処理はうまくいくところまできたが、完全解決は至っていない
GPUスケジューリングをOFF(LinuxだとCUDA_LAUNCH_BLOCKING=1)にするとこのGPU処理の順番待ち問題が出なくなるのできれいに処理できる

>>680
詳しい解説をありがとう
暫くは再起動しながらやっていきます

jasna v0.6.0で音ズレする原因がわかるかたおられますか？

jasnaの作者さん活動再開したっぽい

jasna v0.6.1、システムチェックは通るけどファイル読ませて実行しようとするとといきなりプログラムごと落ちる

jasna v0.6.1変更点を勝手に解説

＜重要事項＞
Torchスタックが更新されたのでエンジンファイルの使い回し(コピー)不可
以前のバージョンでコンパイルされたエンジンファイルがあったら消すこと

＜変更点＞
9fdfda2 NVIDIA ドライバ要件を 580+ に緩和 (#117)
02b7a91 frozen バイナリ時に jasna-cliがある場所のmodel_weightsディレクトリを見に行く >>650 の作者さん対策版
94a4222 PATH に無い nvidia-smi を一般的なインストール先から探索
23f93f7 GPU適用の .cube カラーLUT対応（CLI/GUI、#142）− 新機能
5879815 unet simplification（unet4x_secondary_restorer を簡素化）
f4b57d7 separable conv（blending）>>665 の対策が本家に入った 作者さんのGPUだと4kの効果が顕著
903b005 fp16/fp32 fixes（restorer/crop_buffer 周りの dtype 整理）
37d2098 update pytorch（torch 2.12 化）>>662 の内容と一緒
ce239ab bt601 support（HEVC VUI 書き換え＋BT.601 経路）>>662 の内容の一部を作者さんが実装
45abf01 stream sync（video_decoder.py）→ d346efc で 即 Revert（=v0.6.1）
d2029a2 mute warnings（_suppress_noise.py、torch/tensorrt の起動時警告抑制）

＜特記事項＞
・Linux版バイナリ配布は今回もなし
・カクカク問題は作者さんもまだ格闘中 (45abf01入れたが即リバート)
　なので、Windowws/Linux設定でのGPUスケジューリング対策は継続必要

>>665
すごいな

0.5.0からどう変わったかおせーてください

githuのログくらい確認しようぜ
VRAM使用量が減って速度が上がった感じか
特に4K

Jasnaの話がよく分からず、開発途中だから手を出さずに読み流してるんだけど
結局、Jasnaって本家Ladaと比べてどういう機能が便利でみんな使ってるのん？

俺は処理の速さとRTX Super ResによるSecondary Restoration機能 (Lada-EXもそうだが)

本家は線ががたがたになるときあるけどそれが起きない

pt/pthファイル差し替えてlada-yolo-v4で再コンパイルしてみたがonnxでエラーが出たわ

>>689

>>589

>>692
v0.6.1のソース確認したが、jasna.specファイルにyolo系のエンジンビルドに必要なパッケージ(”onnx", "onnxslim", "onnxruntime")が定義されてないから
このspecファイルを使って凍結バイナリを作っていたらyolo系はコンパイル通らないな

作者はrfdetr推しだと思うし、仕様か不良かグレー

lada-yoloが使えないと処理が遅くてしょうがない

>>690
>>693
ありがとう。どっちかつーとモザイク検出力よりも処理速度重視なのね

v0.6.1　進化あったのかな･･･？あまり変化を感じなかったが

>>697
v0.6.1の修正内容は性能デグレ対策、バグ対、BT.601対応、model_weightsの読み方改善など
細々したものが多いが作者が更新再開したことに意義があるんじゃね
今後に期待

>>680 の続き
残っていたカクカクはvaliのデコーダをcuvid → nvdec に変えることで解消できた
従来の cuvid だと動画の先読み処理がGPU計算とぶつかり、これが元で表示のズレが起きていたようだ
これを nvdec 経路を作って切り替えたら順番どおりに安定して処理できるようになりズレが解消
Windows/Linux側の設定でGPUスケジューリング対策をしなくても俺環ではカクカクが出なくなった！

なお、この方式は vali の修正と再ビルド・再インストールが必要

作者に報告したいが、現在githubのアカウントがシャドバン中・・・
金曜に+modiブランチの方に中華ニキがLinuxカクカク問題のイシューを報告してきたので
そのやり取りしていたら無邪気にNSFWな動画のBefore/Afterリンクを貼り付けてきた
すぐ消すように伝えて消してくれたけどgithubの監視に引っ掛かった模様

申し立てしたけど、いつ直ることやら

v0.6.1のソース確認したが、lada-yolo-v4で再コンパイルしてみたがonnxでエラーが出た
どうすればいいでしょうか？

試してみたけど、コンパイル済みエンジンがコピー不可で、しかもyoloはコンパイルできない
どうやら締め出しのようなのでαに戻しました

yolo不可か、見送りだな

ストリーミング再生とシーク時の反応が良くなっているのでストリーミング再生時だけv0.6.1を使おうかと思ったけど、
しばらく再生していると、映像と音声がかなりずれてしまっていた
元動画によるのだろうか？

yolo-v4より標準のrfdetr-v5の方が性能高いから無理してyolo-v4を使う必要ないぞ

jasna v6.0.2が出た
更新早いな
・カクカク問題(たぶん)解決
　Windows/Linux側の設定でGPUスケジューリング対策不要に
・yoloモデル対応(onnxは入れ忘れだったみたい)

>>704
別のyoloモデルに差し替えて使いたい層がいる
検出モデルは好みもあるので良し悪し議論は荒れる