【超解像】Lada part4

jasna-cliのmodel_weightsフォルダ参照問題を改良するパッチを作った
v0.6.0-alpha5へのパッチとWindows版のビルド手順書を置いたので興味がある人は試してみて
jasnaが組み込んでいるパッケージのライセンス回りが良くわからんので
ビルドしたものを配布するのは止めておく

<注>
Windowsでしか試してないです
わからないところはAIに聞くなりして、基本自分で何とかできる人向けです
パッチや手順書に間違いがあったらゴメン

<今のjasna挙動>
--detection-model-path / --restoration-model-path のデフォルトが jasna-cli.exe と
同じフォルダ内の model_weights\ 相対パス
jasna-cli を PATH に通して任意フォルダから実行すると、コマンドを実行したフォルダの中の
model_weights\ を探して FileNotFoundError

<改良版>
以下優先順でmodel_weights\フォルダを探す
1. 環境変数 JASNA_MODEL_WEIGHTS_DIR で指定したフォルダ
2. jasna-cli.exe と同じフォルダの中の model_weights\
3. コマンドを実行したフォルダの中の model_weights\
4. jasna ソースの親フォルダの中の model_weights\ (uv pip install -e . でソースから動かす人向け)

ttps://13.gigafile.nu/0902-ce3ed12899d6afbe880bd397d559ff2a0
ダウンロードパス：jasn

jasnaのRTX SR UltraとTVAIのiris2をgrid playerで見比べてるけど全く違いが分からん

TVAIが一番効くのはahq12だと思う。GUIでは選択できないが、cliで--tvai-model ahq-12 --tvai-scale 4を指定してみればRSRよりシャープなのが分かる

破解にRSR、破解後の全体仕上げにTVAIの
Starlight Precise2.5を使う俺のようなやつは
少数派なのかな？

そんな使い方してたらGPUはすぐサヨナラされて星になってしまう。

sbsのVRでfisheyeオンしても□が傾く件だが、2つのパターン（またはその複合）を確認した
いずれも、fisheye変換前の片目部分の左右にあるカマボコのサイズを調べる
1.カマボコの左右の横サイズ（厚さ）が異なる場合
　画面左右の中心部分にあるモザは縦がまっすぐになるはずが斜めに傾くことになる
　この場合は、fisheye変換時に視線を横向きに振ってやる必要がある
2.カマボコの画面左右端の縦サイズが普通のものと違う（普通より大きい）
　上下角（v_fov）はデフォルトでは180度だが、モザ処理後hequirectに変換する際にそれを小さくしたと思われる
　この場合は、元の値を探し出し、それを使ってfisheye変換しないと元に戻らない

>>654
今は数分の動画だけの処理が現実的。
NVIDIA3080tiで、1～2時間ものの動画はさすがにやってられない。

h264を100%とすると、hevcなら約50%、av1なら約30%程度のビットレートで同じ程度の画質が得られると聞いてVRの最終ファイルをav1_nvencにしてエンコしてみた
処理時間は、hevc_nvencの時と変わらなかった
しかし、うちのQuest2では、VR再生アプリにはav1対応と書かれていたが、ハードウェアの方が対応していないらしく、8kVRはもちろん4kVRのav1すら再生できなかった

まあav1対応してんのはquest3だからな…3sはどうだっけ

650だがClaude Opus 4.8がリリースされたんでJasnaのLinux版のビルドガイドを頼んだらさくっと作ってくれた
俺環で次まで検証完了:
・vali / PyNvVideoCodec / jasna のソースビルド
・凍結バイナリ生成（dist_linux/jasna/jasna、GUI＋CLI 兼用）
・GUI 全ダイアログ表示、RTX Super Res、lada-yolo / RF-DETR 検出、実動画の復元処理

試したい人がいたら以下からゲットして
ガイド
・ttps://github.com/sh202603/jasna/blob/docs/docs/BUILDING_WINDOWS_ja.md

パッチ (Linux環境固有のパッチが一つ増えた)
・ttps://github.com/sh202603/jasna/blob/docs/patches/build-and-runtime-improvements.patch
・ttps://github.com/sh202603/jasna/blob/docs/patches/fix_linux_gui_and_rtx_vsr.patch

Linux版のガイドはこっちだった
・ttps://github.com/sh202603/jasna/blob/docs/docs/BUILDING_LINUX_ja.md

俺は正式リリース版のLinux版を待つわ

>>661
了解。興味ある人だけチャレンジしてみて

Max 5xのサブスク期限が来る前に勢いで機能追加も頼んだらあっさりやってくれた
さすクロ
BT.601の動画10本位で軽くヒートラン回してWin/Linux両方で動作確認できてます

jasna の出力段を拡張した改造ブランチです
本体の GPU 完結パイプライン（NVDEC→復元→NVENC）はそのまま、エンコード出力の自由度を上げてます
■変更点
　AV1出力対応（--codec av1、ファイル出力のみ）
　8bit(NV12)出力＋ビット深度選択（--bit-depth auto/8/10、既定はソース連動）
　色空間を保持（BT.601 / BT.709 / BT.2020 を入力から維持してタグ付け）
　出力コンテナは拡張子で選択（.mkv / .mp4、AV1-in-MP4も可）
　torch 2.12 / CUDA 13 スタックで再ビルド
■検証
　Win/Linux両方でCLI ＋ GUI 連続処理 ＋ 凍結バイナリ（PyInstaller）動作確認済
　HEVC 8/10bit・BT.601/2020・AV1(8/10bit)・--bit-depth両方向の実機検証済
■公開先
　ttps://github.com/sh202603/jasna （branch: feature/av1-nv12-colorspace）
■詳細
　 docs/CODECS_AND_COLORSPACE_ja.md ／ 変更点: docs/CHANGES_vs_upstream_ja.md

元動画の都度BT.709への変換は面倒だね。

>>663
バッチでバッチリやろ

662です
jasna v0.6.0系で入ったexperimental blendingの性能デグレ原因もわかっちゃったんで
昨日連絡した版(feature/av1-nv12-colorspace)に処理速度の改善を入れときました
クローン済みの人は取り込んどくのがおすすめです

ブレンドマスク生成の畳み込みの計算(2次元blurフィルタ)を素直にK×Kでやっていたのを分離化(一次元フィルタの計算×2回)に変えた
こうすると計算量がO(K^2)→O(2K)に減るのでデグレ分はほぼ解消
実測(同じ1080pのクリップ、31524 フレーム、凍結バイナリ)：処理時間がだいたい3〜4割短縮
- Windows 7:37 → 5:13
- Linux 6:26 → 4:00
出力も変わりません(差はエンコーダの実行ごとのゆらぎ由来) 画質も挙動も変化なしです
対策版コミット：e92dccc

#本家にも報告しておいた

>>662
すみません
これの使用方法を具体的におしえてください

>>666
興味を持ってくれてありがとう
以下リンクにビルドガイドを公開しているからこれを見ながら自分で
jasna-cliとjasna-guiを作るという使い方です
わからないところはAIに聞いて解決するスタイルでお願いします
ttps://github.com/sh202603/jasna/blob/feature/av1-nv12-colorspace/docs/BUILDING_WINDOWS_ja.md

このガイド自体もClaude CodeでOpusに書いてもらってます
各手順の実行→確認はさむとか、途中自分が詰まった所をトラシューとしてまとめるとか
結構くどい位な内容になってます

個人的な実験ブランチなのでバイナリパッケージ公開の予定は無いっす
そのうち本家が対応してくれるかも？

本家のLADAは全然更新されないな

662です
ビルトインのフレーム生成機能をとりあえず追加した (--frame-gen 2x/4x)
中身はRIFE補間で、元の尺・音声はそのままfpsだけ倍にする
(モニタがしょぼいので4xは試してない)
ファイル出力のみ対応
手順とスクリプトは置いといたので重みは自分で用意してね
modiブランチに入れてある

ただ最適化はまだ
1080p(30fps, 31524 フレーム)でざっくり実測（Linux / lada-yolo-v4 + rtx-super-res 4x ultra）:

　frame-gen none (4:00) vs frame-gen 2x (26:40)

全解像度のRIFEをエンコードと同じスレッドで回してるだけなんで
ベースが速いほど補間がモロに効いてガクッと落ちる模様
TRT化とか専用スレッド分離は今後の課題
あと frame-gen 2xにするとrtx-super-res の ultra はVRAM 8GBだと普通にきつい

まあ「とりあえず動く版」です

Jasna の正式リリースまだかよ
夏になっちまうじゃねーか
冬なら暖房機がわりになったのに

GANの学習むずすぎ！何度も失敗してる

https://ja.unifab.ai/video-refiner-ai.htm
>UniFab 高精細復元AI（ローカル版）
>AIを使ってブロッキーアーティファクトを除去し、映像の詳細を復元します。

今までのように一度クラウドに投げる必要が無くなったみたいだけど
はたしてこれは使い物になるのでしょうか。

興味ない

>>665
ubuntu 26.04 にドキュメント通りにコピペのみでインストールできました。ありがとう。
ただ一点、レポジトリ設定の影響か不明だが
python3.14がインストールされるのでこれを3.13に変更する必要があった。

>>672
試用してみたが検出精度が悪すぎてLADA/JASNAと比べるのが失礼なレベル
復元部分の品質は悪くないのとVRAM使用量が少なく処理速度が速いことが救いとは言える

少なくともこのスレの住民の皆様が料金を支払う価値は全く無い

>>674
インストール報告あざます
助かりました原因わかりました
Ubuntu 26.04 って既定の python3 が 3.14 なんですよね
ガイドがそれを想定してなくて、3.14 だと vali / PyNvVideoCodec と
torch cu130 wheel が噛み合わず動きません
なので 3.13 に変えたのは正解です
modi ブランチに対策入れときました
指摘ありがとう、地味に大事なやつでした

Linux jasnaで処理動画カクカク現象に遭遇したら
CUDA_LAUNCH_BLOCKING=1 を先頭につけてjasnaを実行してください
処理速度落ちるけど現状の回避策

Linux jasnaの処理動画カクカク問題を対策したら
WindowsでGPUスケジューリングをONにした時のカクカク問題もかなり改善された
テスト動画で見た限りはWindowsとLinuxが同等の仕上がりになった
が、この問題は完全には解決できないようなので、品質を求めるならGPUスケジューリングOFF
(LinuxならCUDA_LAUNCH_BLOCKING=1)は必須

jasna v0.6.0系でGPUスケジューリングをONにしてても
最初のシステムチェックで弾かれるのと最後の合成をずれないように出来ないのかね

>>679
GUIのシステムチェックはソースを直さないとガードが外れない感じだね
CLIはffmpeg/ffprobe/mkvmergeのバージョン番号しか見てないからGPUスケジューリングがONでも動く
が、Claude Codeに調べてもらったところjasna v0.6.0系の動画処理パイプラインは問題を抱えていて
GPU処理の順番待ちができていない所があり、まだ処理中のデータを別の処理が読んだり上書きすることがある
同じ動画でも実行ごとに微妙に中身が変わり、検出位置が不安定になっているようだ(これがカクカクになる原因)
頑張って問題箇所2つ見つけて9割がたの処理はうまくいくところまできたが、完全解決は至っていない
GPUスケジューリングをOFF(LinuxだとCUDA_LAUNCH_BLOCKING=1)にするとこのGPU処理の順番待ち問題が出なくなるのできれいに処理できる

>>680
詳しい解説をありがとう
暫くは再起動しながらやっていきます

jasna v0.6.0で音ズレする原因がわかるかたおられますか？

jasnaの作者さん活動再開したっぽい

jasna v0.6.1、システムチェックは通るけどファイル読ませて実行しようとするとといきなりプログラムごと落ちる

jasna v0.6.1変更点を勝手に解説

＜重要事項＞
Torchスタックが更新されたのでエンジンファイルの使い回し(コピー)不可
以前のバージョンでコンパイルされたエンジンファイルがあったら消すこと

＜変更点＞
9fdfda2 NVIDIA ドライバ要件を 580+ に緩和 (#117)
02b7a91 frozen バイナリ時に jasna-cliがある場所のmodel_weightsディレクトリを見に行く >>650 の作者さん対策版
94a4222 PATH に無い nvidia-smi を一般的なインストール先から探索
23f93f7 GPU適用の .cube カラーLUT対応（CLI/GUI、#142）− 新機能
5879815 unet simplification（unet4x_secondary_restorer を簡素化）
f4b57d7 separable conv（blending）>>665 の対策が本家に入った 作者さんのGPUだと4kの効果が顕著
903b005 fp16/fp32 fixes（restorer/crop_buffer 周りの dtype 整理）
37d2098 update pytorch（torch 2.12 化）>>662 の内容と一緒
ce239ab bt601 support（HEVC VUI 書き換え＋BT.601 経路）>>662 の内容の一部を作者さんが実装
45abf01 stream sync（video_decoder.py）→ d346efc で 即 Revert（=v0.6.1）
d2029a2 mute warnings（_suppress_noise.py、torch/tensorrt の起動時警告抑制）

＜特記事項＞
・Linux版バイナリ配布は今回もなし
・カクカク問題は作者さんもまだ格闘中 (45abf01入れたが即リバート)
　なので、Windowws/Linux設定でのGPUスケジューリング対策は継続必要

>>665
すごいな

0.5.0からどう変わったかおせーてください

githuのログくらい確認しようぜ
VRAM使用量が減って速度が上がった感じか
特に4K

Jasnaの話がよく分からず、開発途中だから手を出さずに読み流してるんだけど
結局、Jasnaって本家Ladaと比べてどういう機能が便利でみんな使ってるのん？

俺は処理の速さとRTX Super ResによるSecondary Restoration機能 (Lada-EXもそうだが)

本家は線ががたがたになるときあるけどそれが起きない