【超解像】Lada part4

そんな使い方してたらGPUはすぐサヨナラされて星になってしまう。

sbsのVRでfisheyeオンしても□が傾く件だが、2つのパターン（またはその複合）を確認した
いずれも、fisheye変換前の片目部分の左右にあるカマボコのサイズを調べる
1.カマボコの左右の横サイズ（厚さ）が異なる場合
　画面左右の中心部分にあるモザは縦がまっすぐになるはずが斜めに傾くことになる
　この場合は、fisheye変換時に視線を横向きに振ってやる必要がある
2.カマボコの画面左右端の縦サイズが普通のものと違う（普通より大きい）
　上下角（v_fov）はデフォルトでは180度だが、モザ処理後hequirectに変換する際にそれを小さくしたと思われる
　この場合は、元の値を探し出し、それを使ってfisheye変換しないと元に戻らない

>>654
今は数分の動画だけの処理が現実的。
NVIDIA3080tiで、1～2時間ものの動画はさすがにやってられない。

h264を100%とすると、hevcなら約50%、av1なら約30%程度のビットレートで同じ程度の画質が得られると聞いてVRの最終ファイルをav1_nvencにしてエンコしてみた
処理時間は、hevc_nvencの時と変わらなかった
しかし、うちのQuest2では、VR再生アプリにはav1対応と書かれていたが、ハードウェアの方が対応していないらしく、8kVRはもちろん4kVRのav1すら再生できなかった

まあav1対応してんのはquest3だからな…3sはどうだっけ

650だがClaude Opus 4.8がリリースされたんでJasnaのLinux版のビルドガイドを頼んだらさくっと作ってくれた
俺環で次まで検証完了:
・vali / PyNvVideoCodec / jasna のソースビルド
・凍結バイナリ生成（dist_linux/jasna/jasna、GUI＋CLI 兼用）
・GUI 全ダイアログ表示、RTX Super Res、lada-yolo / RF-DETR 検出、実動画の復元処理

試したい人がいたら以下からゲットして
ガイド
・ttps://github.com/sh202603/jasna/blob/docs/docs/BUILDING_WINDOWS_ja.md

パッチ (Linux環境固有のパッチが一つ増えた)
・ttps://github.com/sh202603/jasna/blob/docs/patches/build-and-runtime-improvements.patch
・ttps://github.com/sh202603/jasna/blob/docs/patches/fix_linux_gui_and_rtx_vsr.patch

Linux版のガイドはこっちだった
・ttps://github.com/sh202603/jasna/blob/docs/docs/BUILDING_LINUX_ja.md

俺は正式リリース版のLinux版を待つわ

>>661
了解。興味ある人だけチャレンジしてみて

Max 5xのサブスク期限が来る前に勢いで機能追加も頼んだらあっさりやってくれた
さすクロ
BT.601の動画10本位で軽くヒートラン回してWin/Linux両方で動作確認できてます

jasna の出力段を拡張した改造ブランチです
本体の GPU 完結パイプライン（NVDEC→復元→NVENC）はそのまま、エンコード出力の自由度を上げてます
■変更点
　AV1出力対応（--codec av1、ファイル出力のみ）
　8bit(NV12)出力＋ビット深度選択（--bit-depth auto/8/10、既定はソース連動）
　色空間を保持（BT.601 / BT.709 / BT.2020 を入力から維持してタグ付け）
　出力コンテナは拡張子で選択（.mkv / .mp4、AV1-in-MP4も可）
　torch 2.12 / CUDA 13 スタックで再ビルド
■検証
　Win/Linux両方でCLI ＋ GUI 連続処理 ＋ 凍結バイナリ（PyInstaller）動作確認済
　HEVC 8/10bit・BT.601/2020・AV1(8/10bit)・--bit-depth両方向の実機検証済
■公開先
　ttps://github.com/sh202603/jasna （branch: feature/av1-nv12-colorspace）
■詳細
　 docs/CODECS_AND_COLORSPACE_ja.md ／ 変更点: docs/CHANGES_vs_upstream_ja.md

元動画の都度BT.709への変換は面倒だね。

>>663
バッチでバッチリやろ

662です
jasna v0.6.0系で入ったexperimental blendingの性能デグレ原因もわかっちゃったんで
昨日連絡した版(feature/av1-nv12-colorspace)に処理速度の改善を入れときました
クローン済みの人は取り込んどくのがおすすめです

ブレンドマスク生成の畳み込みの計算(2次元blurフィルタ)を素直にK×Kでやっていたのを分離化(一次元フィルタの計算×2回)に変えた
こうすると計算量がO(K^2)→O(2K)に減るのでデグレ分はほぼ解消
実測(同じ1080pのクリップ、31524 フレーム、凍結バイナリ)：処理時間がだいたい3〜4割短縮
- Windows 7:37 → 5:13
- Linux 6:26 → 4:00
出力も変わりません(差はエンコーダの実行ごとのゆらぎ由来) 画質も挙動も変化なしです
対策版コミット：e92dccc

#本家にも報告しておいた

>>662
すみません
これの使用方法を具体的におしえてください

>>666
興味を持ってくれてありがとう
以下リンクにビルドガイドを公開しているからこれを見ながら自分で
jasna-cliとjasna-guiを作るという使い方です
わからないところはAIに聞いて解決するスタイルでお願いします
ttps://github.com/sh202603/jasna/blob/feature/av1-nv12-colorspace/docs/BUILDING_WINDOWS_ja.md

このガイド自体もClaude CodeでOpusに書いてもらってます
各手順の実行→確認はさむとか、途中自分が詰まった所をトラシューとしてまとめるとか
結構くどい位な内容になってます

個人的な実験ブランチなのでバイナリパッケージ公開の予定は無いっす
そのうち本家が対応してくれるかも？

本家のLADAは全然更新されないな

662です
ビルトインのフレーム生成機能をとりあえず追加した (--frame-gen 2x/4x)
中身はRIFE補間で、元の尺・音声はそのままfpsだけ倍にする
(モニタがしょぼいので4xは試してない)
ファイル出力のみ対応
手順とスクリプトは置いといたので重みは自分で用意してね
modiブランチに入れてある

ただ最適化はまだ
1080p(30fps, 31524 フレーム)でざっくり実測（Linux / lada-yolo-v4 + rtx-super-res 4x ultra）:

　frame-gen none (4:00) vs frame-gen 2x (26:40)

全解像度のRIFEをエンコードと同じスレッドで回してるだけなんで
ベースが速いほど補間がモロに効いてガクッと落ちる模様
TRT化とか専用スレッド分離は今後の課題
あと frame-gen 2xにするとrtx-super-res の ultra はVRAM 8GBだと普通にきつい

まあ「とりあえず動く版」です

Jasna の正式リリースまだかよ
夏になっちまうじゃねーか
冬なら暖房機がわりになったのに

GANの学習むずすぎ！何度も失敗してる

https://ja.unifab.ai/video-refiner-ai.htm
>UniFab 高精細復元AI（ローカル版）
>AIを使ってブロッキーアーティファクトを除去し、映像の詳細を復元します。

今までのように一度クラウドに投げる必要が無くなったみたいだけど
はたしてこれは使い物になるのでしょうか。

興味ない

>>665
ubuntu 26.04 にドキュメント通りにコピペのみでインストールできました。ありがとう。
ただ一点、レポジトリ設定の影響か不明だが
python3.14がインストールされるのでこれを3.13に変更する必要があった。

>>672
試用してみたが検出精度が悪すぎてLADA/JASNAと比べるのが失礼なレベル
復元部分の品質は悪くないのとVRAM使用量が少なく処理速度が速いことが救いとは言える

少なくともこのスレの住民の皆様が料金を支払う価値は全く無い

>>674
インストール報告あざます
助かりました原因わかりました
Ubuntu 26.04 って既定の python3 が 3.14 なんですよね
ガイドがそれを想定してなくて、3.14 だと vali / PyNvVideoCodec と
torch cu130 wheel が噛み合わず動きません
なので 3.13 に変えたのは正解です
modi ブランチに対策入れときました
指摘ありがとう、地味に大事なやつでした

Linux jasnaで処理動画カクカク現象に遭遇したら
CUDA_LAUNCH_BLOCKING=1 を先頭につけてjasnaを実行してください
処理速度落ちるけど現状の回避策