【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

スレチになるので詳しくは書かないが、二次復元で使ったFlashVSRの結果が良かったのでこれ単体で動画全体をアプスケするfork作った
VRAMは実質16GB推奨になるけど逐次処理+タイル分割で、動画1本まるごと4倍アプスケできる
ただし処理時間はかかるので、夏場の実行には向いてないｗ

エ口に向かわずして何に向かうというのだね？

それが我らの生きる目的だからな

VR video toolbox CEはladaもjasnaも入れなくてもすぐ動くようになったんだね　めんどくなくて良い
ただAV1は処理してくれないので事前にfmmpegで動画形式を変換しておかないといけないようだ

jasna v0.8.0来たな

jasna v0.8.0 主な変更内容 (リリースノートより)
・セグメント処理 モザイクが存在する箇所を特定するための高速な動画前処理 復元結果のプレビュー表示 検出モデルの判定が誤っていると思われる場合に、より適切なマスクを提案する機能
・zelefans のモデルによる VR サポートを追加 (ただし、復元モデルは VR 用に学習されていない)
・AV1 および H.264 エンコード対応 mkvtool が不要に
・処理速度向上のため、FPS を変更するオプションを追加

修正内容
・破損した入力動画への対応改善
・Linux GUI の修正および UI/UX の全般的な改善
・カラースペース対応の改善
・unet-4x の FP16 関連の不具合を修正
・サンプルアスペクト比（anamorphic）を使用する古い動画への対応改善

コーヒー奢ったらメールでアプデ通知来るようになったわ

どこから起動するのか最初戸惑ったけど、Segment Editor使ってみた
検出モデルが検出したモザの時間と場所を視覚的に表示してくれる
今までツール作ってやっていたようなことがGUIで簡単に出来るようになった
マスクが気に入らなかったら自分でより良いマスクを指定してフィードバックを送信することも出来る様だ
(Cloudflare Workersに作ったサイトへ送られる)

また、今回から検出モデルlada_vr_mosaic_detection_model_v2_accurate.pt (vr_v2_accurate)が追加で同梱されるようになった
今のスレ立てテンプレに書いてある手順が不要になる

>>173
キーは前のがそのまま使えるのですか？

前のバージョンでコーヒー奢ってる人はそのまま使えるよ

>>169
ソースがav1のVRの場合は、分割時「-c:v av1_cuvid」になるが、この時「v360=hequirect:fisheye」フィルターは使用できない
なので、fisheyeモードを使用する際は「-c:v av1_cuvid」は削除する必要がある
ていうか、zelefansが付けていたから付けていたが、hevcの「-c:v hevc_cuvid」やh264の「-c:v h264_cuvid」も実際は必要ない
取り除くと遅くなるかもと思ったが遅くならないどころかむしろ速くなるような気が・・・

そう >>174
サポーターキーのライセンスファイルはjasnaを展開した場所とは別のところに
格納されているから一度登録済んでいればバージョンが変わっても登録し直す必要ないよ
Windows: %APPDATA%\jasna
Linux: ~/.config/jasna

jasna v0.8.0　jasna exe　クリックするが
GPU driver version　595．97（REQUIRES610+）でチェック×となり起動できませんでした。

GPUは最新にしているはずなんですが・・・

>>178 チェックのところに答え書いてある WindowsのNVIDAドライババージョン上げれ

v0.7.2でエラーでエンコードが途中で止まる動画が最後まで走るようになってた

>>179

起動できました。ありがとうございます。ただスタートボタンを押しても破壊が進まないのですが
MODELを入れないとダメとかありますでしょうか？

すいません、15分以下の動画だとダメみたいですね。長い動画で起動しました。

>>182 んなことはない
テンプレ案件 日本語README読もう
「初回実行は、お使いの GPU 向けに TensorRT エンジンをコンパイルするため遅くなります。通常 15-60 分かかります。」

>>183
そういう意味だったんですね、大変失礼いたしました・・・

>>175
ありがとうございます！

>>177
詳しい解説、ありがとうございます。

jasna0.8.0、jasna.exeクリックしてguiが出るもすぐに消えるんだが、購入しないと使えないの？

187やがグラボドライバ610系がオマ環で駄目や。596に戻した、jasna0.8.0使えない。

>>188
596が動くってことは610も対応しているグラボだろうけれど
NVIDIAドライバのメジャーバージョンアップ時はDDUで古いドライバーを完全に削除してから新しいドライバを入れるとうまくいくかもしれない
やるなら自己責任でよろ

jasna使ってみた
復元品質は目を瞑るとしても、復元部がプルプル動くのが気になる。

>>189 返信ありがとう。610だとゲームのベンチマークソフトは動くが前バージョンのjasna、lada動かない。何らか設定が足りてないのかもしれん。

VR180モード・SBS+魚眼は検出精度向上のため各目を再投影し、修復差分だけを元の投影へ戻します。とな
中間変換ファイルを発生させず直接完成ファイルにしている？　なんかすごい気がする

>>190
揺れはある程度は緩和出来る項目あるだろ

>>190
今日v0.8.0出たのでこのバージョンを連想するけど、そもそもバージョンいくつのjasna使ってる？
古いの(v0.6.1以前)使ってたら、まぁそうなることもあるわな、だな
また、最近のバージョン使ってもカクカクするなら、入力動画に問題がある可能性を疑ったほうが良い

>>192 Fable先生の解説
再投影はすべてGPUテンソル上のインメモリ処理で、投影変換の中間ファイルは一切生成されません。処理の流れ（vr180.py + pipeline_threads.py）:

検出側 — decode_detect_loop 内で、デコード直後のフレームバッチに対し vr_projector.forward_sbs()（pipeline_threads.py:162-165）で各目を魚眼→equirect 相当に再投影し、そのテンソルをそのまま検出・トラッキング・修復クロップ抽出に渡します。再投影結果はバッチ単位の GPU テンソルで、ディスクには書きません。

書き戻し側 — blend_encode_loop 内（pipeline_threads.py:422-435）で、フレームごとに:
元フレーム（オリジナル魚眼投影）を再度 forward_sbs() で投影
投影空間で修復クロップをブレンド
restore_delta_to_source()（vr180.py:431-462）が「ブレンド後 − 投影後の元フレーム」の差分を計算し、逆投影グリッド（inverse_grid）で元の魚眼座標系にサンプリングして元フレームに加算
この差分方式により、修復されなかった領域は再投影→逆投影の二重リサンプリングによる画質劣化を受けず、元ピクセルがそのまま残ります。

差分適用済みフレームは直接 frame_writer.write() → NVENC エンコードへ流れます。

jasna v080　vupの効果
・粘膜の質感・てかりの描写向上
・mkvファイルが処理可能。
　avi対応、BT.601などの古い色空間対応などで古いソースも処理可能,

v080　不具合
・解像度（縦横のピクセル数）が奇数、または中途半端な値（非16の倍数）の動画は、処理不可。
　CUDA_ERROR_MISALIGNED_ADDRESS` （アドレスの不正配置）
　対策： ffmpeg -i input.mp4 -vf "scale=trunc(iw/16)*16:trunc(ih/16)*16" output.mp4
・エンコードパラメータの仕様変更
　aq　指定不可,tuning_info,temporal　キーワード変更

改善があるので、お気に入りの動画はまた再処理だな。

>>196
その不具合は本家に報告した
書いてある通り16byteにアラインしてないとjasnaがクラッシュする
自分のforkの方は直した

>>188
うちの2環境も610で0.8.0が正常動作しない
短い動作で完走するものもあるが、だいたい処理途中で落ちる。アプリ自体が突然落ちる。

>>196
確かに破壊度が増した感じがする。気のせいではないですよね？

>>198 188やが0.8.0は動画放り込む前にgui勝手に消えるわ。チェックは全てクリアしてるんやが••

discord見るとモデル改善でこれからレストア品質上がりそうだ
やっぱ皆んなAI酷使してんだね

>>200
うちのは>>196のエンコードバグの影響のようだ
FHD動画は完走する

追加した動画にハサミアイコンがあって、処理する部分を指定できるみたいだな
最初の寸劇部分とか処理せずモザイクが現れるとこから処理すんのかな

>>176
うわあありがとう　勉強するよ

早いな、もうjasna0.8.1が出てる

本家に報告したjasnaがクラッシュする問題直ったよ
Fix encoder issue/crash/freeze for some videos #230

VRやってみたらモザのグリッドがうっすら残ってる感じがする
修復箇所だけ重ねてる影響？

>>196
縦が16の倍数である必要があるなら今まで散々やってきたFHDの1080Pはダメじゃないかと思ったので調べてみた
その結果、横は8の倍数である必要があり、縦は奇数であっても処理はできることがわかった
ただし、縦が奇数だった場合は、エラーは出ないが内部で丸めて-1されてしまい1ライン消えてしまうことになるので、縦は偶数が望ましい
で、scaleを使うと、動画が超微妙に拡大されてしまうので、このようにして額縁を付加する方がよいのではないだろうか
ffmpeg -i input.mp4 -vf pad=ceil(iw/8)*8:ceil(ih/2)*2:'mod(iw,8)/2':0 -c:a copy -c:v hevc_nvenc output.mp4

いや、拡大じゃなくて縮小だった

しかも、scaleを使うと、ドットのアスペクト比も微妙に変わってしまう
試した動画（解像度）の例だと、処理前は「SAR 1:1」（正方形）だったのが、scale処理後は「SAR 9042:9061」になってしまった

>>208
jasna v0.8.1のソースで検証したけど3点とも実際のソースとは違うみたい
・縦16の倍数 → 16という定数はあるけど正確にはバッファの行ストライドのバイト数の話で高さとは無関係
・横8の倍数 → 10bitのとき幅が8の倍数だとバッファの再コピーを1回省ける最適化がある 外れても出力は同一
・縦が奇数でも通る → 通らない エンコード時に"width/height must be even" で例外停止する
※実際の制約は「幅・高さとも偶数」だけ FHD 1080pは元から問題なし

偶数化で足りるのでこれで十分なはず (奇数のときだけ1px増え、偶数なら何も起きない)
ffmpeg -i input.mp4 -vf "pad=ceil(iw/2)*2:ceil(ih/2)*2:(ow-iw)/2:(oh-ih)/2" -c:v hevc_nvenc -preset p5 -cq 19 -c:a copy output.mp4

>>196
不具合対策版　v081が昨夜リリースされました。仕事が早いなあ。
　Fixes:
Fix encoder issue/crash/freeze for some videos #230

jasna0.8.1使ってみたんだが、復元中のファイルは再生できなくなったね...地味に困るんだが...

マジ？

>>211
v0.8.1が出ているのを知らずにv0.8.0で試してみたらそうなったんだけど、v0.8.1では変わっているんだろう
とりあえず、v0.8.1は今からダウンロードしてみる

ちなみに、padの3パラ目・4パラ目は動画を配置する左上座標（1パラ目・2パラ目は出力動画の解像度）
全体から本体を引いて2で割るのは数ピクセル以上の変化がありセンタリングしたい時の計算なので、変化が0か1なら0にしておけばいいよ
書かれている計算式は、iw,ihには入力動画の解像度が入り、ow,ohには1パラ目・2パラ目が入ることになるので3パラ目・4パラ目は計算する意味がない
:0:0にしておけば、横が奇数の時だけ右端に縦線が加えられるし、縦が奇数の時だけ下端に横線が加えられる

ffmpeg -i input.mp4 -vf "pad=ceil(iw/2)*2:ceil(ih/2)*2:0:0" -c:v hevc_nvenc -preset p5 -cq 19 -c:a copy output.mp4

0.8.1は解凍したの0.8.0に上書きすればよいんじゃろうか？

>>216
別フォルダのままにしておいて0.8.0のmodel_weightsフォルダだけ0.8.1のフォルダにコピーして0.8.1が普通に動くのを確認してから0.8.0フォルダを消す方が無難

>>196
気になったので v0.7.2 と v0.8.1 を同じ動画で比較してみたけど、復元まわり(検出・BasicVSR++・ブレンド)は中身もモデルも同一で
数値的にはモザイク除去率や SSIM/VMAF もほとんど一緒だった 復元自体が良くなったわけではなさそう

ただ v0.8.0 で動画の入出力周りが全面的に作り直されたので数値上は同等でも主観的には変わったように感じる要素はある
明るさがごくわずかに変わってるのと、モザイク部分のテクスチャの出方も微妙に違うことがある
(良し悪しというより別解が出てくるイメージ)
なので、見比べて「良くなった」と感じる可能性は十分あり得る

あと破損した入力動画への対応改善効果と思うけど、カット済みの MP4 の処理でv0.7.x で起きることがあった音ズレが v0.8.x では直ってた

>>213
それ多分 mp4 出力にしてるからだと思う
0.7.x までは処理中に出力フォルダへ生の .hevc が書かれててそれが再生できてた訳だが
0.8.0 からエンコーダが変わって一時ファイル無しで直接最終ファイルに書く方式になった
mp4 は書き終わるまでインデックス（moov）がないから途中再生は原理的に無理
出力を .mkv にすれば処理中のファイルをそのまま再生できるはず

>>215
コマンド見直しサンクス

>>217
ありがとう、動いてる。

>>219
おお！詳細な説明ありがとう。理解できた
mkvなら再生可能かあ..う〜ん..

おととい0.8.0の起動試してGPUドライバのバージョン古い×で止まって、
今日GeForceドライバ最新に更新して初回起動の待ちの間にここ見に来たら、
0.8.1のリリースを知らされた俺って一体

vr処理が速くなって助かる

2時間の2D動画を朝始めて夜に収穫できればいいなら最低限のスペックはどんなだろう
あ、全然なんにもわかってないけど

>>224
RTX2080Tiを積んだデスクトップならいける
ヤフオクだと中古6万くらいが相場
ウチがちょい前までそれでjasnaを動かしてた
処理はFHDの場合で動画の実時間よりちょっと長いくらいだった気がする
なんぼ安くてもGTXじゃ多分動かん　RTX2080Tiくらいが下限だと思う

なるほどありがとう
ゆうても本当になんもわかってないから導入は苦労しそうだけどやってみる

0.8.0から処理速度上がってない？気のせい？

>>226
俺も昨日からRTX3060 12GB（今新品で6万弱）でやり始めた。色々わからないことだらけだけどChatGPTに聞きながら進めてる

>>223
どれくらい速い？

Jasna単体で魚眼やるとモザイク跡がうっすら残ってたから、同じ動画をVR_Video_Toolboxでやってみたら
VR_Video_ToolboxからのJasna利用だと検出漏れしてるところがあるな…　Jasna単体の方が検出が良い
モザイク跡が残るのがなんとかなったらなあ

0.8.1で修正したらしいがまだクラッシュする
0.8.0でクラッシュした素材は0.8.1で問題無かったが別の素材が途中で処理されていなくPCが再起動した
Windowsアップデートが再起動をしたのかも
イベントビューアーにはエラーは無くWindowsセキュリティの注意あり
とりあえずWindowsセキュリティの除外にjasna関連を登録して様子みる
おま環だろうね

>>231
実行ファイル化されたpythonプログラムがウイルスと誤検知されるケースあるからそれに当たったか
(ただ、この場合はPC再起動まではしないと思うけど)
電源容量不足や夏場だから発熱問題などの可能性もあるね

>>229
4kで30fpsだと実時間以下
vr向けのyolo選択でパラメーターはデフォルト
二次復元はrtx 2x
autoで処理
動画によってはモザイク漏れかなりあるが個人的には支障ない
検出パラメーター変更すると多少減ると思われる
何より2Dと同様にD&Dするだけだから楽

>>228
ChatGPTは答えてくれるけど、Claudeは「エロ関係だからダメだよ」って断ってくるな

Mac版を探して来ました
素人には導入複雑ですね・・・

うちのClaudeくんも最初はそうだったけどバカになって2回目聞いたら普通に答えてくれたよ
今じゃ課金してClaude CodeでLADAの復元モデルを追加学習してる

AIは利用規約に引っかからないよう指示の出し方に工夫がいるね
Claude Codeは任せていると勝手にComputer Visionで画像の判断までし始める
凄い便利なんだけど、応答拒否られることがあるから
最近は CLAUDE.md に画像や動画を直接見ないよう指示入れてるｗ

古いAM3のPCにRTX3060の12GBでもJasna動くんだな。PC新調とかも考えてたけど満足出来るレベル

v0.8.1昨日寝る前にいくつか動画放り込んでおいたけど、朝起きたら、どこかでクラッシュしたらしくPCが再起動されてた。
更なるアップデートはよ。

>>235

マシンスペックは？

メアド晒す勇気があるならダウンロードできるようリンク送ります。
あくまでもお試しのunsignedなアプリなので期待はしないで。

他のマシンで動くかどうかも知らないしw

素人で、すいません。Jasna_060からjasna-0.7.2へアップしようとダウンロードしても、インストール出来ません。
jasna-gui、cliも見つかりません。ご指南いただけましたら、大変助かります。どうぞよろしくお願い致します。

>>241
まずそもそも上書きじゃなくて、他のフォルダに新しいバージョンを展開して起動するのが確実よ
てかもう 0.8.1が出てるんだから、そっちにしちゃどうかとも思うけど

DL＆起動手順
DL先は　https://github.com/Kruk2/jasna/releases　の各バージョンのAssetsのところをクリックするとDL対象のファイルリストが表示される
0.8.1の場合で話すると、大体はWindowsでグラボがRTXだろうから、
jasna-windows-nvidia-0.8.1.7z.001
jasna-windows-nvidia-0.8.1.7z.002
の２つをDLしてjasnaを走らせたい場所に両方置いて、7-zipっていう解凍アプリ（フリーウェア）を使って 7z.001 を解凍する　そうすると7z.002の方も一緒に解凍されて jasnaの実行フォルダが出来る（7-zip以外の解凍アプリだと出来ないから注意ね）
フォルダの中に jasna.exe っていう実行ファイルがあるからそれを実行
最初にマシンスペックのチェックが入る
グラボのバージョンが古いだの言われたらNVIDIAから最新ドライバをインストール
そこをクリアして動画の処理に進んだら、初回の処理にコンパイルで大体20〜30分かかるから慌てずにシャワーでも浴びとこう

てなかんじで

ちなみに0.7.2 の場合は　jasna-windows-v0.7.2.7z.001　jasna-windows-v0.7.2.7z.002　jasna-windows-v0.7.2.7z.003　って３つ落とさなきゃいかんようになっとるね

>>241 今はv0.8.1が最新 v0.7.2をダウンロードしたときに気づかなかった？
githubのプロジェクトページに日本語READMEのタブがあるから、まず日本語の説明読んでみたら

>>239
windows updateされただけ

0.8.1でもクラッシュする
解像度が842x474と言う半端なせいなのかな

v7からguiとcliは別々じゃなくてjasna.exeにまとまったんじゃなかったっけ

>>239
>>245
231です
同病ありですね
おま環じゃないのかな
0.8.1持病かも

縦幅・横幅とも偶数だったら大丈夫なはずだけどね
>>245 >>247
・以前のJasna (〜 v0.7.2、動画の入出力周りが作り直される前) では処理できていた？
・動画ファイルに PTS の壊れ (欠落・負値・重複・逆行・大きなギャップ) とかの問題は無い？
・クラッシュはjasnaのウインドウごと落ちる感じでログ見れない？

もし可能だったら以下のチェックツールを流した結果を教えてほしい(WARNとかFAILが出てないか)
ttps://github.com/sh202603/lada-jasna-input-check

>>248
PTSの警告でました

jasnaは負のPTSを破棄せず、先頭を0に平行移動する。ただし重複/非単調なPTS+1されるため微小な時刻ずれが残る
jasna0.8.1→注意
─対処─
［PTS以上］PTSを再生成してmkvにremux（無劣化・高速）

こんなメッセージです、mkvに再エンコしろって事ですか？

>>249
連絡サンクス
この場合は再エンコじゃなくてPTSを修正したmkvファイルを作るよ(無劣化)
ffmpeg -fflags +genpts -i "..." -map 0 -map -0:d -c copy -avoid_negative_ts make_zero "..._fixed.mkv"

これで出力されたmkvをjasnanに入力するとうまく処理されるはず
もし、これでもダメならjasna v0.8.1 側に問題あり

-FixScript <出力ファイル> オプションをつけると実行すべきffmpegコマンドが出力ファイルに書き出されます
動画ファイルが一つだったらこのファイルをテキストエディタ開いて該当行をPowerShellにコピペするのが楽かな

>>250
ありがとう
教えてくれたコマンドで無劣化MKV生成できたんだけど、0.8.1に放り込んてもまだクラッシュします
そのmkvをさっきのチェックツールで見てもOKと出ます
0.8.1のログは吐き出しボタン反応しなくてログが取れないんですよね、エラー後10秒くらいしたら、窓が落ちます

>>251
続けて実験サンクスです これは jasna v0.8.1 側の問題だね・・・
GUIだとログが見れない件、PowerShellが使えるのだったら v0.8.1のjasna.exe がある場所で

.\jasna --input aaa.mp4 --output aaa.restored.mp4 --log-level debug
(aaa.mp4: 問題のファイル)

とPowerShellから打つとCLIでjasnaが動いてPowerShellのコンソールに詳細なログが残るよ

231です
昨日クラッシュした素材を今日再度0.8.1で処理したら問題なく完了しました
Windowsセキュリティの除外登録が効いたのか不明です

v0.8.0とv0.8.1になってAutodepath Image Viewerでうまく3D再生できなくなった
ffmpegで再エンコすると大丈夫だが

>>254
MS storeでHEVC/H.265ビデオ拡張を買ってインストール

0.8.2は4KVRがマジで速いな
8KVRはエラー出てダメだった

jasna0.8.2で直に8KVRに対応するにはVRAM何GB必要ですか？

みなさま。ありがとうございました。お陰様で、稼働出来る様になりました。
感謝です。
出来ましたら、Detection Threshold、Ｔemporal Overlap,などの設定を教えていただけないでしょうか。
どうぞよろしくお願い致します。

0.8.2ていつでたんだ？

>>256
すまん、v0.8.1

新しく作ってるrfdetr-v6ってやばいな。早く実装が待ち遠しい

>>258
そのへんのパラメータの推奨値はめんどかったらデフォでいいと思う
各項目の尻の(？)にカーソル合わせると解説が出るからそれを参考に
おま環やら好みやらの問題もあるし、短いサンプル動画作って条件振って決めればええよ

あ、SECONDARY RESTRATION だけは無課金なら RTX Super Res の選択必須
パラメータはめんどかったら4UUUで　これも同じくチューニングは好みで
時短やら色々メリットはあるけどオレはこれがjasnaのキモだと思ってる

ついでに条件出しのための短い動画作成手順（素人でも大丈夫）

１．モザを取りたくてﾊｧﾊｧしてる動画を用意
２．その動画ファイルをWindows標準付属の「フォト」で開く
３．フォトの画面左上の[トリミング]をクリック→映像の下のスライドバーでモザ取りたい部分を5秒くらい選択→右上の[コピーとして保存]をクリック、適当な名前で保存
４．３．を繰り返して合計30秒分くらいキモの部分を抜き出す
５．「動画結合ソフト」っていうフリーウェアで４．の動画全部合体
https://www.gigafree.net/media/me/join_videos.html
６．合体した動画をjasnaにかけて色々条件振って見比べて唸る

ちなみに３．で120分中の5秒とか実際は選択がムズいので、先にざっくり5分くらい抜き出して、そこから5秒とか切り出すとええです

最近ドキュメントが整理されて前より見やすくなったから
日本語READMEの「さらに詳しく」の部分も目を通しておくとよいかも
Temporal overlap(時間オーバーラップ)とかは「VRAM と GPU 使用量の調整」に書いてある
また、v0.8.0で追加されたSegment Editorを使うとキューに入れた動画毎に検出モデルと検出の閾値を設定することもできるのね
>>263 の玄人志向もやろうと思えばSegment Editorでできそう
検出モデルとしきい値をその場で変えたり、復元のプレビューもできちゃう

>>264
ごめん。コンソールは[JASNA GUI v0.8.1]ってなってるんだけど、
"Segment Editor"っていう項目が探しても見当たらんです。
ビルドじゃないとダメとか？

キューに動画を入れると表示されるハサミマークから起動じゃないの