【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

素人考えなんですが今は検出モデルの進化より除去モデルの進化が待たれるところなんですか？

Macで並列処理作ってた方ですね
codexのMEMORY.mdとか.gitignoreに入れておいた方がよさそなファイルもpushされてるような・・・

あれ？まずいの、入ってたな笑

そのうち復活します。

作業日誌みたいなんで面白いんすけど
Finetuneの辺りをさらけ出すのはチャレンジャーっすね

他のサイトの情報が入ってたから、やばかった。
言わないでね。

finetuneっていろいろやってたこと？
そうね、色々やった。
今はリアルタイムプレイヤーが実装できたところ。
パワーは必要だけど。

>>141
あります！あります！よろしくです！

>>141
mac でvsr的な処理は遅いんだね
除去モデル進化させてください

vsrの移植はほぼ絶望

MacはCUDAが使えないか

>>153
AppleはNVIDIAとの確執があるんだったっけ？
LinuxでもCuda使えるのにね

先輩方教えてください。

yolo検出モデルで最強は?
vrの？

オラyoloは知らねっけど最強はやっぱビルス様だと思うぞ

>>155
前スレにも書いたけど、検出モデルについては万能な最適モデルは無いよ
コンテンツ依存かつ処理ツール依存
経験的に簡単なモザだとv4-fastで十分なケースも多い
小さい/ぼけた/端のモザ、数が多い箇所のある動画では vr_v2やRF-DETR が取りこぼし少ない傾向

最強モデルとか言い出すと荒れるんで気をつけな
動画の性質上、皆で同じやつをベンチマークするとか出来ないんで不毛な議論になりがち

VRはどれもダメダメよ

Macは大容量のユニファイドメモリお化けだけど、GPU、CPUは絶望的だからなぁ…

>>152 >>159
SeedVR2やFlashVSRならApple MPSでも動くんじゃないかな 処理速度は知らんけど
ladaのrestoration pipelineへの組み込みはClaude CodeやCodexと相談してね

SeedVR2
ttps://github.com/numz/ComfyUI-SeedVR2_VideoUpscaler
FlashVSR
ttps://github.com/1038lab/ComfyUI-FlashVSR

jasna+FlashVSRがWindows+VRAM 16GB環境でも安定して動くようになった
全部インメモリで処理しても3〜4fps @ RTX5080しか出ないので重いけど
オープンソース・オープンウェイトでここまで出来るなら感謝しかない

>>160

その辺りはほぼ全滅です。
どれもまともに動きません。

GPUはいいんだけど、CUDA独自の計算にはほとんど対応してない。

カスタムでcore対応を実装するしかないです。

そうなんですね すでに試してますか
(今週も月額固定料金で使えるｗ)Fable先生に尋ねたら
「SeedVR2はFlashVSRよりむしろ条件が良いです。numz/AInVFX版(ComfyUI-SeedVR2_VideoUpscaler)はv2.5でApple SiliconのMPSを正式サポートしており、しかもバッチ処理・自動化向けのスタンドアロンCLIが最初から用意されています。」
との回答でした
「動く」と「まともに動く」の間に大きな壁があるんですね

で、おかっちさんはどこに行っちゃったんだろ？

🖐

いまmac専用にモデル学習中。

モノになるかどうかはわかりません。

おまえら、その熱量を他に向ければ・・・

スレチになるので詳しくは書かないが、二次復元で使ったFlashVSRの結果が良かったのでこれ単体で動画全体をアプスケするfork作った
VRAMは実質16GB推奨になるけど逐次処理+タイル分割で、動画1本まるごと4倍アプスケできる
ただし処理時間はかかるので、夏場の実行には向いてないｗ

エ口に向かわずして何に向かうというのだね？

それが我らの生きる目的だからな

VR video toolbox CEはladaもjasnaも入れなくてもすぐ動くようになったんだね　めんどくなくて良い
ただAV1は処理してくれないので事前にfmmpegで動画形式を変換しておかないといけないようだ

jasna v0.8.0来たな

jasna v0.8.0 主な変更内容 (リリースノートより)
・セグメント処理 モザイクが存在する箇所を特定するための高速な動画前処理 復元結果のプレビュー表示 検出モデルの判定が誤っていると思われる場合に、より適切なマスクを提案する機能
・zelefans のモデルによる VR サポートを追加 (ただし、復元モデルは VR 用に学習されていない)
・AV1 および H.264 エンコード対応 mkvtool が不要に
・処理速度向上のため、FPS を変更するオプションを追加

修正内容
・破損した入力動画への対応改善
・Linux GUI の修正および UI/UX の全般的な改善
・カラースペース対応の改善
・unet-4x の FP16 関連の不具合を修正
・サンプルアスペクト比（anamorphic）を使用する古い動画への対応改善

コーヒー奢ったらメールでアプデ通知来るようになったわ

どこから起動するのか最初戸惑ったけど、Segment Editor使ってみた
検出モデルが検出したモザの時間と場所を視覚的に表示してくれる
今までツール作ってやっていたようなことがGUIで簡単に出来るようになった
マスクが気に入らなかったら自分でより良いマスクを指定してフィードバックを送信することも出来る様だ
(Cloudflare Workersに作ったサイトへ送られる)

また、今回から検出モデルlada_vr_mosaic_detection_model_v2_accurate.pt (vr_v2_accurate)が追加で同梱されるようになった
今のスレ立てテンプレに書いてある手順が不要になる

>>173
キーは前のがそのまま使えるのですか？

前のバージョンでコーヒー奢ってる人はそのまま使えるよ

>>169
ソースがav1のVRの場合は、分割時「-c:v av1_cuvid」になるが、この時「v360=hequirect:fisheye」フィルターは使用できない
なので、fisheyeモードを使用する際は「-c:v av1_cuvid」は削除する必要がある
ていうか、zelefansが付けていたから付けていたが、hevcの「-c:v hevc_cuvid」やh264の「-c:v h264_cuvid」も実際は必要ない
取り除くと遅くなるかもと思ったが遅くならないどころかむしろ速くなるような気が・・・

そう >>174
サポーターキーのライセンスファイルはjasnaを展開した場所とは別のところに
格納されているから一度登録済んでいればバージョンが変わっても登録し直す必要ないよ
Windows: %APPDATA%\jasna
Linux: ~/.config/jasna

jasna v0.8.0　jasna exe　クリックするが
GPU driver version　595．97（REQUIRES610+）でチェック×となり起動できませんでした。

GPUは最新にしているはずなんですが・・・

>>178 チェックのところに答え書いてある WindowsのNVIDAドライババージョン上げれ

v0.7.2でエラーでエンコードが途中で止まる動画が最後まで走るようになってた

>>179

起動できました。ありがとうございます。ただスタートボタンを押しても破壊が進まないのですが
MODELを入れないとダメとかありますでしょうか？

すいません、15分以下の動画だとダメみたいですね。長い動画で起動しました。

>>182 んなことはない
テンプレ案件 日本語README読もう
「初回実行は、お使いの GPU 向けに TensorRT エンジンをコンパイルするため遅くなります。通常 15-60 分かかります。」

>>183
そういう意味だったんですね、大変失礼いたしました・・・

>>175
ありがとうございます！

>>177
詳しい解説、ありがとうございます。

jasna0.8.0、jasna.exeクリックしてguiが出るもすぐに消えるんだが、購入しないと使えないの？

187やがグラボドライバ610系がオマ環で駄目や。596に戻した、jasna0.8.0使えない。

>>188
596が動くってことは610も対応しているグラボだろうけれど
NVIDIAドライバのメジャーバージョンアップ時はDDUで古いドライバーを完全に削除してから新しいドライバを入れるとうまくいくかもしれない
やるなら自己責任でよろ

jasna使ってみた
復元品質は目を瞑るとしても、復元部がプルプル動くのが気になる。

>>189 返信ありがとう。610だとゲームのベンチマークソフトは動くが前バージョンのjasna、lada動かない。何らか設定が足りてないのかもしれん。

VR180モード・SBS+魚眼は検出精度向上のため各目を再投影し、修復差分だけを元の投影へ戻します。とな
中間変換ファイルを発生させず直接完成ファイルにしている？　なんかすごい気がする

>>190
揺れはある程度は緩和出来る項目あるだろ

>>190
今日v0.8.0出たのでこのバージョンを連想するけど、そもそもバージョンいくつのjasna使ってる？
古いの(v0.6.1以前)使ってたら、まぁそうなることもあるわな、だな
また、最近のバージョン使ってもカクカクするなら、入力動画に問題がある可能性を疑ったほうが良い

>>192 Fable先生の解説
再投影はすべてGPUテンソル上のインメモリ処理で、投影変換の中間ファイルは一切生成されません。処理の流れ（vr180.py + pipeline_threads.py）:

検出側 — decode_detect_loop 内で、デコード直後のフレームバッチに対し vr_projector.forward_sbs()（pipeline_threads.py:162-165）で各目を魚眼→equirect 相当に再投影し、そのテンソルをそのまま検出・トラッキング・修復クロップ抽出に渡します。再投影結果はバッチ単位の GPU テンソルで、ディスクには書きません。

書き戻し側 — blend_encode_loop 内（pipeline_threads.py:422-435）で、フレームごとに:
元フレーム（オリジナル魚眼投影）を再度 forward_sbs() で投影
投影空間で修復クロップをブレンド
restore_delta_to_source()（vr180.py:431-462）が「ブレンド後 − 投影後の元フレーム」の差分を計算し、逆投影グリッド（inverse_grid）で元の魚眼座標系にサンプリングして元フレームに加算
この差分方式により、修復されなかった領域は再投影→逆投影の二重リサンプリングによる画質劣化を受けず、元ピクセルがそのまま残ります。

差分適用済みフレームは直接 frame_writer.write() → NVENC エンコードへ流れます。

jasna v080　vupの効果
・粘膜の質感・てかりの描写向上
・mkvファイルが処理可能。
　avi対応、BT.601などの古い色空間対応などで古いソースも処理可能,

v080　不具合
・解像度（縦横のピクセル数）が奇数、または中途半端な値（非16の倍数）の動画は、処理不可。
　CUDA_ERROR_MISALIGNED_ADDRESS` （アドレスの不正配置）
　対策： ffmpeg -i input.mp4 -vf "scale=trunc(iw/16)*16:trunc(ih/16)*16" output.mp4
・エンコードパラメータの仕様変更
　aq　指定不可,tuning_info,temporal　キーワード変更

改善があるので、お気に入りの動画はまた再処理だな。

>>196
その不具合は本家に報告した
書いてある通り16byteにアラインしてないとjasnaがクラッシュする
自分のforkの方は直した

>>188
うちの2環境も610で0.8.0が正常動作しない
短い動作で完走するものもあるが、だいたい処理途中で落ちる。アプリ自体が突然落ちる。

>>196
確かに破壊度が増した感じがする。気のせいではないですよね？

>>198 188やが0.8.0は動画放り込む前にgui勝手に消えるわ。チェックは全てクリアしてるんやが••

discord見るとモデル改善でこれからレストア品質上がりそうだ
やっぱ皆んなAI酷使してんだね

>>200
うちのは>>196のエンコードバグの影響のようだ
FHD動画は完走する

追加した動画にハサミアイコンがあって、処理する部分を指定できるみたいだな
最初の寸劇部分とか処理せずモザイクが現れるとこから処理すんのかな

>>176
うわあありがとう　勉強するよ

早いな、もうjasna0.8.1が出てる

本家に報告したjasnaがクラッシュする問題直ったよ
Fix encoder issue/crash/freeze for some videos #230

VRやってみたらモザのグリッドがうっすら残ってる感じがする
修復箇所だけ重ねてる影響？

>>196
縦が16の倍数である必要があるなら今まで散々やってきたFHDの1080Pはダメじゃないかと思ったので調べてみた
その結果、横は8の倍数である必要があり、縦は奇数であっても処理はできることがわかった
ただし、縦が奇数だった場合は、エラーは出ないが内部で丸めて-1されてしまい1ライン消えてしまうことになるので、縦は偶数が望ましい
で、scaleを使うと、動画が超微妙に拡大されてしまうので、このようにして額縁を付加する方がよいのではないだろうか
ffmpeg -i input.mp4 -vf pad=ceil(iw/8)*8:ceil(ih/2)*2:'mod(iw,8)/2':0 -c:a copy -c:v hevc_nvenc output.mp4

いや、拡大じゃなくて縮小だった

しかも、scaleを使うと、ドットのアスペクト比も微妙に変わってしまう
試した動画（解像度）の例だと、処理前は「SAR 1:1」（正方形）だったのが、scale処理後は「SAR 9042:9061」になってしまった

>>208
jasna v0.8.1のソースで検証したけど3点とも実際のソースとは違うみたい
・縦16の倍数 → 16という定数はあるけど正確にはバッファの行ストライドのバイト数の話で高さとは無関係
・横8の倍数 → 10bitのとき幅が8の倍数だとバッファの再コピーを1回省ける最適化がある 外れても出力は同一
・縦が奇数でも通る → 通らない エンコード時に"width/height must be even" で例外停止する
※実際の制約は「幅・高さとも偶数」だけ FHD 1080pは元から問題なし

偶数化で足りるのでこれで十分なはず (奇数のときだけ1px増え、偶数なら何も起きない)
ffmpeg -i input.mp4 -vf "pad=ceil(iw/2)*2:ceil(ih/2)*2:(ow-iw)/2:(oh-ih)/2" -c:v hevc_nvenc -preset p5 -cq 19 -c:a copy output.mp4

>>196
不具合対策版　v081が昨夜リリースされました。仕事が早いなあ。
　Fixes:
Fix encoder issue/crash/freeze for some videos #230

jasna0.8.1使ってみたんだが、復元中のファイルは再生できなくなったね...地味に困るんだが...

マジ？

>>211
v0.8.1が出ているのを知らずにv0.8.0で試してみたらそうなったんだけど、v0.8.1では変わっているんだろう
とりあえず、v0.8.1は今からダウンロードしてみる

ちなみに、padの3パラ目・4パラ目は動画を配置する左上座標（1パラ目・2パラ目は出力動画の解像度）
全体から本体を引いて2で割るのは数ピクセル以上の変化がありセンタリングしたい時の計算なので、変化が0か1なら0にしておけばいいよ
書かれている計算式は、iw,ihには入力動画の解像度が入り、ow,ohには1パラ目・2パラ目が入ることになるので3パラ目・4パラ目は計算する意味がない
:0:0にしておけば、横が奇数の時だけ右端に縦線が加えられるし、縦が奇数の時だけ下端に横線が加えられる

ffmpeg -i input.mp4 -vf "pad=ceil(iw/2)*2:ceil(ih/2)*2:0:0" -c:v hevc_nvenc -preset p5 -cq 19 -c:a copy output.mp4

0.8.1は解凍したの0.8.0に上書きすればよいんじゃろうか？

>>216
別フォルダのままにしておいて0.8.0のmodel_weightsフォルダだけ0.8.1のフォルダにコピーして0.8.1が普通に動くのを確認してから0.8.0フォルダを消す方が無難

>>196
気になったので v0.7.2 と v0.8.1 を同じ動画で比較してみたけど、復元まわり(検出・BasicVSR++・ブレンド)は中身もモデルも同一で
数値的にはモザイク除去率や SSIM/VMAF もほとんど一緒だった 復元自体が良くなったわけではなさそう

ただ v0.8.0 で動画の入出力周りが全面的に作り直されたので数値上は同等でも主観的には変わったように感じる要素はある
明るさがごくわずかに変わってるのと、モザイク部分のテクスチャの出方も微妙に違うことがある
(良し悪しというより別解が出てくるイメージ)
なので、見比べて「良くなった」と感じる可能性は十分あり得る

あと破損した入力動画への対応改善効果と思うけど、カット済みの MP4 の処理でv0.7.x で起きることがあった音ズレが v0.8.x では直ってた

>>213
それ多分 mp4 出力にしてるからだと思う
0.7.x までは処理中に出力フォルダへ生の .hevc が書かれててそれが再生できてた訳だが
0.8.0 からエンコーダが変わって一時ファイル無しで直接最終ファイルに書く方式になった
mp4 は書き終わるまでインデックス（moov）がないから途中再生は原理的に無理
出力を .mkv にすれば処理中のファイルをそのまま再生できるはず

>>215
コマンド見直しサンクス

>>217
ありがとう、動いてる。

>>219
おお！詳細な説明ありがとう。理解できた
mkvなら再生可能かあ..う〜ん..

おととい0.8.0の起動試してGPUドライバのバージョン古い×で止まって、
今日GeForceドライバ最新に更新して初回起動の待ちの間にここ見に来たら、
0.8.1のリリースを知らされた俺って一体

vr処理が速くなって助かる

2時間の2D動画を朝始めて夜に収穫できればいいなら最低限のスペックはどんなだろう
あ、全然なんにもわかってないけど

>>224
RTX2080Tiを積んだデスクトップならいける
ヤフオクだと中古6万くらいが相場
ウチがちょい前までそれでjasnaを動かしてた
処理はFHDの場合で動画の実時間よりちょっと長いくらいだった気がする
なんぼ安くてもGTXじゃ多分動かん　RTX2080Tiくらいが下限だと思う

なるほどありがとう
ゆうても本当になんもわかってないから導入は苦労しそうだけどやってみる

0.8.0から処理速度上がってない？気のせい？

>>226
俺も昨日からRTX3060 12GB（今新品で6万弱）でやり始めた。色々わからないことだらけだけどChatGPTに聞きながら進めてる

>>223
どれくらい速い？

Jasna単体で魚眼やるとモザイク跡がうっすら残ってたから、同じ動画をVR_Video_Toolboxでやってみたら
VR_Video_ToolboxからのJasna利用だと検出漏れしてるところがあるな…　Jasna単体の方が検出が良い
モザイク跡が残るのがなんとかなったらなあ

0.8.1で修正したらしいがまだクラッシュする
0.8.0でクラッシュした素材は0.8.1で問題無かったが別の素材が途中で処理されていなくPCが再起動した
Windowsアップデートが再起動をしたのかも
イベントビューアーにはエラーは無くWindowsセキュリティの注意あり
とりあえずWindowsセキュリティの除外にjasna関連を登録して様子みる
おま環だろうね

>>231
実行ファイル化されたpythonプログラムがウイルスと誤検知されるケースあるからそれに当たったか
(ただ、この場合はPC再起動まではしないと思うけど)
電源容量不足や夏場だから発熱問題などの可能性もあるね

>>229
4kで30fpsだと実時間以下
vr向けのyolo選択でパラメーターはデフォルト
二次復元はrtx 2x
autoで処理
動画によってはモザイク漏れかなりあるが個人的には支障ない
検出パラメーター変更すると多少減ると思われる
何より2Dと同様にD&Dするだけだから楽

>>228
ChatGPTは答えてくれるけど、Claudeは「エロ関係だからダメだよ」って断ってくるな

Mac版を探して来ました
素人には導入複雑ですね・・・

うちのClaudeくんも最初はそうだったけどバカになって2回目聞いたら普通に答えてくれたよ
今じゃ課金してClaude CodeでLADAの復元モデルを追加学習してる

AIは利用規約に引っかからないよう指示の出し方に工夫がいるね
Claude Codeは任せていると勝手にComputer Visionで画像の判断までし始める
凄い便利なんだけど、応答拒否られることがあるから
最近は CLAUDE.md に画像や動画を直接見ないよう指示入れてるｗ

古いAM3のPCにRTX3060の12GBでもJasna動くんだな。PC新調とかも考えてたけど満足出来るレベル

v0.8.1昨日寝る前にいくつか動画放り込んでおいたけど、朝起きたら、どこかでクラッシュしたらしくPCが再起動されてた。
更なるアップデートはよ。

>>235

マシンスペックは？

メアド晒す勇気があるならダウンロードできるようリンク送ります。
あくまでもお試しのunsignedなアプリなので期待はしないで。

他のマシンで動くかどうかも知らないしw

素人で、すいません。Jasna_060からjasna-0.7.2へアップしようとダウンロードしても、インストール出来ません。
jasna-gui、cliも見つかりません。ご指南いただけましたら、大変助かります。どうぞよろしくお願い致します。

>>241
まずそもそも上書きじゃなくて、他のフォルダに新しいバージョンを展開して起動するのが確実よ
てかもう 0.8.1が出てるんだから、そっちにしちゃどうかとも思うけど

DL＆起動手順
DL先は　https://github.com/Kruk2/jasna/releases　の各バージョンのAssetsのところをクリックするとDL対象のファイルリストが表示される
0.8.1の場合で話すると、大体はWindowsでグラボがRTXだろうから、
jasna-windows-nvidia-0.8.1.7z.001
jasna-windows-nvidia-0.8.1.7z.002
の２つをDLしてjasnaを走らせたい場所に両方置いて、7-zipっていう解凍アプリ（フリーウェア）を使って 7z.001 を解凍する　そうすると7z.002の方も一緒に解凍されて jasnaの実行フォルダが出来る（7-zip以外の解凍アプリだと出来ないから注意ね）
フォルダの中に jasna.exe っていう実行ファイルがあるからそれを実行
最初にマシンスペックのチェックが入る
グラボのバージョンが古いだの言われたらNVIDIAから最新ドライバをインストール
そこをクリアして動画の処理に進んだら、初回の処理にコンパイルで大体20〜30分かかるから慌てずにシャワーでも浴びとこう

てなかんじで

ちなみに0.7.2 の場合は　jasna-windows-v0.7.2.7z.001　jasna-windows-v0.7.2.7z.002　jasna-windows-v0.7.2.7z.003　って３つ落とさなきゃいかんようになっとるね

>>241 今はv0.8.1が最新 v0.7.2をダウンロードしたときに気づかなかった？
githubのプロジェクトページに日本語READMEのタブがあるから、まず日本語の説明読んでみたら

>>239
windows updateされただけ