【超解像】Lada part6

前スレ
【超解像】Lada part5
https://egg.5ch.io/test/read.cgi/software/1782703217/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

魚眼はv8に比べて9、10は認識が悪くなってしまったからv8を使ってる
映像全体の魚眼変換をやると
映像全体の画質がモヤっとしていると感じたのでもうやらないな

Jasna modi作者様


swiftVRというプロジェクトはご存知ですか？

https://github.com/H-oliday/SwiftVR

macでやってみたら試験段階ですが、めちゃ良好。

FlashVSRを動かしてないので比較はできませんが、
面白いと思います。

ご存知でしたら、忘れてください笑

>>68
「SBS-左右別処理」も「SBS+魚眼」も中央部分は良いが、上下端に近づくと横に拡大された映像に対して復元を行うので2Dの時と比べると品質はかなり落ちる
それに対して、魚眼VRをデュアルフィッシュアイに変換した状態で復元を行うと、映像に歪みが少ないので2Dの時に近い品質が得られる
ということで、破壊部分に限って言えばこれがベストだと思われるが、変換したことで動画全体の画質が低下するというのなら、非常に時間はかかるが以下の方法はどうだろう

1. 元の魚眼VR動画（動画1）をデュアルフィッシュアイに変換して動画2を作成する
2. jasnaで動画2を「SBS-左右別処理」して動画3を作成する（zelefans-vr-yolo-v2推奨）
3. 動画2と動画3で、各ピクセルのRGB値の差の絶対値の合計がしきい値以上の部分だけを抜き出し、さらにfisheye⇒hequirectに戻した動画4を作成する（ffmpegで1回で可能）
4. 動画1に対して、動画4の画像がある部分（black以外の部分）を置き換える（ffmpegで可能、非常に複雑になるが3と4も1回でできるかも？）
（動画2〜動画4は全て一時ファイルになるので、品質は上げていい）

なお、デュアルフィッシュアイに変換した時、丸い映像の外の部分が気になるなら、このようにすれば黒くなる
ffmpeg -i input.mp4 -vf "drawbox=0:0:iw/2:ih:black,drawbox=iw/2:0:iw/2:ih:black,v360=hequirect:fisheye:in_stereo=sbs:out_stereo=sbs" -c:v hevc_nvenc -cq 22 -c:a copy output.mp4

もちろん、blackの部分をwhiteに変えれば白くなるし、redに変えれば赤とかもできる
左右の色を変えて紅白も可能だけど、ヘッドセット被って片目ずつ瞑って見ると映像の切れ目の色が違ってしまう

この方法だと、元の動画1から最終動画への再エンコードも4で行う1回だけとなる