【超解像】Lada part7

前スレ
【超解像】Lada part6
https://egg.5ch.io/test/read.cgi/software/1789682962/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>12
ほんまそれ
やりたいこと増えすぎて日中の仕事めっちゃ集中して終わらすようになったわｗ
小走りに家に戻る理由がコレとかアレとかｗ

5000番台にしたなら高速モードを試さなきゃってことで以下でした。
Jasna
FHD 21秒 処理 4分38秒 → 2分17秒 → ON 2分10秒
FHD 3時間 処理 28時45分 → 14時24分 → ON 13時08分

短いのは誤差程度だけど、長尺は1時間強変わるとありがたい！

SBS HequirectからデュアルFisheyeへの変換はみんさんやっていたのですね。私は2種類の変換方法を1つのshellスクリプトに組み込んで動作モードやfov、エンコードなど指定するようにしていますが以下はパラメータは固定してあります。
まずは１つ目。

[SBS HequirectからFisheye]
ffmpeg -hwaccel cuda -threads 4 -i input.mp4 -filter_complex "[0:v]crop=w=iw/2:h=ih:x=0:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=fisheye:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180[left]; [0:v]crop=w=iw/2:h=ih:x=iw/2:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=fisheye:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180[right]; [left][right]hstack=inputs=2[v]" -map "[v]" -map 0:a? -c:v hevc_nvenc -preset p5 -cq 20 -c:a copy output.mp4

これでi7-14700K+5080でだいたい60fpsくらいの変換速度。

2つ目。
[SBS HequirectからStereographic 中央付近が伸びるのでここではアスペクトを0.96にしています]

ffmpeg -i input.mp4 -filter_complex "[0:v]split=2[left_src][right_src]; [left_src]crop=w=iw/2:h=ih:x=0:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=sg:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180,scale=iw:trunc(ih*0.96/2)*2:flags=lanczos,pad=iw:ih/0.96:0:(ih/0.96-ih)/2:black[left_sg]; [right_src]crop=w=iw/2:h=ih:x=iw/2:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=sg:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180,scale=iw:trunc(ih*0.96/2)*2:flags=lanczos,pad=iw:ih/0.96:0:(ih/0.96-ih)/2:black[right_sg]; [left_sg][right_sg]hstack=inputs=2[out]" -map "[out]" -map 0:a? -c:v hevc_nvenc -preset p5 -cq 20 -c:a copy output.mp4

これでi7-14700K+5080でだいたい18fpsくらいの速度。

v360のStereographic射影は全体印象としては変ですが動画によっては臨場感が凄いです。この状態でRTX PRO5000でltx良好画質、高速モード無し、重なりを減らすONで変換かけると4K動画なら実時間の6倍くらい。なぜか8Kも試した動画では同じくらいの時間。VRAM使用量ピークは4Kで24GBくらい、8Kで38GBくらい。5080では4KでもOOMが時々発生するので検出精度も含めて左右片面処理のほうが良さそう。

zelefansのGUIで分割魚眼化結合だけやってる
CEはなぜか動画がスムーズにならないので
通常のVRtoolを使う

前スレのmacの質問のひと

このエラーは、ROI Refine のモデル選択で、pack のフォルダではなく、その中の blocks/group00.aimodel を選んでいると出ます。

仕組み: mioh は、選ばれたものが roi-refine-pack.json を持つフォルダなら ROI Refine の pack として扱います。単体の .aimodel ファイルを選ぶと、普通の Core ML の補正モデルとして読み込もうとします。
なぜ失敗するか: group00.aimodel は pack 用の Core AI 形式で、Core ML では読めません。そのため「Compile the model with Xcode…」というエラーで止まります。
直し方: 1つ上の、pack のフォルダそのものを選んでください。
~/Library/Application Support/mioh/ROIRefine/pack-sulphur-iclora1750-v5

選ぶときは blocks の中に入らず、pack-sulphur-iclora1750-v5 を選んだ状態で「開く」を押してください。

とAIが申しております。

>>19

追加でお伝えします。

いまの ROI refineは生成アルゴリズムに毛感があるのでお勧めしません。

>>20

欠陥

v0.12.0は速くなるということだけど、
画質はどうなんだろ。上がるのかな？

>>19
なるほど！きちんとマニュアルに書いてありますね
>パックの保存先は、標準では~/Library/Application Support/mioh/ROIRefine/pack-sulphur-iclora1750-v5です。
>完了後は、表示されたパックフォルダを、miohの「復元」→「ROIエンハンサー」→「ROI Refine」のモデル選択で指定します。

読み間違えました
欠陥(毛感w)含め、どんな仕上がりになるのかやってみます

>>23

今、めちゃ遅いけど、相当マシな復元ができるモデルつくってます

そんな事より早くクラウドGPUライセンスをだな…

v0.12.0がもうすぐ出るということで
0.11.3での変換中止したｗ

5060Ti 16GB にしたら8KVRが処理できるかと思ったけど、
開始したらすぐスキップって表示されて止まっちゃう
どこかを設定したらできますか？

>>27
LTXの場合だったら詳細設定のVR180モードをOFFにしないといけない。自動にしておいてもVRと判断された途端蹴られてしまう。

あ、ほんとだ動きました
ありがとうございますm(_ _)m

VR　SBS動画をPCで見て端のほうが台形ぽく歪んでるのがfisheyeってことでいい？　で歪み方の程度に応じて先に補正をかけようっていう段階に取り組んでる？

動画のレイアウト、射影・投影方法、モザイクを掛ける対象をそれぞれ分けて認識すると良いでしょう。
レイアウトはSBSやTB等がある。射影・投影はEquirect(360)、Hequirect(180)、fisheye等がある。
Equirectは地球をメルカトル図法の地図で表したような感じで端は歪む。レイアウトとしては片目で縦横比2:1の横長てありTBでつかわれる。
Hequirectは地球一周ではなく半分の180度で同じく端は歪む。片目で正方形のSBS映像、これが紳士の一般的動画。
Fisheyeは全天カメラ映像のように丸い視野の映像で撮影方式でもあり投影方式でもあり、レイアウトでもある。SBSのように◯◯と横並びのものをDualFisheyeと呼ぶが、単にFisheyeと呼ばれるのは紳士の世界では大抵この黒背景に◯◯視野のものを指す。

同じSBSでもモザイクは球面空間で矩形で掛けるとメルカトル図法のように2Dで見た時に端が台形みたいになる。2Dに投影された状態でモザ掛けると2D Playerで見た時にモザは矩形のままに見える。
けどいくらモザが矩形でも映像自体が歪んでるとまともな復元映像になりにくい。

こういうことだと思う。たぶんきっと。

>>30

円形なのがfisheye(魚眼)なのでは？

魚眼レンズで撮ったわんこはかわええ

魚眼変換すると良い作品をここでは単に魚眼、fisheyeと呼んでいるだけかと

魚眼で撮影してモ処理を行ってから引き延ばした作品（外周モが台形状になる）は
魚眼への変換をしてやれば本来の撮影動画にモをかけただけの状態に戻るから綺麗な復元が期待できる

魚眼変換って出来るんですか？

現在主流のSBS（SIDE BY SIDE）正距円筒図法のVR180動画では、
キヤノンのEOS VR SYSTEMなどVR180カメラで撮影したdual fisheye（見た目[〇〇]）の時点でモザイクをかけ、モザイクごと正距円筒図法に変換したものを「魚眼（fisheye）」と呼んでいる
この場合、モザイクの形は中央部分は□のままだが、周辺部に行くに従って縦横の枠が斜めになる（被写体も同様に拡大される）
一方、dual fisheyeを正距円筒図法に変換した後でモザイクをかけたものは、モザイクは変換されないので□のままになり「魚眼」ではないことになる

ただし、最近、1つの動画ファイル中でこの両方が混在しているVR動画も存在するのでやっかいである

「魚眼（fisheye）」からdual fisheye（見た目[〇〇]）へ戻すツールはありますか？

>>16が変換パラメータのようですね。
ありがとうございます。

>>10
5分のテスト動画で普通に8KVRも処理できた
vram消費量は14～15gb
思い込みはだめやな

>>17 は問題ありのバージョンを貼ってしまっていました。2倍にアプスケしてしまいます。等倍のstereographic版は以下のコマンドです。

ffmpeg -i input.mp4 -filter_complex "[0:v]split=3[left_src][right_src][ref]; [left_src]crop=w=iw/2:h=ih:x=0:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=sg:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180,scale=iw:trunc(ih*0.96/2)*2:flags=lanczos,pad=iw:ih/0.96:0:(ih/0.96-ih)/2:black[left_sg]; [right_src]crop=w=iw/2:h=ih:x=iw/2:y=0,crop=w=iw-4:h=ih-4:x=2:y=2,pad=w=in_w+4:h=in_h+4:x=2:y=2:color=black,v360=input=hequirect:output=sg:in_stereo=2d:out_stereo=2d:h_fov=180:v_fov=180,scale=iw:trunc(ih*0.96/2)*2:flags=lanczos,pad=iw:ih/0.96:0:(ih/0.96-ih)/2:black[right_sg]; [left_sg][right_sg]hstack=inputs=2[sg]; [sg][ref]scale=w=rw:h=rh:flags=lanczos[out]" -map "[out]" -map 0:a? -c:v hevc_nvenc -preset p5 -cq 20 -c:a copy output.mp4

ffmpegってそんなややこしいことまでコマンドで出来るのか。すごいな。

ffmpegのコマンド、最近AIに聞いて答えてもらった通りにしか入力してないなぁ。

input.mp4 のところは自分のお目当てのものにしなきゃいけない、くらいしか分からん

>>37
https://codeberg.org/zelefans/vr_remove_mosaic
GUIならzelefansのVR Video ToolboxのVR split/combine tools

>>42
なるほど、そういう手もあるのか。さんきゅー。

>>42
俺も同じ。
最近、更にClaude Codeにffmpegの各種機能が使えるフロントエンドGUI作ってもらった。

>>46
そのGUI作った際のClaudeに入力したプロンプト教えてもらえないかな
是非使いたい

>>47
自宅PCのローカルリポジトリで処理させたので、外出先の今は詳細分からないが
やりたいことを箇条書きにして、「ffmpegのフロントエンドGUI作って」と投げた
自分の場合はよく使う機能 アスペクト比、コンテナ変更、部分切り出し、再エンコの有無 等々、その他お勧めの機能も加えてと書いただけ。
とりあえず作らせて自分が使いやすいように追加、修正させればよいのでは

他の有料AIは知らないけども
ClaudeCodeさんは対話だけでほぼ思ったの作ってくれるから楽でいいわね
詳しく書けないけどもキャプチャアプリケーションも作ってくれた
要望に余計な事を言わないのがコツ、あとは察して

作った、出来ただけの日記ならXでやれよ
情報として無価値

は？ナイスジョーク！

>>49
GITHUB Copilotでも出来たよ

LTXでの処理後の動画、半分くらいが途中から見れない状態になるんだけど似たような症状のある人いますか？
止まる場所は動画によって様々で、開始5分で止まるのもあれば1時間50分まで見れるのもあります。止まる部分より後はシークバーでずらしてもサムネイルも生成されないし、MPCBEとVLC、win11標準プレイヤーのどれでも同じです。
エンコードのときのタイムスタンプずれな気がするけど、jasna上ではエラーもでないしどう解消したものか…

LTXを使ったjasnaの設定で最適な条件は何がいいですか？

まずはffprobe等でdurationの時間とstreamの時間確認してみては？
メタデータのduration通りの時間のデータが入っていないのか、入っているけど途中で壊れているのか見当つくと思う。
LTXのステップ4で落ちると例えば1分の動画なのに10秒しか入っていなものが出来上がったりする。この場合はログ遡ると表示されてるけど。

>>54
動画による

中古の4060ti 16GBポチッた。今の俺にはこれが精一杯。
お前らはストレージもすごそうだな。
動画だけで100TBなんて普通の世界？

>>53
元動画の形式とか、Segment Editorで分割処理したのかとか、どうjasnaで処理したのか情報も無いとなんとも言えないな

増設を考えてAmazon見たけど、SSDだけじゃなくHDDも値上がりしてるなぁ…

元動画は消さないが、LTX以外で破壊した動画は消すようにしてる。

>>57
うちは多分来年には100テラ超えちゃいそう

5060Ti 16GB で 8K VRの動画破壊できました！
4060Ti 8Gは途中でエラーで止まってたんで、うれしい！
でもVRAMが95%で15GBくらい使ってて、
マウスカーソルの動きにカクツキがでるくらいでギリギリでしたW

>>55 >>58
ありがとうございます。
ubuntu24.04, 3090, ram128gbの環境で
検出モデルをlada-yolo-v4のしきい値0.25
動画のコーデックは処理前後ともHEVCで、
segment editorは使っていません。
LTXモデルは標準から最高画質までばらばら、元動画の解像度も720pから2160pまで様々です。高画質•高解像度だと起こるというようなこともないみたいです。

>>63
先ずは途中までしか再生できないとは何なのかを確認してみては？
ffmpeg -i input.mp4 -c copy -shortest output.mp4
これで実際の動画の映像か音声か最も短いものに合わせて出力される。
jasnaで出力した動画を変換してみて動画時間に差があったら途中までしか動画が作成されていないことになる。ほぼ時間が同じなら何かエラーになるものが含まれてる。

>>53
元ファイルに問題がある可能性が大きい。
他のアプリで再エンコードしてからJASNAに食わせてみたら。

>>57

5070Super待ってたけど出る目処が立たないんで

去年の今頃、「主にAI用途でしか使わんしSUPERまで待つか」と思っていたけど、情勢鑑みたらSUPER出ないっぽくね？それどころか既製品も値上がりする？と思ってパーツ更新に走った、結果的にグラボはほぼ底で拾えた
CPUやマザボはまだしもグラボ、メモリのどっちか逝ったら致命的

>>64
コマンドそのままで実行したところ、時間も同じで同じ所までしか再生できない動画が生まれました
AIに言われた通り色々オプションつけてみたら見れる部分だけの短い動画ファイルになったので、他の方が言うように元動画を再エンコしてやってみます

>>65
ありがとうございます。試してみます。

AIlバブルがはじければ、下がるんじゃね？バブルはじけるのもそんなにさきじゃないでしょ

ここにいる連中みたいにエロいやつが多いと中々弾けんぞ

>>48
AIに聞いてH265変換+結合位しかやってないけどチャレンジしてみるよ。どうもありがとう

>>57
外付けでHDDが15台、ケースに2台。SSDは別。
最低12TBであとは24とか26とかがつながってる。

4060VRAM-8G,DDR5-16G,jasna0.11.3,LTX標準

入力　0720*0480,60fps,01:36:36　処理時間　23:47:53
入力　1920*1080,60fps,00:34:16　処理時間　07:17:37

SDとFHDで処理時間あまり変わらんっぽいな
それにしてもすごい再現性だ、もう流出や無修正って言われてもわからん

YORO-V4とrfdetr-V6の違いがぱっと見判りません。
どっちがおすすめですか？

AIは今が本当の意味での黎明期

>>57
2年前に80TBのraid5組んだ
今なら6〜70万コースだからいい買い物だったよ

JASNA の BasicVSR++, rfdetr-v6 で処理すると、ブルブル震えるような動きの動画が出来上がってしまうのですが
どうしたらいいか分かりますでしょうか？

>>75
YOLOの方が検出力が高いが、画面上のチェック状の背景や服などにも反応して余計なところが崩れる場合がある
RF-DETRは顔モザイクは無視し背景や服の誤検出は無いが、肝心なところの検出漏れの場合がある
じゃないかな

>>78
LTXで処理する

>>78
動画の細かいフォーマットが原因みたいだから自分はHandbrakeで再エンコしてから復元処理してる

>>75
zelefans-vr-yolo-v2。>>1の検出モデル拾ってmodel_weightsフォルダに入れたら使える
yolo-v4はポンコツ、使ってると後で後悔する

>>82
アドバイスありがとうございます。

lada_vr_mosaic_detection_model_v2_accurate.pt をダウンロードしてそのままmodel_weightsフォルダに入れたら使える

でOKでしょうか？

そう、検出モデルにzelefans-vr-yolo-v2が出て選べるようになる

>>84
無事できました。ありがとうございました。
これからはzelefans-vr-yolo-v2　で破壊するようにいたします。

LTXはとにかく時間がかかるので、処理対象動画をブツ切りにしてから破壊することにしたのだが、
ブツ切りするのに色んなアプリを試してもとにかく時間が溶ける。

そこで試しに claude(無課金)に頼んで ffmpeg のGUIを作ってくれって頼んだら、めちゃ快適。
ご参考までにプロンプト貼っとくわ。↓

>>86 つづき　以下プロンプト
-----------------------------
以下機能の ffmpeg のGUIを作って下さい。
添付の cut.txt に予めユーザーが以下を記入しておくこととします。
最初の行に切断対象の動画のファイル名。
3行目以下に動画を切断する位置、行数は任意で、必ず 00:00:00 で始まり、EE:EE:EE で終わることとし、その間に切断する箇所を HH:MM:SS の記述で最大998行までとします。
GUIには「CUT」「STOP」というボタンと、「FIN」「ERROR」というランプを付けて下さい。
「CUT」を押したら cut.txt で指定された動画を指定の区切り位置で複数の動画ファイルに分割、各々のファイル名には元動画のファイル名を****.mp4であれば****_001.mp4、****_002.mp4、****_003.mp4 ・・・という風に通し番号を付加します。
動画切断位置を示す行に - が入っている場合、その区間の動画は生成しないようにして下さい。
切断が終わったら「FIN」ランプを点灯、切断箇所のどれかが元動画の長さよりも長い場合と、切断箇所記載箇所の行数が998行を超えている場合は切断動作せず「ERROR」ランプを点灯するようにして下さい。

>>87　さらに続き　頼む時にくっつける cut.txt のサンプルファイル中身
----------------------------------
D:\EXAMPLE\****.MP4

00:00:00
-
02:05:00
02:19:25
02:32:22
-
EE:EE:EE

>>87　プロンプトで書き忘れてた。
--------------------
「CUT」を押した後の動画の切り出し動作中に「STOP」を押したら、切り出し動作を停止して下さい。
そこまでに生成した切断後の動画はそのままにして下さい。
--------------------
そのままじゃなくて全部消しちゃう方がよかったらそう書くとええし、アレンジはご自由に。
実際は切り出し動作が数秒で終わるので、「STOP」押すスキはまず無いですｗ

ただ単にぶつ切りにしたいならDDで勝手にキーフレームで5分割なり20分毎なりするBATでも書いてもらった方が早いんじゃないか。
動画確認しながらカットしたいならロスレスでカット位置自分で決めて分割カすれば良いし。

モザイクの処理する必要のないとこ切り出して、
必要なとこだけ処理してあとで合体するってことじゃないすか？
どこまで処理の必要のないとこ切り出すかで数が多かったら余計手間そうだけど、
日本のは前半にドラマ仕立てで処理の必要がないのが多いから、
そこだけ切り取るってぐらいならいいかもしれないね