【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

インタレース解除はtopazで2xfpsするのが一番きれいだと思うけど
同一コマを自動で間引いてくれるAIはないものか

>>585
インターレースの処理はXmedia Recordeで事前処理してる
ものによってTFFかBFFか分からないんで
LosslessCutで30秒くらい動きのあるとこ抜き出して
どっちが合うがテストしてからやってる

>>582
呼称ややこしいな。VR版V2の事言ってる？
v4_accurateはリネームしてV2表示にして使うように推薦されてたから尚更

>>585
QTGMCでBob化した方が綺麗だよ
SelurのHybrid使いやすいからおすすめ

REAL Video EnhancerってのをAIにおすすめされて使ってみたけど
やっぱDVD画質がそのまんま拡大されただけで、
スクショ撮って見比べなきゃ分かんないレベルでしかきれいにならんかった
1万円以下くらいなら買ってもいいから、なんかいいアプリないかね

>>586
補完にAI使うとモザの上下境界がくっきりして破壊する時きれいになるんよ
自動だと境界が怪しくなって破壊もいまいち
モザ自体が１フレーム遅れで表示されてるのもあるけど(１フレーム無修正になってるのとか)
>>TFFかBFF
ボトムってほぼ見た事ないけど、時々混じってて困るよね

昔はTopaz使ってたが
どうも塗り絵っぽさが取れなくて
最近はDavinciが主になった

なに使ってもオリジナルより綺麗にはならないよ

ある程度の妥協は必要

SeedVR2とかならオリジナルよりきれいになるけど重過ぎて個人環境じゃ無理

FlashVSRならWindows上でも長尺をx4 or x2にアプスケできるforkを先月作ってgithubに置いた(ComfyUI不要)
(SeedVR2も比較検討で試したけど、FlashVSRの方が速いし結果に満足したんでこっちを採用)

画面をタイルに区切って処理するので時間はかかる 速度の面ではTVAIには全然及ばないと思う
VRAM 16GBでしか試してないけどタイルサイズと分割の設定を工夫すれば12GBでも動くはず
当然だけどインターレスの動画は解除してから処理した方が仕上がりは良い

アニメはクリップサイズ下げるとよくなるな

>>595
topazはnvidiaのntcとかいうメモリ圧縮技術でローカル処理できるようになってんだね
それでもvram最低12GB以上だからうちの無印4060じゃ無理だけど
高画質化はしょぼいペンキ塗りとAI生成で品質も要求される環境も壁あるよなあ

>>595
うちのは4060Tiで8GBなんだあ
8GBでいけるなら嬉しんだけど

>>578
復元動画プレイヤーって処理前にどう処理されるか見れるの？
なわけないか

ほっとこうなこういうの

ちょいちょいクリップサイズ下げるとって話見るから
自分の環境でもアニメで30、60、90と刻んでやっていったが
個人的には180がやっぱ一番見栄え良く思えたわ

いまいち伝わってないのでもうちょい補足
一般的な補完方法だとフィールドオーダの性質上
偶数列(Top)と奇数列(Bottom)の補完で１ドット上下にずれる
AIだとモザをトラッキングして上下にブレないように補完してくれる
モザ破壊の前処理として結構差が大きいよって事。

180でいけるやつはいける
うねうね系は下げてオーバラップ上げたほうがいい

0.10でも魚眼の認識が0.9から悪くなってるのは直ってないぽいな

>>598
FlashVSRのfork版だけど、x2のアプスケだったらVRAM 8GBに収まりそう
タイルサイズ192で走らせた時、VRAM使用量がタスクマネージャ読みで7.8GBだった
ブラウザとか余計なアプリを閉じておけば行けるんじゃないかな

>>599
2次処理までやってるぽいので重いけど観れるよ
まぁ、本処理する前の確認用かな

>>595
github教えてちょうだい

>>607
ttps://github.com/sh202603/FlashVSR_plus

PythonのCLIツール
導入は git clone後、uv 使って uv sync するのが簡単 導入後以下のように実行すればOK
flashvsr-cli -v 11 -m tiny-long --tiled-dit --tile-size 192 --overlap 24 -i input.mp4 .\ -s 2 --resume

出力ファイルを保存先するフォルダを指定するスタイル(出力ファイル名はCLIが自動で決める、元のCLIの仕様)
初回はHugging Faceからモデルをダウンロードするので処理が始まるまで少し時間かかる

まずは短い動画か同梱のサンプル動画(SFW)でお試ししてみて

>>608
めっちゃいい感じじゃないすか！
これ、作ったの？
テストの短いのでやって良かったんで、本番やってみる！
ありがとう！

>>609
よかおめ
元は昨年中国の大学共同研究チームが発表したやつで、それのforkのfork版ｗ
lada-exやjasnaの二次復元に組み込んだらいい感じだったので
単体でも動くようにしてみた

>>608
横からだけど自分も試してみたよ、綺麗に仕上がるし上にいわゆるAI補正くささが本当に少なくてすごいね…
チャッピーさんに4070(12GB)での推奨設定を聞いて、640X480＆33秒の動画をX4するのに40分弱かかったけども
実行中の使用VRAM表示が　peak VRAM: 5.45 GiB allocated, 6.07 GiB だったからもっと短縮は出来そう
うちのローカル環境でこんだけできるのはたまげた、感謝
Jasnaの二次修復に使う分にはアップスケールが必要な面積は全画面よりは基本かなり狭いから、実用速度も高い感じ？

まだ試してないけどこれはtopaz video aiとは何が違うの？topazでもディティールの保持の値を上げたら不自然にならないし　

ただ、別のやつで試した時だけど、アップスケールしてからJasnaに食わすとモザイク判定悪くなるんで
Jasnaでモザイク処理してからアップスケールした方がいいみたい
今は、結婚式をVHSで撮ったのをDVDに焼いて持ってきてアップスケールしてる
素人撮影のでもすんごいクオリティで解像度上がる
なのにあんましAIの修整感が薄い
すごいよ

>>611
動作報告と感想Thanks
FlashVSRやSeedVR2は生成モデルなので正確に復元するのではなくもっともらしいテクスチャを生成する技術だけど
古くて低解像度の動画がそれっぽくとても綺麗になるのは凄いと思った

jasnaの二次修復について、今はスケールx4固定で処理していて個人の感想ではunet-4x同等orそれ以上の結果が得られていると思う
ただ速度面ではRTX5080でも荷が重い 普段使いできるレベルじゃないっす
アプスケするのが復元後の256x256画像になるとはいえjasnaの場合は通常の修復処理も走っているからその分の考慮が必要
興味があったらjasna forkのmodi版ドキュメント見てみて

(lada-exの方はスケールx2対応や色補正を入れた改良版をPR中)

>>612
いずれも類似の技術(Diffusion Model/Diffusion Transformer Model)を使っている 詳しい内容は知らんけど
FlashVSRやSeedVR2はオープンソースのオープンウェイト・課金不要で使える
TVAIを使えるならそれで良いんじゃないかな

>>613
モザありの動画をFlashVSRにかけるとモザを劣化ではなく保存すべき構造として扱い鮮明化するとか
jasnaにとっては余計お世話になる様だ

>>614
最後にタイル状のクリップを１つに合成するプロセス？
Stitching Chunks　って出るところでffmpegが数十同時起動してメインメモリ（48GB）がほぼフル使用されて落ちそうになってしまったので
tiling.py の　chunk_size=40　を　chunk_size=10　にしてみました、その後は上手く行ってるけど合ってるのかは分からない
メインメモリに余裕があれば平気なのかも

ディスコ見た感じ、新モデルにこれ系の技術を取り入れようと試行錯誤が繰り返されてるみたいだし
遠くないうちにまたドカーンと化けそうな予感・・・

>>608をチャッピーさんに相談してX2起動もできるようになったね
画質はX2でも個人的には十分驚愕の画質向上だし(X2用に別なモデルがちゃんとあった)
VRAM負荷は大幅に減り、速度も圧倒的に速くなったので実用範囲にはなったかも
途中でpyton環境の再構築が入ったからやり方を単純にここには書けない…興味ある人はAIと相談しながら試してみてね

動画を複数指定できるバッチを書いてくれ、とか頼むと簡単に用意してくれるからスゲー便利になったなあ…

>>616
>>617
使いこなしてくれているようで何より
chunk_size は合成時に一度にメモリへ載せるフレーム数なので減らしても出力は変わらない(ほんの少し遅くなるだけ)
ffmpeg 多重起動はタイル数分の reader を開きっぱなしにする仕様によるもので、メモリの大半はこっち
(開き直すと毎回先頭から再デコードになって激遅になる…)
ご推察通りメモリに余裕があれば出ない問題です

Discordに上がっている開発中モデルのサンプルは確かに良い感じだね

確かに普通のVHSやDVD素材とかにも使えるなこれ
いにしえのU15IVが4kになるのか

流石にガビガビでモザイク読み取れてない素材ならアップスケールしてjasnaに読み込ませた方が読み取れるのでは？

元で読み取れないやつは、アップスケールしても読み取れないと思うよ

まだ試してないけど2時間のVGA動画を4倍にするのにどのくらい時間がかかるの？

720x480のDVDなら、２倍で1日半くらいかかったよ

4060Ti 8GBでの環境でね
メモリは7GBほど消費してた

事前にインターレースをプログレッシブに変換したりとか
アスペクト比を4:3にするとか、アプスケ後のが音ズレしたんで
ffmpegで調整したりとかは必要だった

4倍アップスケールはとっても遅いので2時間動画全体を処理するのはあまり現実的ではないかな
以下、VGA(640x480) 1分動画での参考値(RTX 5060ti 16GB+Ryzen 7 5700X+MEM 64GB)
　2倍：約12分(タイル分割なし, --pad-align指定つき) ※VRAM 16GBだとギリ収まる
　4倍：約54分(タイルサイズ192, オーバーラップ32) ※VRAM使用量 約11GB(デスクトップ込み)

処理時間は線形で延びていくから2時間動画の推定処理時間はこんな感じ
　2倍：約24時間、4倍：約108時間(4.5日ｗ)

RTX5080だとRTX5060ti 16GBより2.5倍くらい速くなる

余り参考にはならないでしょうが、2080tiだとtritonが使えないので、
それを回避するように修正して、GUI化まではしたんだけど
5秒の動画x2で約10分かかった
ただVHS時代のボケボケの動画は流石に厳しかった

JavPlayerの頃からJasnaまでずっと素材にはアプコン等の処理はしない方がモザ認識はよいね
インタレース素材もDione等は使わず、ffmpegでデインタレ処理して破壊後にアプコンしてる

自分の環境(13700＋4070)だと
X2、タイルサイズ448、タイルオーバーラップ16　に設定して720X480の元動画の処理での最大使用VRAMが11.4GB
7秒の動画が4分割処理になって1区画当たり38秒弱掛かるので、動画1分当たりに掛かる処理が22分弱＋始めのVRAM確保と最後の合成時間

画質の面で気が付いたのは、X2だとX4に比べて特にシワやヒダのある部分(女性器、ゴム、たま袋等)にデティール過剰な感じのノイズが出やすいんだけど
タイルサイズを大きくするほど不自然な感じは目に見えて減る
タイルオーバーラップ(減らすほど速い筈、但しタイル同士の境界が目立つ可能性が上がる）は16に減らしても、720X480の動画では気が付かなかった

なんかアプコンの話になってね、どこも過疎ってるからある程度仕方ないけど

動画アップコンバートソフト総合10 【AIアプコン】
https://egg.5ch.io/test/read.cgi/software/1768580567/

SLP使うと顔のモザイクとかそれのみでかなり取れますからね

miniにも言えますねモザイク処理後の残りとか気にしないみたいな

プレーヤーを内蔵もいいけどEZみたいに独立したプレーヤーを作ってくれないかな
Jasnaの作者さんお願いします

Ladaのやつでよくねって思ったけど違うんだろうな

>>633
動画の拡張子とプレイヤーを関連付けたいの？
まぁここに書いても作者は見てないので要望はgithubの方へ

オマカンかもしれないが、同じ作品ソースでSD素材とHD素材をJasnaで破解したら、HD素材の方が正しくモザの向こうを復元していた。ただ、その後、TVAIのStarlight Preciseで仕上げようとすると、処理時間がSD素材の数倍かかる。悩ましいな。

進次郎構文みたいやけど、
4KってFHDの4倍の画素数あるから、処理時間も4倍かかるのな。当たり前に。
カメラが大したことないレーベルのだと画質がさほど変わらんから、両方見比べて処理にかかったほうがええね今んとこ。DVDの初期にVHS並の画質のレーベルがあったのと同じ。

てか >>608 みたいな話があるんか。
試したくてもビルドとかいうレベルだと、かなわん(泣)

BasicVSR++も、本来はアプコンやん？
コレ単体で走らせて低解像度の動画全体くっきり出来んかと試そうと思ってたんけど、かなわん(泣) そんな時間工面できん(泣)

jasnaのプレイヤーはladaよりちょい早いのが良いね
シークバー動かしても普通にすぐ再生されるし

処理は自分で設定したプリセットの数値なのかな？それとも低めになってるのか？

>>636
時間と品質のバランス取るならjasnaで処理したHD素材をSDサイズに縮小してからTVAIの後処理したらどう

jasna簡易再生めちゃくちゃいいな
これでjavpEZみたいに画面キャプチャも付けばさらに捗りそう

>>639
グラボなどのスペックを上げてみることも検討します。助言をありがとうございます。

現在、RTX3080tiなのですが、5080、5090はなかなか予算的に手が出ない。4000番台はものが無い。どうしたものか…。

>>637
自分もコマンドでやるのはちょっと…って思ったけど、
AIに聞きながらやったらすぐだったよ
まあ、GUIつきに比べると敷居は高いよね

UVの人だと
uv run python webui.py
でGUI起動するでしょ？
ただwebuiの初期値が>>608と違うから注意だけど。

>>643 608だがブラウザから使うやつだね
軽く動作確認したけど真面目にテストしてないや 不具合あったらスマソ

一次復元の品質モードを検討していて、調べた限りDiT系VSRをモザイク復元に
fine-tuneした公開事例は見当たらないのだけれど (誰か知ってたら教えて)
SeedVR2をLoRAでfine-tuneしたらモザイク除去を学習させることができた
ladaで作ったBasicVSR++用の学習素材を転用できたのでお試しが楽だったのは大きい

ベースをFlashVSRではなくSeedVR2にしたのは、FlashVSRが速度特化の蒸留モデルで
モザイク除去用途には向かない癖があったのに対し、SeedVR2は品質寄りで静止画での
LoRA学習の効きを先行実験で実証できたため

このモデルをBasicVSR++の代わりの一次復元器としてローカル環境でlada-exに統合し実機PoCまで完了
処理時間はBasicVSR++の約6倍かかるけど、低解像度や劣化が大きめな動画の復元には良いかも
あと、うねうね(テクスチャホッピング)も少ない感じ
時間ちらつき対策のfine-tuneや品質確認がうまくいったらPR出すつもり
(Jasnaはそのうち同様の技術を使った新モデルが出る見込みなのでfork版への組み込みは様子見)

>>639と似たアイディアなんだけどFlashVSRの実行時間を大幅に縮小する方法として

�@自分の環境で出来る、最大のタイルサイズを把握する
�Ahandbrake等を使ってソース動画をそのサイズまで縮小
�BFlashVSRをタイル不使用設定にして実行

タイル4分割実行と比較して10倍速以上で仕上がるし(4070で1時間強のSD動画を終わらすのに5時間程度)元動画がSDまでなら仕上がりにも大差ない
超解像とAI生成が分かち難くなりつつあるのを感じる

>>645
FlashVSRをモザイクあるのに使ってみると、名状しがたき何かを生み出す感じはあった
ひじきの大群が出現したり

>>640 本当だ、リアルタイム再生良い感じに見れる。最初の画面が大き過ぎる、動画の解像度になればもっと良いのに。

>>641
ワシはYahooフリマでRTX4080SUPERの中古を16万くらいで買った。
5070よかベンチは上ということで、コスパ重視での選択。
イチバチのつもりだったけど大丈夫だった。出品者の実績をよく見定めれば大丈夫かと。
今でもかなりの出品があるし、値段も下がってきてる。

じゃんぱらの中古で 4070 Ti super の中古が 13万くらい
グラボは 8月に入って一斉に値段が上がった

>>649
dosパラでパリット4070tis発売した時に店で並んで１２万ぐらいで買えたのは良い時代だったんだな

AmazonでASUS DUAL-RTX4060TI-O8Gがタイムセールで
5万円ちょっとで買えたんで
今のグラボの高騰した価格にはついていけない感じ…

去年の夏に安く組めたのは博士のおかげ

アニメのモザイク除去って全然進んでない感じなのかな？モザイク破壊動画とかも全然見かけないし

アニメのモザイク除去出来るソフトって存在する？

>>653
自分で学習させるしかないかと

てか嗜好ってそれぞれなんやな

グラボは来月から更に上がるよ
今月が最後の買い場だな

>>650
まさにそれ、買いましたよ。

今だと 5060 Ti 8GB が 7万で 16GB が 10万
去年は 8GB が 5万6000 で 16GB が 7万 だった

>>653
実写なら現実の人体の再現をすればいいので構造に個人差はあれど質感の再現自体は楽だろうけど
(ゲームのグラフィックなんかでリアルに近づければ近づけるほどみんな同じような映像になる現象と言えばいいか)
アニメの場合、作品によって描き込みや色彩なんかが千差万別だから汎用の学習データで自然な破壊をするのは難しそうなイメージがある

アニメに限らずこれからはMinMax H3のRef2VAみたいな技術で
モザイク部分を参照元と一貫性持たせて生成する方向になっていくのかね

jasna GitHub リセットされてる？

codebergのladaapp側issueに変なこと書きこんでる奴がいるけど、GitHubの方は特に問題ないが
最近GitHubで障害起きていたりするから 一時的な問題？

>>608
ほんとすごいわ
ただ、元の動画で遠くの人の顔が潰れてたりすると、
アプスケでみんな目を開けて寄り目になるｗ
これからまだバージョンアップされるなら
おしえてくれさい

jasna0.10.0の動画プレイヤー、グラボが良いと飛ばした場合もすぐに再生されるの？rtx5070tiとか。

>>663
5070tiだけど3秒くらい待つ。

>>664 返事ありがとう、良いグラボでも待つんだね。ワイのもそれくらいやわ。

>>608
これ使って解ったけどアプコンて時間かかるんだね
5060tiの8GBで1分弱の動画に30分ちょっとかかったわ

4060ti 8GBで２時間の動画1日半でアプコン完了
DVD画質がFHDになってて感動
現在の最初からFHDのを破壊するより
昔のを破壊してFHDにするとインパクトでかいわ

>>667
アプコンはTVAIですか？
Starlight Precise2.6だと4KなのかFHDなのかよくわからないけど、凄いリアルになるけど。

>>668
そこぁStarlight Precise2のどのグレードのサブスクなのか、是非書いてくんちょ。
Proだと月2万超えやし＝業者以外有りえんしｗ

Proプランの月額を個人でどうやって払ってるんですか？

>>668
アプコンは
>>607
のFLASHVSR+使わせてもらったよ
無料でここまでできるってすごい

MinMax H3のRef2VA試してみた (VRAM 16GB+MEM 64GB、Windows環境)
公開されてるモデルをそのまま使って、モザ入りビデオを入力にして以下のプロンプトで出力作ったらモザがきれいに消えてたｗ
Create an ultra-high-resolution, clean, cinematic video, masterwork, from <Video 1>

時間かかるしモデルの仕様上短いクリップしか生成できないけど、オモロ

ComfyUIは配線複雑そうで今まで手を出してなかったけど、Comfy MCPを使うとAIに頼むだけで本体導入〜モデル導入〜お試しまで簡単に出来るようになったのが大きい

>>672
あーーーー
これならjasnaで破壊出来ないボカシモザイクも行けそうやな

もう16gbのクラボ高すぎて変えないんだよな
メモリ倍増してくれる業者てどうなんだろ

>>672
MinMax H3のRef2VA　これって難しいでしょうか？ComfyUIも複雑そうで敬遠していたので・・・

>>673
ボカシモザイクもやってみた 試したやつは通常のモザイクの時ほどきれいにはならなかったけど、ボケが少し改善された？
入力動画によりうまく行ったりいかなかったり、傾向はまだよくわかならない

>>675
>>672 にも書いたけどAI使う前提ならお試し実行までほとんど自分の手を動かさずに出来るようになった (MCP使うので要課金)
ネットで探すとComfy MCPの使い方が出てくるので、自分の場合はそれに従ってComfyUIとMinMax H3のセットアップをClaude Codeで進めただけ
セットアップが済むとCompyUIのテンプレにワークフローが出来てるからそれを読み込んで参照用の動画とかプロンプト設定して実行したらあっさり動いたよ
わからない所はClaudeに聞けばおｋだった

>>608
FLASHVSR+って、2倍以外のスケールアップにも対応してます？
HDのをFHDにしてみようかなと思って。1.5とか効きます？

>>677
実績あるのは4倍と2倍かな --scale 指定はデフォルト4で整数値指定のみ
ググれば出てくると思うけど、モデルは4倍で最適化されている

そっかあ
一旦2xにしてffmpegとかで小さくするしかないね

アプコンは↓でやってくれ
モザイク破壊とは別の話


動画アップコンバートソフト総合10 【AIアプコン】
https://egg.5ch.io/test/read.cgi/software/1768580567/

>>676
ボカシモザイク除去実験ありがとうございます

コスプレ貴族これで買う価値出るかと思ったけど厳しい結果ですね…

>>681
その後うまく行ったのもあった
こればっかりは試してみないとわかんないねｗ

Jasnaの作者の人が、次の復元モデルにAI生成技術を組み込もうと試行錯誤してるとこなので
完全なスレチでもない

lada の lada_mosaic_restoration_model_generic_v1.2.pth にも GAN が入ってるけどな

手段が同じでも目的が違うのであれば専用スレでやったほうがいいのでは