【超解像】Lada part5

前スレ
【超解像】Lada part4
https://egg.5ch.io/test/read.cgi/software/1774864985/
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

>>611
動作報告と感想Thanks
FlashVSRやSeedVR2は生成モデルなので正確に復元するのではなくもっともらしいテクスチャを生成する技術だけど
古くて低解像度の動画がそれっぽくとても綺麗になるのは凄いと思った

jasnaの二次修復について、今はスケールx4固定で処理していて個人の感想ではunet-4x同等orそれ以上の結果が得られていると思う
ただ速度面ではRTX5080でも荷が重い 普段使いできるレベルじゃないっす
アプスケするのが復元後の256x256画像になるとはいえjasnaの場合は通常の修復処理も走っているからその分の考慮が必要
興味があったらjasna forkのmodi版ドキュメント見てみて

(lada-exの方はスケールx2対応や色補正を入れた改良版をPR中)

>>612
いずれも類似の技術(Diffusion Model/Diffusion Transformer Model)を使っている 詳しい内容は知らんけど
FlashVSRやSeedVR2はオープンソースのオープンウェイト・課金不要で使える
TVAIを使えるならそれで良いんじゃないかな

>>613
モザありの動画をFlashVSRにかけるとモザを劣化ではなく保存すべき構造として扱い鮮明化するとか
jasnaにとっては余計お世話になる様だ

>>614
最後にタイル状のクリップを１つに合成するプロセス？
Stitching Chunks　って出るところでffmpegが数十同時起動してメインメモリ（48GB）がほぼフル使用されて落ちそうになってしまったので
tiling.py の　chunk_size=40　を　chunk_size=10　にしてみました、その後は上手く行ってるけど合ってるのかは分からない
メインメモリに余裕があれば平気なのかも

ディスコ見た感じ、新モデルにこれ系の技術を取り入れようと試行錯誤が繰り返されてるみたいだし
遠くないうちにまたドカーンと化けそうな予感・・・

>>608をチャッピーさんに相談してX2起動もできるようになったね
画質はX2でも個人的には十分驚愕の画質向上だし(X2用に別なモデルがちゃんとあった)
VRAM負荷は大幅に減り、速度も圧倒的に速くなったので実用範囲にはなったかも
途中でpyton環境の再構築が入ったからやり方を単純にここには書けない…興味ある人はAIと相談しながら試してみてね

動画を複数指定できるバッチを書いてくれ、とか頼むと簡単に用意してくれるからスゲー便利になったなあ…

>>616
>>617
使いこなしてくれているようで何より
chunk_size は合成時に一度にメモリへ載せるフレーム数なので減らしても出力は変わらない(ほんの少し遅くなるだけ)
ffmpeg 多重起動はタイル数分の reader を開きっぱなしにする仕様によるもので、メモリの大半はこっち
(開き直すと毎回先頭から再デコードになって激遅になる…)
ご推察通りメモリに余裕があれば出ない問題です

Discordに上がっている開発中モデルのサンプルは確かに良い感じだね

確かに普通のVHSやDVD素材とかにも使えるなこれ
いにしえのU15IVが4kになるのか

流石にガビガビでモザイク読み取れてない素材ならアップスケールしてjasnaに読み込ませた方が読み取れるのでは？

元で読み取れないやつは、アップスケールしても読み取れないと思うよ

まだ試してないけど2時間のVGA動画を4倍にするのにどのくらい時間がかかるの？

720x480のDVDなら、２倍で1日半くらいかかったよ

4060Ti 8GBでの環境でね
メモリは7GBほど消費してた

事前にインターレースをプログレッシブに変換したりとか
アスペクト比を4:3にするとか、アプスケ後のが音ズレしたんで
ffmpegで調整したりとかは必要だった

4倍アップスケールはとっても遅いので2時間動画全体を処理するのはあまり現実的ではないかな
以下、VGA(640x480) 1分動画での参考値(RTX 5060ti 16GB+Ryzen 7 5700X+MEM 64GB)
　2倍：約12分(タイル分割なし, --pad-align指定つき) ※VRAM 16GBだとギリ収まる
　4倍：約54分(タイルサイズ192, オーバーラップ32) ※VRAM使用量 約11GB(デスクトップ込み)

処理時間は線形で延びていくから2時間動画の推定処理時間はこんな感じ
　2倍：約24時間、4倍：約108時間(4.5日ｗ)

RTX5080だとRTX5060ti 16GBより2.5倍くらい速くなる

余り参考にはならないでしょうが、2080tiだとtritonが使えないので、
それを回避するように修正して、GUI化まではしたんだけど
5秒の動画x2で約10分かかった
ただVHS時代のボケボケの動画は流石に厳しかった

JavPlayerの頃からJasnaまでずっと素材にはアプコン等の処理はしない方がモザ認識はよいね
インタレース素材もDione等は使わず、ffmpegでデインタレ処理して破壊後にアプコンしてる

自分の環境(13700＋4070)だと
X2、タイルサイズ448、タイルオーバーラップ16　に設定して720X480の元動画の処理での最大使用VRAMが11.4GB
7秒の動画が4分割処理になって1区画当たり38秒弱掛かるので、動画1分当たりに掛かる処理が22分弱＋始めのVRAM確保と最後の合成時間

画質の面で気が付いたのは、X2だとX4に比べて特にシワやヒダのある部分(女性器、ゴム、たま袋等)にデティール過剰な感じのノイズが出やすいんだけど
タイルサイズを大きくするほど不自然な感じは目に見えて減る
タイルオーバーラップ(減らすほど速い筈、但しタイル同士の境界が目立つ可能性が上がる）は16に減らしても、720X480の動画では気が付かなかった

なんかアプコンの話になってね、どこも過疎ってるからある程度仕方ないけど

動画アップコンバートソフト総合10 【AIアプコン】
https://egg.5ch.io/test/read.cgi/software/1768580567/

SLP使うと顔のモザイクとかそれのみでかなり取れますからね

miniにも言えますねモザイク処理後の残りとか気にしないみたいな

プレーヤーを内蔵もいいけどEZみたいに独立したプレーヤーを作ってくれないかな
Jasnaの作者さんお願いします

Ladaのやつでよくねって思ったけど違うんだろうな

>>633
動画の拡張子とプレイヤーを関連付けたいの？
まぁここに書いても作者は見てないので要望はgithubの方へ

オマカンかもしれないが、同じ作品ソースでSD素材とHD素材をJasnaで破解したら、HD素材の方が正しくモザの向こうを復元していた。ただ、その後、TVAIのStarlight Preciseで仕上げようとすると、処理時間がSD素材の数倍かかる。悩ましいな。

進次郎構文みたいやけど、
4KってFHDの4倍の画素数あるから、処理時間も4倍かかるのな。当たり前に。
カメラが大したことないレーベルのだと画質がさほど変わらんから、両方見比べて処理にかかったほうがええね今んとこ。DVDの初期にVHS並の画質のレーベルがあったのと同じ。

てか >>608 みたいな話があるんか。
試したくてもビルドとかいうレベルだと、かなわん(泣)

BasicVSR++も、本来はアプコンやん？
コレ単体で走らせて低解像度の動画全体くっきり出来んかと試そうと思ってたんけど、かなわん(泣) そんな時間工面できん(泣)

jasnaのプレイヤーはladaよりちょい早いのが良いね
シークバー動かしても普通にすぐ再生されるし

処理は自分で設定したプリセットの数値なのかな？それとも低めになってるのか？

>>636
時間と品質のバランス取るならjasnaで処理したHD素材をSDサイズに縮小してからTVAIの後処理したらどう

jasna簡易再生めちゃくちゃいいな
これでjavpEZみたいに画面キャプチャも付けばさらに捗りそう

>>639
グラボなどのスペックを上げてみることも検討します。助言をありがとうございます。

現在、RTX3080tiなのですが、5080、5090はなかなか予算的に手が出ない。4000番台はものが無い。どうしたものか…。

>>637
自分もコマンドでやるのはちょっと…って思ったけど、
AIに聞きながらやったらすぐだったよ
まあ、GUIつきに比べると敷居は高いよね

UVの人だと
uv run python webui.py
でGUI起動するでしょ？
ただwebuiの初期値が>>608と違うから注意だけど。

>>643 608だがブラウザから使うやつだね
軽く動作確認したけど真面目にテストしてないや 不具合あったらスマソ

一次復元の品質モードを検討していて、調べた限りDiT系VSRをモザイク復元に
fine-tuneした公開事例は見当たらないのだけれど (誰か知ってたら教えて)
SeedVR2をLoRAでfine-tuneしたらモザイク除去を学習させることができた
ladaで作ったBasicVSR++用の学習素材を転用できたのでお試しが楽だったのは大きい

ベースをFlashVSRではなくSeedVR2にしたのは、FlashVSRが速度特化の蒸留モデルで
モザイク除去用途には向かない癖があったのに対し、SeedVR2は品質寄りで静止画での
LoRA学習の効きを先行実験で実証できたため

このモデルをBasicVSR++の代わりの一次復元器としてローカル環境でlada-exに統合し実機PoCまで完了
処理時間はBasicVSR++の約6倍かかるけど、低解像度や劣化が大きめな動画の復元には良いかも
あと、うねうね(テクスチャホッピング)も少ない感じ
時間ちらつき対策のfine-tuneや品質確認がうまくいったらPR出すつもり
(Jasnaはそのうち同様の技術を使った新モデルが出る見込みなのでfork版への組み込みは様子見)

>>639と似たアイディアなんだけどFlashVSRの実行時間を大幅に縮小する方法として

�@自分の環境で出来る、最大のタイルサイズを把握する
�Ahandbrake等を使ってソース動画をそのサイズまで縮小
�BFlashVSRをタイル不使用設定にして実行

タイル4分割実行と比較して10倍速以上で仕上がるし(4070で1時間強のSD動画を終わらすのに5時間程度)元動画がSDまでなら仕上がりにも大差ない
超解像とAI生成が分かち難くなりつつあるのを感じる

>>645
FlashVSRをモザイクあるのに使ってみると、名状しがたき何かを生み出す感じはあった
ひじきの大群が出現したり

>>640 本当だ、リアルタイム再生良い感じに見れる。最初の画面が大き過ぎる、動画の解像度になればもっと良いのに。

>>641
ワシはYahooフリマでRTX4080SUPERの中古を16万くらいで買った。
5070よかベンチは上ということで、コスパ重視での選択。
イチバチのつもりだったけど大丈夫だった。出品者の実績をよく見定めれば大丈夫かと。
今でもかなりの出品があるし、値段も下がってきてる。

じゃんぱらの中古で 4070 Ti super の中古が 13万くらい
グラボは 8月に入って一斉に値段が上がった

>>649
dosパラでパリット4070tis発売した時に店で並んで１２万ぐらいで買えたのは良い時代だったんだな

AmazonでASUS DUAL-RTX4060TI-O8Gがタイムセールで
5万円ちょっとで買えたんで
今のグラボの高騰した価格にはついていけない感じ…

去年の夏に安く組めたのは博士のおかげ

アニメのモザイク除去って全然進んでない感じなのかな？モザイク破壊動画とかも全然見かけないし

アニメのモザイク除去出来るソフトって存在する？

>>653
自分で学習させるしかないかと

てか嗜好ってそれぞれなんやな

グラボは来月から更に上がるよ
今月が最後の買い場だな

>>650
まさにそれ、買いましたよ。

今だと 5060 Ti 8GB が 7万で 16GB が 10万
去年は 8GB が 5万6000 で 16GB が 7万 だった

>>653
実写なら現実の人体の再現をすればいいので構造に個人差はあれど質感の再現自体は楽だろうけど
(ゲームのグラフィックなんかでリアルに近づければ近づけるほどみんな同じような映像になる現象と言えばいいか)
アニメの場合、作品によって描き込みや色彩なんかが千差万別だから汎用の学習データで自然な破壊をするのは難しそうなイメージがある

アニメに限らずこれからはMinMax H3のRef2VAみたいな技術で
モザイク部分を参照元と一貫性持たせて生成する方向になっていくのかね

jasna GitHub リセットされてる？

codebergのladaapp側issueに変なこと書きこんでる奴がいるけど、GitHubの方は特に問題ないが
最近GitHubで障害起きていたりするから 一時的な問題？

>>608
ほんとすごいわ
ただ、元の動画で遠くの人の顔が潰れてたりすると、
アプスケでみんな目を開けて寄り目になるｗ
これからまだバージョンアップされるなら
おしえてくれさい

jasna0.10.0の動画プレイヤー、グラボが良いと飛ばした場合もすぐに再生されるの？rtx5070tiとか。

>>663
5070tiだけど3秒くらい待つ。

>>664 返事ありがとう、良いグラボでも待つんだね。ワイのもそれくらいやわ。

>>608
これ使って解ったけどアプコンて時間かかるんだね
5060tiの8GBで1分弱の動画に30分ちょっとかかったわ

4060ti 8GBで２時間の動画1日半でアプコン完了
DVD画質がFHDになってて感動
現在の最初からFHDのを破壊するより
昔のを破壊してFHDにするとインパクトでかいわ

>>667
アプコンはTVAIですか？
Starlight Precise2.6だと4KなのかFHDなのかよくわからないけど、凄いリアルになるけど。

>>668
そこぁStarlight Precise2のどのグレードのサブスクなのか、是非書いてくんちょ。
Proだと月2万超えやし＝業者以外有りえんしｗ

Proプランの月額を個人でどうやって払ってるんですか？

>>668
アプコンは
>>607
のFLASHVSR+使わせてもらったよ
無料でここまでできるってすごい

MinMax H3のRef2VA試してみた (VRAM 16GB+MEM 64GB、Windows環境)
公開されてるモデルをそのまま使って、モザ入りビデオを入力にして以下のプロンプトで出力作ったらモザがきれいに消えてたｗ
Create an ultra-high-resolution, clean, cinematic video, masterwork, from <Video 1>

時間かかるしモデルの仕様上短いクリップしか生成できないけど、オモロ

ComfyUIは配線複雑そうで今まで手を出してなかったけど、Comfy MCPを使うとAIに頼むだけで本体導入〜モデル導入〜お試しまで簡単に出来るようになったのが大きい

>>672
あーーーー
これならjasnaで破壊出来ないボカシモザイクも行けそうやな

もう16gbのクラボ高すぎて変えないんだよな
メモリ倍増してくれる業者てどうなんだろ

>>672
MinMax H3のRef2VA　これって難しいでしょうか？ComfyUIも複雑そうで敬遠していたので・・・

>>673
ボカシモザイクもやってみた 試したやつは通常のモザイクの時ほどきれいにはならなかったけど、ボケが少し改善された？
入力動画によりうまく行ったりいかなかったり、傾向はまだよくわかならない

>>675
>>672 にも書いたけどAI使う前提ならお試し実行までほとんど自分の手を動かさずに出来るようになった (MCP使うので要課金)
ネットで探すとComfy MCPの使い方が出てくるので、自分の場合はそれに従ってComfyUIとMinMax H3のセットアップをClaude Codeで進めただけ
セットアップが済むとCompyUIのテンプレにワークフローが出来てるからそれを読み込んで参照用の動画とかプロンプト設定して実行したらあっさり動いたよ
わからない所はClaudeに聞けばおｋだった

>>608
FLASHVSR+って、2倍以外のスケールアップにも対応してます？
HDのをFHDにしてみようかなと思って。1.5とか効きます？

>>677
実績あるのは4倍と2倍かな --scale 指定はデフォルト4で整数値指定のみ
ググれば出てくると思うけど、モデルは4倍で最適化されている

そっかあ
一旦2xにしてffmpegとかで小さくするしかないね

アプコンは↓でやってくれ
モザイク破壊とは別の話


動画アップコンバートソフト総合10 【AIアプコン】
https://egg.5ch.io/test/read.cgi/software/1768580567/

>>676
ボカシモザイク除去実験ありがとうございます

コスプレ貴族これで買う価値出るかと思ったけど厳しい結果ですね…

>>681
その後うまく行ったのもあった
こればっかりは試してみないとわかんないねｗ

Jasnaの作者の人が、次の復元モデルにAI生成技術を組み込もうと試行錯誤してるとこなので
完全なスレチでもない

lada の lada_mosaic_restoration_model_generic_v1.2.pth にも GAN が入ってるけどな

手段が同じでも目的が違うのであれば専用スレでやったほうがいいのでは

ごめんね、最近の最初からFHDの破壊だときれいで当たり前なんだけど
昔見たDVD画質のでっかいモザイクのが破壊できて
それがFHDにアプスケできて最近のと遜色ないってのが感動でさ、ついね

DVD時代のAVなんて女優がオバさんとかブスばかりで見るに耐えないけどな

DVD時代でもきれいな女優さんけっこういるよ
及川奈央さんとか、横山美雪さんとか、日向ひかるさんとか
個人的に立花里子さんが好きｗ

穂花とか今でも最強クラスの顔とスタイルだと思うよ

令和なんて女優が改造人間ばかりで見るに耐えないけどな

朝岡実嶺と白石ひとみには随分とお世話になりました

そこら辺〜平成中期まで世代の女優さんが疑似だったか否かに時代を超えて正解が

>>692

今のと違って抜き差しが見えないように撮影してるから
難しかったりする。

でも、口でするのはゴム付きかどうかは簡単に分かるね。
根本に手を添えて隠してるけどね。

発売当時はAIの技術で除去されるなんて考えてなかったでしょう。

>>693
全て本番で撮っていたと言われるAV女優の作品は、大股開きで抜き差しが分かる様な
アングルで撮ってる事も多い気がする。
もっとも、90年代前半以前の作品は、モザイク破壊しても指が太くなったりして綺麗に
再現出来ないので、完全には判別出来ないものが多いかな？

1番モザイク薄かった時代と濃かった時代の動画を破壊して比較したらどのくらい差がでるんだろうね
最近の素人がアップするモザイク極薄の動画はエグいくらいリアルになるが

裏本文化の流れから来たようなガバっとよく見えるちょい昔のやつがすき
2010年頃までのオーロラやそれに寄せてた頃の無垢など
あんまし破壊が流れて来ないので自助努力しかないなと

古いHD50分の動画6分で処理終わった
FHDの4時間で47分で終わった
早いよー
5090でもGPU使用率30から50%くらいなんだがこれでデフォ？

データ転送がボトルネックになってるから RAM Disk 作って、そこを入力ファイルと出力ディレクトリの場所にする

>>697
30%〜50%でもその早さとはさすが5090
しかし、一般人が容易に購入できるような価格ではないんだよね

いいなー
グラボ欲しくなる

>>697
>>699
jasnaの場合このクラスのGPUになるとデコード・検出、復元、合成の3ステージのうち
FHD動画程度だとデコード・検出ステージがボトルネックになっててデコーダーが忙しくて
コンピュートが遊んじゃうと思った (個人の経験です)
上を見たらきりがないけど、5090だったら4k動画とか8k VR動画でドヤって欲しいｗ

CPUデコードデータのメインメモリからGPUへの転送が追いつかずGPU使用率が上がらない。HWMonitor等で見るとBus Interfaceのところはこのメモリ転送で100%に張り付いてると思うよ。
lada-exだとこのデコードから一連の処理をGPU内でパイプライン化して高速処理化、更に1つの動画をチャンク分けして並列処理までするオプションがあって凄いのだがGPUメモリがたくさん必要。

遅くたってほっときゃいつか終わるだろ

うちの5090は60%くらい

グラボは5080まで色々試したけど5060ti16gbがちょうどいい

>>705

5070Tiとの比較はどんな感じですか？

5070SUPER出ないかと首を長くして待ってます。

>>706
FHD2時間の1ちん1まんの普通の作品
70tiが25分なら35分プラス数分？程度
10分〜くらい遅くなる程度で10万で買えるし発熱も低く静か

5060ti 16GBが10万で買えるのは安い在庫限りっぽいね
今となっては出たての頃に8万ちょいで買っておいてよかった・・・

>>707

2時間で10分程度早いだけなんですね。GPU速くても高い割には差がないですね。

5070tiが12万台の頃に勢いで買ったけど正解タイミングすぎた

5060Tiって今十万もするのか。
数ヶ月前に9万で買って、3060Tiが2万ちょっとで売れたのはいいタイミングだったんだな。
Qwen がサクサク動くしな。
やっぱりGPU性能よりVRAM容量で選んで正解だったわ。

>>711
いや全然いいタイミングじゃないですよ
去年のブラックフライデーあたりなら7万ちょいで（ヤフショのポイント込みならもっと安く）買えたし、3060 12GBは3万円で売れた

ここで尋ねるのもスレ違いかもしれませんが、
使っていたグラボを売る場合、皆さんどこで処理されてますか？メルカリ、ヤフオク、パソコン販売業者…。NVIDIAの1080ti～2080ti、3080tiなど完動品が10台近くあるのですが、どうしたものか悩んでます。

手数料5%のヤフーフリマ