【超解像】Lada part6

前スレ
【超解像】Lada part5
https://egg.5ch.io/test/read.cgi/software/1782703217/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

lada-exもSwiftVRに対応したので実行してみた。5秒ほどのテスト動画だから処理速度など判断できないけど綺麗なのは俺でもわかった。ヘアの解像度なんかマッキーからボールペン位には繊細になってる。

ここまで、
「VR」っていう単語が”エロ動画の3D-VR”と”超解像度AIのVR”で被っちゃってるのだけど、

わけわからんくなってるオッサンには、チャッピーに
『「FlashVSR」、「SeedVR」、「SwiftVR」の特徴と、各々の長所短所を教えてください。』
って質問してみることをお勧めしたい。

スレだけ読んでるとわけわからんくて困っちゃうよねマジ( ´Д`)

>>313
nvidia-vfxの新しいバージョン取り込んでRTX VSRを使ったフレーム生成や出力を直接アプスケする機能も追加されてるね
Lada-ex作者さんとはPRでレビューしてて、ようやく実用的な処理速度と品質が出せたSwiftVRを取り込んでもらった

>>314
いろいろ手だしてスマソｗ

JASNAのエンコード画質いろいろ試したんだけどさH264、H265、AV1　どれも画質悪くない？
他のソフトでエンコしたもんより2段階ぐらいノイジーだし、ファイルサイズも下手すると3倍くらいに膨れ上がる
H264に至ってはQB1ですら細部が消える(ちんこから鈴口が消えた)
仕方ないからH265かAV1のQB1を中間ファイルとして吐き出してるけど　なんだかなぁ

>>315
いやいや、色々と情報ＵＰしてもらえて、そういうもんがあるってのを教えてもらえる
だけでもすごく有り難いし、感謝してるっす。
ご遠慮なく引き続き頑張っちゃって下さいｗ わからんことはチャッピーに聞くからｗ

>>285
jasnaのforkリストの上から2つ目に出てくるやつで、こういうforkがあるね
adding pre-Turing GPU support (GTX 10-series / Pascal and Volta), selectable encode/decode devices, and per-GPU TensorRT engine archiving. See README-BUILD.md.
自分はハード持ってないので試せないのだけれど、1060で動くかも?

>>318
githubのREADME.ja.mdには要件として
「NVIDIA の GTX 16 シリーズ / RTX 20 シリーズ以降の GPU。
GTX 10 シリーズ以前のカード（GTX 1050/1060/1070/1080）では動作しません」
てなっててあきらめたんやけど、そのforkってどこにあるん？

>>319
つ ttps://github.com/QingLiu2333/jasna

お、来るか

>>320
おおお！神かな？
ちょっと試してみますね
ありがとう！

jasna作者からメールでコードが送られてきた。v11からは再度入力が必要な模様。v11 近日リリースって書いてあった。

0.11以降用のコードが届いてる
リリースはもうすぐかな

>>315
fast-pipline、vr-fisheye、tensorrtでの基本処理に加えてSwiftVRの2次復元、RIFEでの30fpsからの60fpsフレーム補間、VSRの2倍アプスケのフルセット同時実行も5080で動いたw
数日前にvramオフロードも実装されてたのですね。

>>325
--frame-gen-backend nvvfx でNVIDIAのVideo Frame Generationを選択できるので、これに切り替えると最強ｗ
jasna modiにも実装したけどRIFEの10倍速でフレーム生成できました

作者からのアプデ通知、Google翻訳の日本語訳だけ貼っとく。コーヒー奢ったやつに届く内容のやつ。
特典に興味あったらコーヒー奢ってみるとええのかも。
『Jasnaをご支援いただきありがとうございます！ライセンスコードは以下の通りです。』
『このコードは、近日リリース予定のJasna v0.11以降のバージョンでご利用いただけます。リリース後、Jasnaを開いて「オンライン（Online）」タブを選択し、コードを貼り付けてください。最大3台のデバイスでご利用可能です。』

追加課金も辞さない腹だったけど以前のコーヒー代だけでいいっぽいな
アレで追加した二次修復モデル・静止画修復モデルとは作業量の桁が3つくらい違うだろうに太っ腹だわね

0.11来たね。

最近検出ばっかでお腹いっぱいだったけど復元モデルどうや？

来たな！

課金しててよかったと思える

まだためせてないけどLTX使うには$25ってあるけど前回$50払ってる俺はどうなるんや

>>333
既に支援済みだったなら、メールにコード送られてきてない？

>>334
コードは来たけどLTXが使えるのかどうかは記されてなかったので気になった次第なんだが、先ほど有効化できてLTXモデルDL中
LTXのお試しモード無効の状態で実行できればOKってことかなあ

LTX、今までにコーヒー奢った人は使えるみたいだね。これから奢る人は25ドル出さないとダメみたい。

>>335
Current supporters get LTX for free
てあるよ(既にサポートしてくれてる人にはLTXは無料です　続けて、だけどコーヒーもう一杯おごってくれたらうれしいなあ　て書いてる)
これから支援する人からは新価格って事かと

すまん見逃してた
そう言うことか

作者相手にどんだけコーヒーが好きなんだよ！ってボケる勇者はいないのか

モデルがDL完了してもLTXがエラーになる
前回15ドル払ったけど、LTXを使いたい場合はあと10ドル奢ればいいってことなのかな

丁度v10で動画放り込んで寝ようと思ってたけど、v11来たから中断。起動時になんかエラー出たけど起動した。これ無事使えるのかな？
てか、LTXモデル14Gもあるのね。
高画質は遅いらしいが、どの程度なのか？とりあえず明日の朝が楽しみだ。

https://github.com/Kruk2/jasna/blob/main/docs/en/models.md#downloading-ltx-yourself
作者の人より、LTXモデルの自動ダウンロードが失敗する場合はこっちから落としてですって

設定によってはVRAMの空きが12G必要みたいだけど、デフォルトならオレのグラボの11Gでも使えそう。早急に買い替えなくても良さそうだな。

一度失敗したな
処理は無事完了、めっちゃいいわ

初回デフォ設定でFHD30fps1分のmp4に18分かかった
出来は確かにいい
もう少し早くなるといいな

LTXって2Dアニメどんな感じ？

0.11.1から起動時にGoogle IMEとCLaunchがエラーでる意味不明
入力系と相性があるのかな

他のゲームやアプリでたまにあるけど言語設定を　米国にしろっていうパターンじゃないのかね

俺も「何とか.dl」のエラーが出てたけど、その後普通に起動したのでとりあえずLTXのDL中
ちゃんと動作するかどうかは不明

起動時のエラーが関係してるのか不明だけどLTXだけエラーで動かないわ
モデルはダウンロードできたし手動でも入れ直したけどダメだ

まーたエンコし直しの日々が始まるのか(歓喜

5080以上じゃないと一本丸一日コースだな

前回$15払ったのに新キーが来ねえ

LTXを全て最高品質にしてSD40分くらいの動画を5080で処理させてるが予定終了時間3時間半くらい

5060Ti16Gで30分の動画を標準•高速でやってみてるけど、いまステップ2でETAが8時間とか出てる。これはきついな。

あ、FHD 30fpsの動画ね

>>346
おそらく元動画ではこんなに描き込んでないよね？ってレベルにディティールが書き込まれることもある
リアルの素材でしか学習してないっぽいけど、basicVSR+とは別次元な何かなのでので試す価値はある、かも

出来栄えは評価してないけど、試したアニメテストデータはカット数が多くて通常の動画の3倍位時間がかかった

5070tiだけどbasicVSR+では1時間かからなかった動画がLTXの高画質・高速モード無しで24時間かかりそう
こりゃ必要な部分だけカットして通常画質の高速モードにしないとやってらんないな

高速モードだけONと高画質・高速モード無し・でかモザ対応ONでは処理時間に4〜6倍差が出る
一番画質の良い設定はまず短い動画で試した方がよいよ
細部が鮮明に出過ぎて逆にリアルじゃない・不気味の谷的な何かを感じることもあったｗ

まいった、今までjavplayerでずっとやってきてladaとか全然知らなかったんだが使ってみたら全然解像度は違うわgtx1080じゃ動かないわ……RTX買って今までのやり直すか……

>>360
自分の環境じゃVRAM足らなくて試せないけど
解像度が480Pとかの動画のほうがむしろ高画質モードがあってるよかん
これまでなら仕上がりがめっちゃぐちゃってたかなーリ古い動画でも驚異の再現するようになったんで、ボケるの惜しいわね
これにModiの2次修復掛けられたら…

ブラウザエロゲの短いクリップでいくつか試したところ、アニメ(Spineで作ってるぽいやつ)の再現度までかなり上がってた
汁描写とかもきっちり分けてんのがびっくり、高画質のJAV以外は特に学習してないって話だったけど…
そのかわりv2vRがなくなっちゃったんで(再追加できるのか？はまだ試してない)検出に苦労するかもしれない

寝る前に放り込んで、今見たらSTEP2で残り時間が240hとか表示されてるんだけど。こりゃ使い物にならないか？

とりあえず1分以下ので試そう、使い物にならないなんて考えはすっ飛んでくと思う

俺のマシンスペックでは、という意味ね。

今はRTX2080Tiなんだけど、グラボ買い換えるかなぁ。
素人考えであれなんだけど、グラボ買い足して、2枚を平行処理みたいな有効活用ってできるのかな？

2060 Super でもLTXは動作しました
30 秒のお気に入りシーンを処理してみたら、非常に鮮明で素晴らしい結果だった。これはもう Uncen と見分けつかない。
basicVSRでのノイズや不鮮明な部分もなくなっている。モザにもよると思うので、ちょっと他の動画も数十秒切り出しでやってみて最終評価かな

>>364
Windowsだと共有GPUメモリ(つまりシステムRAM)に退避できるから、OOM回避してゆっくり動いている可能性ある
共有GPUメモリがVRAMサイズを大きく超えて使われていないかチェックしてみたら

>>362
復元力はそうなんすよ
LTXモデル改善のフィードバックを募集しているので、ボケ気味なのはそのうち改良されそうではある

8GBのVRAMだと13GBがメインメモリに溢れている。
GPU使用率も10%台。GPU欲しくなるね

>>353
コーヒーにメルアドでログインしてマイページ開くとMessagesに届いてるはず

てすと

5090でfhd29.97fps 5分半の動画がyolo4、LTXモデル標準、高速モードオン、大きなモザイクオンで20分ちょいだったわ
VRAM使用量は約20GB

>>367
俺の経験上、売っぱらって新しいグラボに変えるべき。VRAM16ギガのやつにしなよ。

4070でLTXデフォルト設定だと
7倍ぐらいの時間がかかる。
今までのだと半分ぐらいの時間で終了してた。

ファイル名に日本語使ってたせいか
最後のファイル書き出しでエラー発生。(従来のモデルだと問題いなかったんだけどなぁ)

うーん、処理時間が実用的ではないね。
ハイクラスのグラボでもそんなに？

博士が普及型のグラボでの処理に拘ってJavplayerを作ってくれていたのも今更ながら尊敬するわ。

さて、今後のスピードアップ化は望めるかなぁ。

LTX凄まじいなさすがDiTだわ
出来栄えが完璧

Jasnaの人も軽量化にはずーっと力入れてるでしょ、前バージョンまでにJavPやladaよりどんだけ軽く速くなってたか
実質的にメジャーアップデート第一弾なんだからまずは質を素直に喜んどくべき

ビデオカードが高騰してるし
本格的にLTXで破壊するなら
クラウドで借りて処理するというのが現実的かなぁ。

5090なんて100万超えるからね。

まああまり知識が無いから想定が難しいんだけどLTXは技術的にソフトの処理速度改善の余地はまだある感じなのかな？
であればもっとコーヒー驕りたい

まだそんなに時間がかかるなら
Supjavあたりが採用するのを待ってみるかな
自作は当分旧バージョンで

>>380
その通り！
でも、一部の金持ちオタクがハイスペックPCで破解できるという代物（現段階）は万々歳ではないからね。

>>357
ありがとう　処理重いって話出てるからJavplayer時代の遅さに逆戻りしてそうね
LadaやJasnaの爆速ぶりに慣れてしまってると導入をちょっと躊躇するかも・・・
とりあえずRTX5xxxにグラボ新調してからコーヒー奢ってみるかなぁ

モデル　標準　(高速) でもかなり良い出来です

>>385
別フォルダに入れれば良いだけでは？

グラボ今買うなら5080終売で値上がりしそうな5070ti
来年待つなら5080superってとこか
後者は40万以上するだろうけど

5xxxx系は8ヶ月で2.6倍の値段になってる
しかもまだ上がってる最中らしいから恐ろしい

amdが頑張ってくれたらなぁ
人員をさいて動作させろ

先月MicronがVRAM向けの2GBメモリ作るのやめるって言い出した(VARM8GBの製品に大ダメージ)
グラボ全体で更に値上がりしだしたから収まる気配がないのよね今・・・

5000系 16GBで最安値の5060Tiはどう？
これで良ければ近所のドスパラ行ってくる

>>392
2000番台のNvidiaからなら買い替えておいて損はない。

Amazonで5070tiと5080の価格差4万くらいなんだけど、5080買った方が快適かな？

VRAM8GでLTXの恩恵どれだけ受けれるかな？

VRAM8GBでは足りなくてメインメモリを12GBくらい使い出すんだとか
素の状態で実写1本変換に1日かかるって言ってる人いるし
下手すると1.5日位かかってしまうんじゃないすかね

そもそも要件が16GBなんだからオフロード発生で激遅になって使い物にならないっしょ

0.11.1更新されているの今気づいて慌ててインストした。立ちあがったがLTXを選択するのはわかるが
他の設定がよく分からないが、あとはデフォルトのままスタートすればいいのでしょうか？

ちなみにコーヒーおごってキーは届いたが、この後何か設定する必要はありますでしょうか。

>>392
>>309 動くよ
Fast modeだけONにしたとき、長尺動画での処理時間は実時間の8倍(5060 Ti 16GB)くらいかかる

>>394
カードの性能差分くらい快適になると思うｗ 約10〜15%くらいのup？

>>396
にゃる
ピンポイントで好きなとこだけ切り抜いて使ってみます
グラボ買い替えは新モデル出て安くなるまで待つかな

グラボ高すぎて一生買い換えれない気がしてきた

CUDA環境はRTX Sparkに置き換わるだろう
現状PCIEがボトルネックになってるみたいだし

8GBの5060Tiでも動きますか？

すいません。python313.dllが見つからないため、コードを実行できないと返事がきますが、どうしたらいいのでしょうか。
教えていただけましたら、助かります。どうぞよろしくお願い致します。

チャッピーに聞いたら5070tiの価格comの最低価格との差額を考えると5080より5070tiの方が良いって言われた。
最近のグラボは分厚いみたいだけど、そもそも俺のパソコンにおさまるのかな？w何年か前にHDDを増設して以来開けてないから、どうだったか覚えてない。

昨夜放り込んで13時間くらい。進捗をリモートデスクトップで確認したけど5%。全然進んでない。
2080tiでやるのは無理だな。今は諦めた。グラボ買い替えてから再挑戦する。

標準（高速）と最高品質（遅い）があるが、出来は結構違うのかな・・・？
標準（高速）でもかなら満足する結果だったけど

>>408
>>360
高品質設定の方が良いかというと、ケースバイケースな印象
やるなら短い区間で確認した方が良いです

>>409
アドバイスありがとうございます。比較してもぱっと見分からなかったので
とりあえず標準（高速）で破壊します。それに最高品質（遅い）は、RTX-5060TI（8VRAM）だととんでもなく時間かかる･･･

4070Tiでfhd 29.97fps 約2時間の動画がyolo4、LTXモデル標準で10h46mと出てる…これならなんとか待てるがrfdetr-v6だともっとかかるのか

アニメは時間短いからLTXでも我慢できるが
普通のAVの尺はちょっと厳しすぎるな、洗練されるの待つほうが精神的に良さそう