【超解像】Lada part7

前スレ
【超解像】Lada part6
https://egg.5ch.io/test/read.cgi/software/1789682962/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>395
TVAIで4KにアプコンしたのをLTXで破壊してるけど普通に出来る
アプコンするとモザイクがぼやけるからどうかなと思ったけど標準画質でも十分だった

>>399
シーンやモザの種類、アプコンモデルによるとは思うが、自分が短いカットでGridPlayer使って比較した
・LTXの場合アプコンしてから破壊した方がくっきり鮮明な結果になる。破壊後のTVAIではそこまで鮮明にならない
・モザ認識は悪くなる箇所と(不思議だが)良くなる箇所があるが、平均すると悪くなると感じた
480i素材だったので、「どうせインタレ解除で再エンコするからDioneでアプコンもやっちゃえ」という感覚でやってみた

>>394
モザイクの情報頼りに復元してるんだよな、アップスケール処理されたモザイクは元情報と離れたものになるんじゃね
ってのが漠然と想像されるから先にアップスケールしようとは思わないし試す事もない、そういうの考えない？

あと基本アップスケールしないけどやる時はtvaiのgaia、ヒットポー使いたきゃ試してみればとしか言えない

>>401
BasicVSRまでの時代と変わりLTXは復元と生成のバランスが異様なレベルなので
その考え方は一度横に置いていいと思う
もちろんなんでも上手くいくとは限らないけど、うまくいくやつは試した範囲では結構多かった

SDでも満足しててアップスケール自体が億劫だからやった事ないけど
てか前処理のアップスケールに何使ったかで結果大きく左右されるよなそれ、試すのめんどくさいわ
このやり方では良かったって事だけ教えて、悪いけど

>>351
たしかに、標準+rtx デブラーlowはTOPの代替になり得るクオリティはあるなぁ
"ほとんどの人に於いては"

しかし、女性器形状凝視勢としては仮に時間が10倍かかったとしてもTOPを選ぶw

>>318
インタレは２フレーム分の画像を１枚に合成してるのでコーミング(櫛現象)が発生してる
つまりインタレ解除は２倍FPS化がマストで、原理的にモザの位置が奇数行と偶数行で交互に上下してしまう
これを判別して補完する必要があるのでTOPAZなどでAI処理する、AIじゃないけどTVMW8の適応補完(高精度)は高速。
高画質化ではモーションブラー除去がおすすめ、必要ならブロックノイズ除去、他はいらんと思う

>>404
それ事前情報食って満足してるだけじゃね
GridPlayerってのがあるから局部アップの基本と高画質のテストクリップ作って二つ一緒にD&Dして比較してみ
長時間かけて処理する価値あるか判断できるから

>>394
古い動画をまずJasnaで破壊してから
FLASHVSR+ってので高画質化・アップスケールしてる

AIに無劣化レベルでH265(NVENC)エンコードしたいなら、CQ15をすすめられた
今まで18でやってたけど15にした方がよいのかな

LTXでエンコードエラーが出てどうしてもLTXが使えません。
ログを見ると

12:32:51 PM ERROR Failed to process test.mp4: LTX worker could not start: this Jasna file could not be read or changed after installation: X:\jasna-windows-nvidia-0.12.1\triton\runtime\tcc\libtcc.dll
が出ててtriton\runtime\tcc\配下を見るとlibtcc.dll自体がありません。
これって別途入手してインストール？それとも初回使用時に自動ダウンロードで配置されるものなんでしょうか？？

あとGPUはRTX2070Superです。

>>409
ウィルスソフト

最近話題のgpuUNLOCKしたらLTXの処理早くなるんかね？

>>411
>>129 と
>>130

>>410
回答ありがとうございます！
試しにウィルスソフト止めたら起動しました！

>>408
画質へのこだわりは人それぞれだろうが、個人的には1080p素材でh265ならcq18で十分だと思う。実際に切り取った動画で比較してみて判断すると良いのでは
俺のデフォ設定は1080pだとAV1コーデックでcq28にしてる

>>414
これを機にAV1に移行しようかな。復元時間が長いからAV1エンコで少し長くなっても気にならないだろうし
AV1動画はファイルサイズが小さい反面、シークが遅く再編集しにくいのがデメリットかなと思ってますが
今のHWエンコはAV1が主流なのかな

>>400
Dioneは大丈夫なのは知ってるんだけどProteus4だとモザイクがとろける感じになっちゃうから 駄目そうだなあと思ってるんだけど、一回やって試してみるわ

>>412
サンキュー、夢ヤブレタリ

>>406
codexに作ってもらった比較再生拡大機能付きプレイヤーで見た結果だよ
ぱっと見はかなり近いけど、二次復元型は時間軸での形状維持が弱い
元が不鮮明なのを鮮明化してるから仕組み的にそうなるんだろうね
M字くぱあでパンするような場面での、ビラの立体感を感じるには形状維持がめちゃくちゃ大事

>>396
見たいとこが見えないのに抜けるレベルの作品だったはずが、見れるようになってしまった
皮肉にも、制約があったからこその到達点なんだよね

>>418
クロースアップシーンではBaiscVSR++の時もあったけど、LTXでもこの現象(形状維持が弱い=短時間で形状がうねうね変わる)は起こっちゃうね

>>417
GPUアンロックは現状デメリットが読めなすぎなんでまだ試してないけども
VAEデコード(ステップ4)は十二分に重いから、ここが高速化されるんならメリットはありそうには思うよ

>>416
ClaudeがJasna用素材のインタレ解除ならbwdifよりQTGMCが良いと言ったので
ffmpegのguiフロントエンドにQTGMC追加してもらったけど、これがまたLTX並に時間がかかる

>>351 の変態ジジイです。
その後、LTX＆RTX後処理の組み合わせ検証を繰り返した結果、
↓これを取り消しさせて頂きます。
『LTX Basic＋RTX後処理でTop並の水準を確保できると思う』 ×ｺﾚﾊﾀﾞﾒ

Basic ＋ RTX Deblur は時々思いっきり画質が荒れてBVSR++よかひどくなる場合あり、
そこで没入感が削がれてLTXの意味が全部パー、結局LTX Topでやり直すハメになる。

という、取り急ぎ追加報告とお詫びだす。
暫定的に LTX Standard ＋ RTX Super 4UUN (DeblurのみNone)あたりが時間と仕上がりのバランスいいかと思いつつ個人的な破壊の方進めておりますが、詳細報告は追ってまた。( ´Д`)
てか LTX と UNet4x の組み合わせって出来ないのね。( ´Д`)

>>391
法律を変えないと無理だと思う

>>423
法律は明治時代から変わっとらんよ
警察のさじ加減ひとつ
愛のコリーダ無罪だったんだから現行法で行けるだろ

>>421
KFMDeint(QTGMCのCUDA版＋KFM)なら1660tiで130fps出る(29.97を59.94bob化するから約2倍速)
導入ハードル高目だけど仕上がりはインタレ解除でベストだと思う

>>404
処理対象をじっくり観察したい人向けに、小さいモザイクはLTX基本画質で、大きいサイズのモザイクはTOP画質とか
選べたら面白いかも。

>>396
コーヒーの方だけで1日に140人とかの勢いで援助してるから開発者は大分金入ったろうな
日本のモザイク利権が海外の開発者を潤わせる
日本の富の海外流出の原因になってるという

>>422
なんかパイパンのマン周りの毛穴のブツブツみたいなのが強調される傾向ないか？

>>426
ズームシーンの途中でLTXモデルが変わると画質の段差が見えちゃうかも、とか、やってみないとわからないところもあるが技術的には可能だな
ステップ1の時に検出した各トラックをステップ3でどのモデルを使って復元するかの情報加えて計画
ステップ3をモデルごとに処理すればVRAMも増えない、また、モデルの切り替えは30〜40秒程度で可能なのでオーバーヘッドはそこまで大きくない
まぁ暗号化されたモデルをいじれるのは作者だけなんで、要望出してみたら

>>428
LTX ＋ RTX Deblur だと時々全部が極端に強調されてヘンテコな切り絵みたいになることがあるね
Top と Basic で出るから、LTXとの組み合わせ全部でだと思う
とりあえず LTX ＋ Deblur はダメね

NVIDIA GeForce RTX 5060 Ti持ちで＄25､日本円で約4300でLTX購入し無理動画ファイルの中をかたっぱしに変換してみた全部理想の内容に感激。

>422
LTXとUNet 4x 選択できるけど、これは処理されてないってこと？

>>432
ウィンドウズ版の0.12.1だとその組み合わせは選択できないんだけど違うやつ？

賛否あるけど2Dはどうなんだ？
LADAだとちんこが真っ直ぐな棒ではなく、山芋みたいな感じになるのは改善されたんだろうか

LTXモデル実装後の仕上がりに、細かい要望はいくらか出てるけどは否はないと思うよ
そこらへんで情報が止まってんなら驚異的と思う可能性が大

>>434
賛はあるけど否あるか？
現時点でJavPが40点だとしたら BasicVSRが80点ぐらい、LTXをどうしたら100点満点にできるかって話にしか思えないんだが。

2Dってのがアニメのことならすまんげど、ladsもJasnaもアニメをターゲットにして学習してないからな。

どーでもいいけど4Kで複数モザイクがある場合に
不必要なウェイトが発生する件はissuesに書いておいた。
次のリリースで修正されるってさ。

>>438
4Kで複数モザイクのときのウェイトの件、issueって#726のこと？
もしそれなら、今v0.12.2 betaをテストしてるけど、ちゃんと効いてるっぽい

RTX 5080 / Windows、LTX Basic、4Kクリップのステップ4の時間：
・モザイク多め（1080p 30秒の素材を2x2に並べて作ったやつ）: 55.9秒 → 33秒くらい
・モザイク少なめ: 16.9秒 → 16.1秒くらいで、ほぼ変わらず

複数モザイクのときだけ短くなっているから、説明どおりの動きかなと
ただ、並べて作った合成素材での話なので、実際の4K動画だとまた違うかしれんが

2080Ti使っててLTXのためにお布施して手に入れたら世界が変わった
1分、2分の動画サンプルしかまだ試してないけど凄いねこれ
時間が2分動画に対して20分かかるけどｗ
このタイミングでグラボ買い替えるか迷う。６０シリーズ出るのってまだだいぶ先だよね

3060Ti民だけどLTXテストモードで所要時間見て諦めたわ

3090使ってるが、標準で2時間の動画が3～4時間やな

>>439
間違いないです。
Claude codeが見つけてくれました

工房の5060ti16GBvuntus1万上がってるやん。これはまだまだ上がりそうやね

どうみてもAIバブル崩壊しとるんじゃが・・・
売り抜けたいのかのう
あさはかじゃのう

崩壊していたら安価にして売りぬこうとするんじゃね？

3000番代とか人権無いですよ

なんやAI需要が無くなってきたん？

>>447
3050(8GB)と3060(12GB)のおいらは一体！？

3080が ここまで長く現役になるとは思わなかったわ。壊れたらどうしよう…

円安もあるけどGPUもメモリもSSDもHDDも天井知らず、高止まりすら見えない
中国が半導体供給急速に拡大してるけど国内消費で消えて世界の市場価格全然下がらん

アメリカで民主党が勝ったおかげで、イーロン・マスク含めたデータセンターへの
投資が縮小するだろうって観測が広まって　nvidiaの株価が10%近く急落したらしい

先週5060ti16GB買ったけど、なんかこれでも十分な気がしてきた。
だだし12名出演の4K VRは片目だけの5 分動画に分割してjasnaへ通しても1時間以上掛かった後にエラー終了、全く歯がたたん。

5060ti16GBは12万辺りが底値だから株価丸々反映して小売り10%下がる、かも、か
現実のnvidiaはろくに下げないし総需要が減ってくれないと市場価格下がらないしむしろ上がるのがね
更新きついわ

増やしたいが6万台で5060Ti 16GB買ったから今の値段で買う気しないな

動きの激しくて24fpsで少しカクカクの動画を、ぬるぬる動画(60fps?)にフレーム補完したい場合、
LTX処理前／後どちらに補完処理するのがベター？　
Lossless scalingをVLC再生時に使うと多少ヌルヌルになった気がするけど、他におススメのAIとかあれば教えて。

TVAIで60fpsにしてるな 今の時点で数万円出す価値があるかは知らんけど

jasna 0.12.1で画像復元で「モデルをダウンロード」を押しても「No module named 'huggingface_hub.utils._headers'」とエラーになる。
「https://huggingface.co/Kruk2/sd-15-jav」を見てものモデルファイルが無いみたいですがどので入手出来るのでしょうか？

>456
Jasnaのmodi版のフレーム生成機能を使ってる。
Claudeにソースファイル見せたらmodiのビルドからフレーム生成機能のGUI化までやってくれたよ。
2倍か4倍しか選べないから24fpsを60fpsにはできないけど。

>>458
>>299
v0.12.2で直る beta版のテストではOKだった

>>456
SVP4
AIじゃないが再生時リアルタイムで144Hzまで補完する

>>459
使ってくれてありがとう
Windoww限定だけれどもフレーム生成のエンジンを以下に差し替えると--fpsで出力のターゲットfpsを指定できるようになるから24fpsから直接60fpsを出力できるはず
組み込みは自力でやってもらうことになるけれども
ttps://github.com/sh202603/dlss5-visual-enhancer

自分では使いこなせなかったけど二次復元にdlss5のNeuroframe Engineを使うことも可能

新しいPCを買えば、幸せになれるのか…？

29.97fpsを30fps、59.94fpsを60fpsにしてくれるソフトないかのう

rtx5060ti 16gbてpcスペックやモザにもよるやろうが、2時間の単体作品でどれくらい？2時間以上？

10時間くらいじゃね

なんでまるまる破壊しようとするんじゃ
「あの動画」をオカズにするときに見るのは大体「あの辺り」って決まっとるじゃろ
股間に手ぇ当てて考えてみい

テープ時代じゃないんだから

>>464
XMedia Recode
https://www.xmedia-recode.de/en/

>>464
それ意味あんの？ 音ずれ？

v0.12.2来たな

>>471
いまダウンロード中だわ

20秒の動画でテストしたけど1秒くらい速かった
画質もあちこち手が入ってるだろうにすごいな

Jasna v0.12.2 更新まとめ、LTX が VR180 対応、2 倍フレーム生成、設定画面の整理

■ 新機能
・LTX が VR180（sbs・tb）で使えるように、両目とも同じ品質で復元、完璧ではないが無いよりマシとのこと（#689）
・2 倍フレーム生成、30fps → 60fps、RTX 40 以降限定、Output タブか --frame-generation 2x（#365）
・設定画面が Simple / Advanced / Expert の 3 段階に、使われない項目はいくつか廃止
・LTX の Standard 画質が少し良くなった（フル VAE 使用）、Basic は Standard の約 1.7 倍速
・復元した動画に使った設定が埋め込まれる、MediaInfo や ffprobe のコメント欄で確認可（#717）
・トレイに最小化（言語選択の横の歯車から）（#646）
・LTX モデルのダウンロードが途中で切れても続きから再開（#675）
・アクティベーション時に「自分の PC」（オフライン可）か「レンタル・共用 PC」（要ネット）を選ぶ方式に、使用中の PC 一覧も見える
・支援先が Buy Me a Coffee から Ko-fi に変更、他で売っているライセンスは偽物
■ 主なバグ修正
・LTX: 2 つのモザイクが接するときのちらつき軽減、検出枠が一瞬大きくなるときに絵が跳ねない（#713）
・LTX: 6 GB / 8 GB カードの VRAM 不足（#678, #690, #697）
・LTX: 4K で複数モザイクのときの最終段が速く（#718, #726）
・LTX: Ctrl+C で即停止
・途中で止めたジョブの出力が完成品に見えてしまう問題
・範囲指定ジョブが失敗後に途中から再開できる（#708）
・スマートレンダー: AV1 と一部 H.264 で失敗する問題（#659, #733）
・範囲指定が可変フレームレート動画でも使える（#667）
・NVDEC デコードで seek 位置の丸めのせいでフレームが 1 枚飛ぶ問題（#709）
・Linux: UI の拡大率がディスプレイ設定に追従（#663）
・保存中にクラッシュするとプリセットが消える問題

初回起動はいつも通り遅い、Defender の誤検知が出る人は除外設定で

画像も大丈夫や

linuxの4Kディスプレイではフォントがメチャ小さかったから助かる。早速DLせねば。

初心者ですみません。
LTXのモデルは、各画質ごとに都度、ダウンロードしなければならないのですか？

>>477
それであってます、全部別のモデルが設定されている

>>478
ご回答、ありがとうございます！

準備段階で時間が掛かるものなのですね。

モデルを分けることでVRAM少ない環境でも実用速度が出るように配慮がなされてるヤツなので
1度目のロード時間なんて誤差よ誤差

今気づいたのだがキューに26件追加したけど画面に表示されるリストは20件だけ。リスト下のメッセージは「26件がキューに追加済み」とは表示されていて実際に21件目のジョブは開始されてる。
残りのジョブが終わったら0.12.2に更新してどうなるか試してみよう。

>>465
4～5時間

先ほどキューが20件までしか表示されないと書いたが、出力ファイル名テンプレートの下にキューのページ送り/戻りの矢印ボタンがあった。これでキューリストのページ送りするんだね。スクリーンレイアウト的にこのボタンは出力先の上にあると良いかな。

LTXかグラボのVRAMがせめて10ギガバイト以上で元動画の3倍以内に処理出来ればありがたい。現実的に2080tiや3080が使えるから。

ん？なんかよくわからないが、新しいv0.12.2は前のライセンスコードは無効で、新たに購入しないと駄目だってこと？

>>485
旧ライセンスはそのまま引き継がれるで

>>486
教えてくれてサンキューやで。

ライセンス状況がわかりやすくなった。
不明なofflinePCライセンスの解放にもすぐに対応していただけた。

>>460

0.12.2で画像復元のモデルが無事ダウンロードが出来ました。
情報ありがとうございます。

v12.2で一本破壊したら、動画時間が0のができたんだけど、バグかな？
再生はできるけど、0だからスキップやシークバーの操作ができない。元動画は普通に時間が出る のにな。何か動画変換ソフトを通したら直るかな？

VidCoderを通したら直った。

ご報告
当方「Core i5 13400F(32GB) + RTX3060(12GB)」と「Ryzen 9 3900X(32GB) + RTX3050(8G)」の2環境あります。
0.12.1の設定のまま0.12.2を実行しました。
するとRTX3060のPCの方のWindowsが落ちました。強制終了させOSを起動し再び実行。するとハードは動いているようですが画面がブラックアウトしました。
RTX3050の方は旧設定で問題無く動いてます。
設定の「--detection-score-threshold 0.20」を削除し初期値で実行（初期値はrfdetr-v6-largeなので0.4？）すると正常終了するようになりました。
原因は分かってません。以上ご報告まで。

違法アップロードサイトでもLTXを別枠でジャンル分けしてるところが出てきたな。あまり目立つことしないでくれよ。

>>490
2本目も同じ症状だ。何がいけないんだろう？設定とかとくにいじってなくて、デフォルトでやってるんだけどな。

LTX使った事ないんどけど、無料と比べて目に見えて見違えるほどの差があるの？3060tiだから厳しいと思うけど興味ある

>>495
BasicVSRとは次元が違うレベルだからこれだけ盛り上がってるわけでね

>>495
革命的だよ。前までのモデルでもチンコはそれなりに綺麗になってたけど、マンコはグニャグニャだったのがすっきりする。
LTX 破壊で検索すれば違法アップロードのサイトがあるから、サンプルとして観てみればいいと思うよ。

チャッピーはエロいことやってるとアカウントBANされるようになっちゃったわ

皆様お気をつけください。

いつかは買い切りじゃなくサブスクとかになるんかな