【超解像】Lada part7

前スレ
【超解像】Lada part6
https://egg.5ch.io/test/read.cgi/software/1789682962/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>42
俺も同じ。
最近、更にClaude Codeにffmpegの各種機能が使えるフロントエンドGUI作ってもらった。

>>46
そのGUI作った際のClaudeに入力したプロンプト教えてもらえないかな
是非使いたい

>>47
自宅PCのローカルリポジトリで処理させたので、外出先の今は詳細分からないが
やりたいことを箇条書きにして、「ffmpegのフロントエンドGUI作って」と投げた
自分の場合はよく使う機能 アスペクト比、コンテナ変更、部分切り出し、再エンコの有無 等々、その他お勧めの機能も加えてと書いただけ。
とりあえず作らせて自分が使いやすいように追加、修正させればよいのでは

他の有料AIは知らないけども
ClaudeCodeさんは対話だけでほぼ思ったの作ってくれるから楽でいいわね
詳しく書けないけどもキャプチャアプリケーションも作ってくれた
要望に余計な事を言わないのがコツ、あとは察して

作った、出来ただけの日記ならXでやれよ
情報として無価値

は？ナイスジョーク！

>>49
GITHUB Copilotでも出来たよ

LTXでの処理後の動画、半分くらいが途中から見れない状態になるんだけど似たような症状のある人いますか？
止まる場所は動画によって様々で、開始5分で止まるのもあれば1時間50分まで見れるのもあります。止まる部分より後はシークバーでずらしてもサムネイルも生成されないし、MPCBEとVLC、win11標準プレイヤーのどれでも同じです。
エンコードのときのタイムスタンプずれな気がするけど、jasna上ではエラーもでないしどう解消したものか…

LTXを使ったjasnaの設定で最適な条件は何がいいですか？

まずはffprobe等でdurationの時間とstreamの時間確認してみては？
メタデータのduration通りの時間のデータが入っていないのか、入っているけど途中で壊れているのか見当つくと思う。
LTXのステップ4で落ちると例えば1分の動画なのに10秒しか入っていなものが出来上がったりする。この場合はログ遡ると表示されてるけど。

>>54
動画による

中古の4060ti 16GBポチッた。今の俺にはこれが精一杯。
お前らはストレージもすごそうだな。
動画だけで100TBなんて普通の世界？

>>53
元動画の形式とか、Segment Editorで分割処理したのかとか、どうjasnaで処理したのか情報も無いとなんとも言えないな

増設を考えてAmazon見たけど、SSDだけじゃなくHDDも値上がりしてるなぁ…

元動画は消さないが、LTX以外で破壊した動画は消すようにしてる。

>>57
うちは多分来年には100テラ超えちゃいそう

5060Ti 16GB で 8K VRの動画破壊できました！
4060Ti 8Gは途中でエラーで止まってたんで、うれしい！
でもVRAMが95%で15GBくらい使ってて、
マウスカーソルの動きにカクツキがでるくらいでギリギリでしたW

>>55 >>58
ありがとうございます。
ubuntu24.04, 3090, ram128gbの環境で
検出モデルをlada-yolo-v4のしきい値0.25
動画のコーデックは処理前後ともHEVCで、
segment editorは使っていません。
LTXモデルは標準から最高画質までばらばら、元動画の解像度も720pから2160pまで様々です。高画質•高解像度だと起こるというようなこともないみたいです。

>>63
先ずは途中までしか再生できないとは何なのかを確認してみては？
ffmpeg -i input.mp4 -c copy -shortest output.mp4
これで実際の動画の映像か音声か最も短いものに合わせて出力される。
jasnaで出力した動画を変換してみて動画時間に差があったら途中までしか動画が作成されていないことになる。ほぼ時間が同じなら何かエラーになるものが含まれてる。

>>53
元ファイルに問題がある可能性が大きい。
他のアプリで再エンコードしてからJASNAに食わせてみたら。

>>57

5070Super待ってたけど出る目処が立たないんで

去年の今頃、「主にAI用途でしか使わんしSUPERまで待つか」と思っていたけど、情勢鑑みたらSUPER出ないっぽくね？それどころか既製品も値上がりする？と思ってパーツ更新に走った、結果的にグラボはほぼ底で拾えた
CPUやマザボはまだしもグラボ、メモリのどっちか逝ったら致命的

>>64
コマンドそのままで実行したところ、時間も同じで同じ所までしか再生できない動画が生まれました
AIに言われた通り色々オプションつけてみたら見れる部分だけの短い動画ファイルになったので、他の方が言うように元動画を再エンコしてやってみます

>>65
ありがとうございます。試してみます。

AIlバブルがはじければ、下がるんじゃね？バブルはじけるのもそんなにさきじゃないでしょ

ここにいる連中みたいにエロいやつが多いと中々弾けんぞ

>>48
AIに聞いてH265変換+結合位しかやってないけどチャレンジしてみるよ。どうもありがとう

>>57
外付けでHDDが15台、ケースに2台。SSDは別。
最低12TBであとは24とか26とかがつながってる。

4060VRAM-8G,DDR5-16G,jasna0.11.3,LTX標準

入力　0720*0480,60fps,01:36:36　処理時間　23:47:53
入力　1920*1080,60fps,00:34:16　処理時間　07:17:37

SDとFHDで処理時間あまり変わらんっぽいな
それにしてもすごい再現性だ、もう流出や無修正って言われてもわからん

YORO-V4とrfdetr-V6の違いがぱっと見判りません。
どっちがおすすめですか？

AIは今が本当の意味での黎明期

>>57
2年前に80TBのraid5組んだ
今なら6〜70万コースだからいい買い物だったよ

JASNA の BasicVSR++, rfdetr-v6 で処理すると、ブルブル震えるような動きの動画が出来上がってしまうのですが
どうしたらいいか分かりますでしょうか？

>>75
YOLOの方が検出力が高いが、画面上のチェック状の背景や服などにも反応して余計なところが崩れる場合がある
RF-DETRは顔モザイクは無視し背景や服の誤検出は無いが、肝心なところの検出漏れの場合がある
じゃないかな

>>78
LTXで処理する

>>78
動画の細かいフォーマットが原因みたいだから自分はHandbrakeで再エンコしてから復元処理してる

>>75
zelefans-vr-yolo-v2。>>1の検出モデル拾ってmodel_weightsフォルダに入れたら使える
yolo-v4はポンコツ、使ってると後で後悔する

>>82
アドバイスありがとうございます。

lada_vr_mosaic_detection_model_v2_accurate.pt をダウンロードしてそのままmodel_weightsフォルダに入れたら使える

でOKでしょうか？

そう、検出モデルにzelefans-vr-yolo-v2が出て選べるようになる

>>84
無事できました。ありがとうございました。
これからはzelefans-vr-yolo-v2　で破壊するようにいたします。

LTXはとにかく時間がかかるので、処理対象動画をブツ切りにしてから破壊することにしたのだが、
ブツ切りするのに色んなアプリを試してもとにかく時間が溶ける。

そこで試しに claude(無課金)に頼んで ffmpeg のGUIを作ってくれって頼んだら、めちゃ快適。
ご参考までにプロンプト貼っとくわ。↓

>>86 つづき　以下プロンプト
-----------------------------
以下機能の ffmpeg のGUIを作って下さい。
添付の cut.txt に予めユーザーが以下を記入しておくこととします。
最初の行に切断対象の動画のファイル名。
3行目以下に動画を切断する位置、行数は任意で、必ず 00:00:00 で始まり、EE:EE:EE で終わることとし、その間に切断する箇所を HH:MM:SS の記述で最大998行までとします。
GUIには「CUT」「STOP」というボタンと、「FIN」「ERROR」というランプを付けて下さい。
「CUT」を押したら cut.txt で指定された動画を指定の区切り位置で複数の動画ファイルに分割、各々のファイル名には元動画のファイル名を****.mp4であれば****_001.mp4、****_002.mp4、****_003.mp4 ・・・という風に通し番号を付加します。
動画切断位置を示す行に - が入っている場合、その区間の動画は生成しないようにして下さい。
切断が終わったら「FIN」ランプを点灯、切断箇所のどれかが元動画の長さよりも長い場合と、切断箇所記載箇所の行数が998行を超えている場合は切断動作せず「ERROR」ランプを点灯するようにして下さい。

>>87　さらに続き　頼む時にくっつける cut.txt のサンプルファイル中身
----------------------------------
D:\EXAMPLE\****.MP4

00:00:00
-
02:05:00
02:19:25
02:32:22
-
EE:EE:EE

>>87　プロンプトで書き忘れてた。
--------------------
「CUT」を押した後の動画の切り出し動作中に「STOP」を押したら、切り出し動作を停止して下さい。
そこまでに生成した切断後の動画はそのままにして下さい。
--------------------
そのままじゃなくて全部消しちゃう方がよかったらそう書くとええし、アレンジはご自由に。
実際は切り出し動作が数秒で終わるので、「STOP」押すスキはまず無いですｗ

ただ単にぶつ切りにしたいならDDで勝手にキーフレームで5分割なり20分毎なりするBATでも書いてもらった方が早いんじゃないか。
動画確認しながらカットしたいならロスレスでカット位置自分で決めて分割カすれば良いし。

モザイクの処理する必要のないとこ切り出して、
必要なとこだけ処理してあとで合体するってことじゃないすか？
どこまで処理の必要のないとこ切り出すかで数が多かったら余計手間そうだけど、
日本のは前半にドラマ仕立てで処理の必要がないのが多いから、
そこだけ切り取るってぐらいならいいかもしれないね

コーヒー代決済できない
VISAもJCBもmasterもダメ
なんか障害出てる？

モザイク無いとこが多いと処理がめっちゃ速いから、カット編集もそんなに凝らなくて良いと思う
オムニバス作品は一人ごとに区切るとか、単体女優ものはシーンごとに区切る程度でも、それぞれのファイルが数時間で終わるから、途中でGPU他のことに使いたいとかのときも中断がしやすい

次のバージョンは一時停止ができるって話ありませんでした？

>>94 あるよ
Jasna v0.12.0 がもうすぐ出そうと思ったけど、なかなか出ないｗ AMD版のデバッグに手こずってるのかな？

前スレ >>968 再掲
レポジトリのバージョン表記が 0.12.0 に上がり、1 週間で 200 件超のコミット、正式版では変わる可能性あり
■ 新機能
・LTX の一時停止と再開、範囲指定ジョブも対象
・LTX 高速化（コミット名は「2 倍速 VAE と 3 倍速 stream-distilled」非公開部分のため詳細不明）
モデルファイルが再ダウンロードされるので 0.11.3 からの流用は更新が必要、ライセンスはそのまま
　(HFには既に新しいモデルファイルがアップロードされてる)
・LTX が 6 GB カードで動く、RTX 20 系は VAE fp16 化で大幅高速化
・AMD: Linux の RX 7000/9000・R9700 で LTX 対応、Windows はベータ、ROCm 10.1 に更新
■ バグ修正
・LTX のウィンドウの継ぎ目で先頭数フレームが灰色にちらつく（#580）
・範囲指定で LUT とシャープ化が復元区間にしか効かない（#551）
・範囲指定で元コーデックが違うと AV1 設定のせいで失敗（#569）
・スマートレンダーで継ぎ目ごとに音声が約 1 GOP ずれる（#595, #548）
・GOP 途中カットの MP4 で先頭・末尾フレーム欠落
・処理スレッドが落ちたときのハング
・ストリーミングの先読みが数分で 0 になる（#579）

GPUフル稼働で外出するの怖いから中断・再開が出来るようになったら3時間ものでも気軽に破壊できるようになるな

>>96
電気代の方が怖いけどな

夢中でモザイク外してる香具師にもまたサナエ電気代補助金が注ぎ込まれると思うとなんかアレやねw

現在一強であることにあぐらをかいてサブスク化したりどんどん値上げをするTopazに対してAIアップスケール部門でも革命起こして欲しいな

最近はメインPCがJasnaで塞がってるのでサブPCでTVAIの代わりにReal Video Enhancer使ってる。TVAIのIris等には劣るがまぁこれで良いか位には仕上がる。

>>100
TopazはStarlight Preciseが使えないと意味がないと思ってる。これ一択。しかし、処理時間が…。

ぶつ切りや結合はAvidemuxで一瞬だと思うけど、どこに時間かかってるんだろ

>>102
avidemuxでサンプル部分抽出やカットも普通に出来るし遅くないよね

でも、複数ファイル跨がってカット部分指定して放置してる間に終わるとかならその方が良いのかもね
うちもcodexに作ってもらおうかな

>>102
再エンコードして出力してるのかもしれない。しなきゃ動画サイズ次第だが数秒で終わるはずだし。

>>103
ぶつ切り、接合ならLosslessCut使えば良いのでは？
AV1コーデックの素材でも使えるしLinux版もある

恐恐8GBの3050でLTX実行したらマジで終わらんね。
FHDの2時間強の動画だけどもう24時間過ぎちゃった。
凄っ

恐る恐るなのにいきなり長編ぶっ込みすぎだろw

テスト用の短い動画は用意してあって、それは通っているので丸ごとを実行。
いやぁVRAM8GBでも最低限度と言われる日が来るなんて。

昨今のAI事情だとVRAM8GBは最低限度を下回ってるけどな
3050でよくやってられるな、と感心する

>>106
自分の2070で5分の動画に8時間以上掛かった
3050なら一世代新しいけどエントリーモデルだし2070よりも遅いこともありそう
丸々一本ならモザイクが掛かっていない時間も考慮すると150時間くらい掛かりそう

サブは3060(12GB)なんで延々と破壊専用機になっちゃってる。
16GBの何か(5070?)を買って3050を引退させるか、もしかして2枚刺しで有利になったりとか？
その前に金がないんだけれども。

ぜにのないやつぁ俺んとこへ来い♪

遠目かつ境界線が曖昧な分かりづらいモザイクだとv2_accurateじゃないと検出出来ないな

ロングの小さいモザはv2_accurateでも取りこぼす事がある
速度改善に振ったyolp-v3以降とか局部認識限定に振ったrfdetrのNSFWとか方向間違ってんだよな
モザイクを確実に拾ってくれるのが正義なのに

5分の普通の4K VRならLTXで30分位で完了するところだがスッポンポンが12人いる動画だと3時間40分。"大きなモザイクだけLTXを有効" にしとかないと厳しいなこれ。50人ものとか100人ものとかはかなり上級者向きなんだろな。

モザの検知はJavPlayerが一番だった
博士元気かな

モロ警察利権だからどっちにしろ日本で続けたりLTXクオリティは無理だった
ありがとう博士
偉大な人だった

丸ごと突っ込むなら区間エディターでスキャンしてやったほうが早いぞ、モザイクないとこはスキップ処理だから

>>118
と思ってたけどv0.11.xは継ぎ目の処理とかバグ持ちで音ズレする事がある

>>87〜89 っす。みんな盛大なツッコミありがとうｗ

そもそもがLTX処理に時間掛かって20時間だの待つよりはせめて3〜4時間で少しずつ見れんか、というところから始まって、
前スレで教えてもらったffmpegでブツ切りにするコマンドを使ってみたり、やっぱあかんわってなってDavinci Resolveやらその他もろもろ使ってみたりしたんだけども、
結局はffmpegが一番確実なんだからこれを使いこなすのが一番、快適にするために自分が欲しい機能だけのGUIをClaudeに作ってもらったら、自分が欲しいやつピンポイントだものそりゃ快適だわな、っていう話。
Claudeさん、特に指定してないのにエンコするかしないかのモード選択までつけてくれたり、指定してなくても明らかなエラーは一通り網羅してるし、すごい。
切り出し位置をtxtに書くようにすると、それ保存しとくと後でまた使えたりするから意外に便利だったりもするし。

AIにGUI作ってもらう話はスレでちょくちょく出てたけど、確かにハマればめっちゃ便利だわ、ってことで。

VRはclaudeで作ったGUIで処理してるな

5060TI 16GB
4KVRを何本かLTXでやってみたけどどれも指定区間の18倍くらいだな
仕上がりには大満足。今まで何度も試して失敗してたやつがくっきり
8KVRも試してみたけど50倍はかかりそうだったので途中で止めた

高速化でどれだけ速くなるかやな
生成だから膨大な時間かかるのは予想してたけどやってくれるはず

v0.12.1 のリリース前確認依頼が来たから今やってるで

>>120
「直して」と言えば文句言わずに、すぐに対応してくれるしね

5060 8GBと4060TI 16GBが8万円から9万円で同じような価格帯だけど
どちらがLTX処理に向いているのでしょうか
高速化ができる5000番台かVRAMの差が物を言うのか

>>124
すごいね。どうなるとそういう役割になるの？

>>126
そもそもVRAMが足らないとメインメモリー使うから処理時間が激遅になるので
1世代古くてもVRAM多いほうが処理時間は短く済む
FHDの破壊でも9.6GBのメモリー使うから8GBじゃキツい
何れバージョンアップで今よりも少ないVRAM容量で処理出来るようになる事を期待するかだね

gpu unlockしてもltxは10%程度しか速くならないみたいね

>>127
今までのやりとり？

>>129
作者がDiscordで書いてたけど、効果があるのはステップ2（VAEエンコード）とステップ4（VAEデコードと書き出し）
ステップ3（復元）はもともとINT8で動くからほとんど変わらない

>>124
v0.12.1のリリース前確認は手元のUbuntu 26.04+RTX 5080では大きな問題なく通った
・LTXに「Basic」が増えて標準より約1.3倍速い(手元でも30秒クリップで45秒→37秒)、見た目は標準よりわずかにソフト
・標準/Basicは新しいVAEでエンコード・デコードが速くなって、標準の同じ30秒クリップがv0.11.3の69秒→45秒
・LTXでRTX Super Resの二次復元が使えるようになった (自分の提案内容とは違うけど動くようにしてくれた！)
・LTXジョブの中断→再開確認OK(同じコマンド/設定で再実行すると続きから、出力は中断なしと同じ)
・LTXモデルは全部作り直しされているので再ダウンロードが走るｗ (v0.11.xフォルダからのコピーは弾かれる)

>>128
ありがとうございます

v0.12.1のリリース、わくわくw

>>131
乙です。LTX Topの処理時間はあまり変わりない感じかな。
でも >LTXでRTX Super Resの二次復元 ←これちょっと期待しちゃうかも。

WindowsとUbuntuってダブルブートで使える？それとも使ってる人は専用パソコンにしてるの？

ソフト的にブートローダーで切り分けるとトラブった時悲惨だからUEFI(BIOS)
でブートディスク切り替えたほうが安全そう
ストレージ複数積める環境ならね

>>134
Topの時間はほぼそのままだった(手元の30秒クリップで210秒→205秒)
速くなったVAEエンコーダはBasic/Standardだけで、Good/High/Topはデコーダ側だけ新しくなった(デコードは約27%短縮)ようなので、全体では数%の差にとどまるみたい

RTX Super Resの方は、自分がmodi版でやった鮮明化とは狙いが違うように見える
手元で試した範囲では、掛かるのは大きいモザイクのウィンドウだけ(720pで長辺300px前後から、480p素材では一度も掛からなかった)で、既定では見た目も変わらなかった
「LTXの512px出力を引き伸ばして貼っていた大きいモザイクを、RTXで2倍にしてから貼る」というアップスケーラの位置づけかなと思っている
そうだとすると全部のウィンドウにシャープをかけるものではないので、低解像度素材には効かなさそう(古い素材へのこだわりに考え方の違いが出るｗ)
なお、デフォルト設定だと効果は微妙で、--rtx-deblur low を付けると掛かったウィンドウは鮮明になった(手元ではちょうどよい鮮明さ、処理時間は+13%程度)ので、大きいモザイクの多い素材なら試す価値はあるかも
pre-releaseの挙動なので正式版では変わるかもしれない

>>135
自分は >>136 のやりかたで別のNVMe SSDにUbuntuを入れて、UEFIのブートメニューからブートするOSを切り替え使ってる(SSDは値上がり前に買ってたやつ)
ライセンスは2つ消費するけどね

>>137
ありがとうございます。数年前にCドライブの換装用に買ったけど、自力で取り替えるのを断念したM2のSSDがあるから、挑戦してみる。

>>131
LTXでRTX Super Resの二次復元は、どんな提案してたの？
LTX含めて全区間二次復元する感じ？

>>139
ごめん、modiの人だったのか

すぐに速くは出来ないのか。2、3倍速くなるて話や無かった？

>>131 v0.12.1のリリース前確認版で前回と同じ1時間45分の動画(1080p)を通してみた (検出モデルはrfdetr-v6)
・Basic画質のFast modeで47分、動画の長さの0.45倍 (v0.11.3の標準Fastは89分だったので約半分、Ubuntu 26.04+RTX 5080)
・モザイクの検出が327→204トラックに減った。v0.12.1で誤検出を減らす変更が入ったらしく、減ったのは全部1ウィンドウだけの短いトラック、見た限り取りこぼしはなし
・画質もこの動画では気にならなかった
取りこぼしか誤検出かは出力を見ないとわからないのが難点、ただ速くなった分の大半は新しいVAEとBasicモデル(1ステップ)で、トラック減の寄与は1割くらい

>>141 速いよ
今回いちばん時間がかかったのは処理じゃなくて重みのダウンロード(107GBで1時間38分)、処理の47分はその半分ｗ
って冗談はさておき、2、3倍はもう使い切ってると思う
半月前のv0.11.0-rc版は1ウィンドウ8.8秒で2時間の動画に6時間、今は2.4秒

LTXで2070sがおいてかれてオワタ

RTX2XXXは動くだけまだマシと見るしかないな

>>142 教えてくれてありがとう、リリース楽しみだな。

>>78
漫画やアニメの震えるマークのごとく、ちんちんやまんまんが一瞬だけぶれるのは
しきい値を0.1くらいまで下げれば大抵消えるよ
しきい値下げすぎるとモザイクのままっていう取りこぼしが増えるから
ソースに応じて自分で調整する必要があるけど0.1でほとんどの奴は問題ない