【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

ByMeaCoffe 課金メールは来たけどキーが書いてないんだけど

>>828
ByMeaCoffe の自分のアカウントのページのPayments（支払い）を開くと作者からお礼とキーの連絡がある

昨日までのREADMEにはメールしろって書いてあったが今見たら自動で貰えるように変わってたわ

キーは自動で貰えるとの事だがByMeaCoffeのマイアカウント入って色々確認したんだがやっぱり届いてないわ....

buymeacoffeeのアカウント作成途中でwebsiteかsocial link聞かれるけどそんなの持ってないし
クリエイター向けのアカウントって事でしょこれ、寄付したら作者に連絡するしかないのか

履歴のコメントに鍵くださいってコメントして暫くしたらメールで届いたわ

15USD支援して、Payments（支払い）開いてもお礼メールだけでキーは書いていない

自動とは言ってるがメールが不要なだけで作者がキーを生成してから連絡あるんじゃないのかね

お礼メールの後にもう一度key付きのメール来たよ。

>>786
ゆず故障はXでよく見かけた一番最初の#001の時からそうだったよ
サンプル動画を見ればわかるけど、顔のホクロの一部が出たり消えたりしてる

>>829
作者にメール連絡して作者からお礼とキーの連絡が届きました
アドバイスありがとうございます。

834です
buymeacoffeeのアカウントのメッセージ欄にキーくださいと記入したら15分くらいでキーが記入されたメール来ました
有効化成功です

>>837
全然知らなかった…
君等はフサフサや
ハゲは俺だった

visa通らんしめんどくさ、もういいわ

>>204を参考にしてstash起動しても引数どおり動いてるのかよく判らない
プレイヤーの設定はデフォルトでdirect streamになってるから毎回切り替えないといけないし、lada-yolo-v4の通し方がわからねえ
今のバージョンってjasna-cliが廃止になったけどstashのJASNA_CLI_PATH設定はそのままでいいんですよね？
https://github.com/Kruk2/stash/releases/tag/v0.30.1-jasna

>>841
Google Pay

で、お金払ったら出来上がりは違うの？

>>843
QRコードのやつ？利用してないしこのために始める気もない、ありがとね

カネやるとバカンスに行っちゃって開発遅れるからやめとけw

UNet 4Xで処理中だが、fpsが100以上なのは少なく40から50くらいで推移
4時間の素材で今半分くらい処理中、ETA:1h以上なんで早いのか遅いのか結果待ち
処理済み映像の出来具合は、完了してからと

バンドルのVISA通ったけどなぁ　まあいいけど
きのうバカ正直にproton.meのアドレスにメールしたけど、結局要らんかったんか

破壊はちゃんとモザイク除去してると思うのだけど、ちんこまんこをAIが置き換えてるって主張する人たちって、フェラシーンで女優の顔とか舌がちゃんときれいに見えるのはどういう解釈なの？

キーは >>829 のようにBuy Me a CoffieeのMy Accountに通知で送られてきてた
支払ってから一時間後位だった

服脱がさないままとかパンツずらしたままとか
その辺のシーンAIでは再現出来ないのでは

あ、置換えって意味ね

>>849
>>808のドキュメントを読めば仕様レベルで一目瞭然だけど、例えばそのフェラシーンで言えば添えられた手を見るとだいぶ厳しい。
手は生成AIにとって昔から難敵で、AIの想像力が追従出来ずに一昔前の生成AI動画でありがちな指が増殖したり関節以外のところで曲がったりすることが多発するし、
ネイルなんてしてるともう悲惨でモザイク掛かっているところに指が入った途端にネイルアート消失したり場合によってはネイルアートが男優のタトゥーに変化したり。

>>853
0か100で解釈してるのがそもそもも間違いなんじゃない？
情報が不十分だと再現も甘くなるってだけの話で、BasicVSR使ってるんだからそっちの原理が中心
今回実装された画像のモザイク処理の方はBasicVSRがやってる前後のフレームからの情報は使ってない
(1枚画像からやってるから当たり前だけど使えない)ほぼ生成式で、仕上がりもコロコロ変わる

>>854
> 再現も甘くなる
うん、「再現」。自分はその話をしている。
一方、>>849は「除去」と主張している。除去ではない。

>>808
お前は読めても理解は出来ないタイプの人間だな
BasicVSRがやっているのはモザイクの時系列変化を元にした最尤推定だ
ま、最尤推定って言葉が理解できないだろうがな😁

BasicVSRのモザイク破壊原理そのものは、NSFWモザ以外の顔モザでも背景モザでも破壊できる
だからその点でお前が勘違いしてる「過去に見たことがある無修正画像のソレと出来る限り似たものを書き込む」ってのは大間違い

NSFWモザ以外の部分の破壊するなんて計算パワーがもったいないので、NSFWモザだけに反応する detection model が必要になるわけ

静止画でエラーがでる

>>857
途中で送信してしまった。
[Errno 2] No such file or directory: 'I:\\jasna-windows-v0.7.2\\model_weights\\sd-15-jav\\null_embedding.pt'
とでるが、実際は"I:\jasna-windows-v0.7.2\model_weights\sd-15-jav"になるはずだが、どこかでフォルダの設定ある？

なんだよ、また
Error importing PyNvVideoCodec: libavformat.so.62: cannot open shared object file: No such file or directory
とかいうエラーが出るじゃんか
同梱の　PyNvVideoCodecに入ってるのとバージョンが違う
作者はちゃんとチェックしてんのかよ😮‍💨

>>858
静止画のモデルをダウンロードする時に、なぜか一部のファイルがダウンロードされてない時があるから
sd-15-javフォルダ消してダウンロードしなおすか、直接huggingfaceから足りないファイル取ってくるかすればいい

>>808
を読んで、除去じゃなく復元ってことは理解したが、元画像とモザイク処理した後の画像のパターンを学習して、逆算して復元してるんでしょ。
勝手に似たものを生成してる訳じゃないんじゃないの？上手く復元できなかったときに補完はしてるだろうけど。

jasnaの静止画処理やってみた
静止画一枚一枚の処理結果は出来が良いように思う
が、Upscaylとかでやってた手順で動画からフレーム書き出してjasnaで静止画処理
その後に動画へエンコの手順で処理された静止画から動画を作ってみたら
モザ領域のちらつきがひどくて実用には耐えられなかった
SD系は時間軸（動画のつながり）見てないから、動画処理するなら時間軸のつながり見るBasicVSR++じゃないとダメってことか

ttps://github.com/komo-248/Video-Upscaling-FFmpeg-Upscayl/tree/main

>>859
updated linux build, if you downloaded previous one and it fails with libavformat.so.62 or similar, download it again. だとよ
パッケージ作り直したみたいだから try again

## 超解像とディープフェイクの比較
### 目的の違い

**超解像（Super Resolution）**
低解像度の映像・画像を高解像度に復元・拡張することが目的。元の映像の内容は変えない。

**ディープフェイク（Deepfake）**
映像中の人物の顔・声・動作などを別の人物のものに差し替えることが目的。内容そのものを改変する。

### 技術的な共通点
どちらも**生成的ニューラルネットワーク**を中核技術として使用している点が最大の共通点。

### 技術的な違いの詳細
**超解像**
- 入力に存在する情報を補完・補間する（ハルシネーション的な画素生成も含む）
- 評価指標はPSNR / SSIMなど客観指標が使いやすい
- 映像の「整合性」は元映像が担保

**ディープフェイク**
- 2つの映像ドメイン間でマッピングを学習（face-swapの場合）
- 光源・角度・表情の整合性をモデル自身が生成しなければならない
- 評価は主観的になりやすく、検出回避も開発目標に含まれることがある

### 実用上の接点
超解像とディープフェイクの技術は**パイプライン上で組み合わされることがある**。

例：低解像度素材でディープフェイクを生成した後、超解像で出力品質を引き上げる。逆に、超解像で拡大した映像にディープフェイク処理を行う場合もある。

また、ディープフェイク検出モデルは、超解像による人工的なテクスチャ（アーティファクト）に誤反応することがあるという干渉問題も知られている。

### 一言でまとめると
> 超解像は「映像の質を変える」、ディープフェイクは「映像の真実を変える」技術。ただし使用する数学的基盤は部分的に同じ。

バカがAI貼り付けんな

Windows版 jasna 0.7.2でGUIではYOLOモデル(lada_mosaic_detection_model_v2.pt)のコンパイルは上手く出来るが
CLIでは再度YOLOモデルのコンパイルが実行されコンパイルエラーが発生する。

jasna 0.7.2 CLIでYOLOモデルは正常に動作していますか？

なお、jasna 0.6.2ではCLIでもYOLOモデルは、正常にコンパイルされ動作する。

847です
有料のUNet 4Xの処理結果は、RTX Super Resのウルトラより自然に見える変なギラギラっぽい感じが無い
RTX Super Resで処理した素材をUNet 4Xで処理してみて、違いを比較しようかと

静止画処理ってゲームのキャラクリみたいだよなｗ
シード進めて白人風味からアジア風味まで自分好みで決めてねって感じだな
たまに貞子みたいな目になるからめちゃくちゃびっくりするわｗ

静止画で陰毛がモザイクされてるだけなのに透明のちっちゃいち◯こ生やすのやめてもらいたい

>>866
v0.6.2→v0.7.0でモデル名のチェックの仕方が変わったが、出てるエラーはFileNotFoundError？
俺環ではそのファイル名で model_weights フォルダにvr_v2_accurate検出モデルを格納して、
jasna --detection-model lada-yolo-v2
を指定して動かしているが、v0.7.2のCLIでもlada-yolo-v2のエンジンコンパイル出来て動画も処理できてるよ

jasnaの有料版のモデル、二次修復モデルのみ？新たな検出•復元モデルはないの？

>>871
そうだよ
それで資金を集めてモデルのトレーニング制作費につぎ込むんですって

あ、有料版で追加されたのは
2次修復モデルと画像修復モデルの2つ

スクショがめんどくさい方へ動画内のフレームをJPEG画像として抜き出してくれるソフト
指定したフレーム数ごとに、指定した秒数ごとに / 全部で ○ 枚になるように / 全てといったタイミングで、
動画内のフレームを静止画抽出できる

使ってみた感じは結構いいかも。使用は自己責任で

Free Video to JPG Converter
https://www.gigafree.net/media/conv/freevideotojpgconverter.html

>>872 >>873 教えてくれてありがとう。まだ、買わないかな••

静止画のやつなんて Stable Diffusion の inpaint そのものだからなぁ
作者は何考えてこんな馬鹿な機能をつけたんだ😮‍💨

静止画の方はアニメもいけるのか？

静止画ってどういうニーズがあるん

ver.6系ではzelefansのVR TOOLをそのままフォルダ上書きで使えてたけど、7だとノットファウンドエラーが出てダメだ
EXEのファイル名変わったからそれかと思ったけど、ダメだった
トラブル起きたときAIとかに聞いて解決できてる人たち尊敬する

>>878
動画を一枚一枚静止画で取り出して、一枚ずつinpaintで修正して、また動画につなげる
とかいう馬鹿みたいなこと考えてるんじゃねぇの？😏

バカみたいに時間がかかるし、フレーム間での描画の同一性が無いから見てられない画像になる
無駄なことに時間を掛けないで欲しいわ、作者

モーションjpeg懐かしい

どういう立場でそんなこと言えるんだ…

Javski博士

やさぐれてんのか

熱烈投稿とかアップル通信の破壊を楽しむんじゃないの
と思ったけど黒塗りだっけか

何も生まない奴ほど否定的なことを吐く
無駄に見えても新しいものへの創出に繋がってるんだよ

とはいえ実際問題モザイク破壊と画像生成は考え方が異なるものだからあんまり混ざるとは思えないけどね
自前でinpaintするよりは安易にできるな、とは思ったけどladaにはその機能求めてない

>>885
そんなの Stable Diffusion でやればいいだろ

>>886
Stable Diffusion が出始めた２、３年前の頃にみんな一度は試したようなことをいまさらやってるのに新しさもへったくれも無いんだがな

>>888
どしたん？抜いて落ち着けよ

>>889
モンスター化するからその辺でやめたれ

あれを連続性持たせられたらな…
まぁ無理なんですが

SDはControlnet使ってもダメだったしWan-VACEなら出来そうだけど時間がかかりすぎるんだよな

静止画は静止画として見る
元が静止画ならそれを繋げるなんてやらない
なんか得意気にそれ書き込む奴いるけどアホなんじゃないかな

静止画ならわざわざjasna使う必要ない訳で作者の意図がわからんのよ
動画に応用するなら動画生成モデル使わないと一貫性保てないのは分かってるんだからさ
ただのおまけ機能ならそれはそれでいいよ

開発者コメントきたで (issue #204)
サポーターは今後に期待できそうかな？

以下超意訳

ざっくり言うと、静止画像でちゃんと復元できないなら動画復元も意味ない
SD1.5は完璧じゃないけど、まずは単一フレームのモデルから始めて、あとで時間方向の仕組みを足して動画化していくのが現実的な流れ
あとSD1.5も完全に適当に生成してるわけじゃなくて、入力（モザイク）をガイドにして徐々にディテールを足してる
検出モデルにはちょっと驚いてる。静止画像だけで学習されてて時間的な要素ないし、正直それでいいの？って感じ
自分もladaappも、複数フレームまとめて学習させたりはしてない
手動マスクも一応考えたけど、今はそこに時間かけるつもりはないかな

>>874
動画から静止画の抽出は既にインストールされているはずのffmpegでできるので必要ない
もちろん、jpg以外の画像にもできるし、連続静止画もできる

【例】1:23:45から1:24:45までを、1秒4フレームでoutput_001.jpg・output_002.jpg・・・と連番で取得
ffmpeg -ss 1:23:45 -to 1:24:45 -i input.mp4 -r 4 output_%03d.jpg

jasna有効化にキーが張り付けできないんだけど、送られてきたキーめちゃ長いんだけどこれ手動で入力するの？

普通にコピペできたけど？

俺もマウスでしかコピペしたことなかったから悩んだ、マウスでキーを範囲指定してキーボードCtrl + Cでコピー、Ctrl + Vでペースト
で出来た。

Linux版0.7.2 用
ln -s libavformat-ec222fac.so.62.12.101 libavformat.so.62
ln -s libavcodec-c3f15378.so.62.28.101 libavcodec.so.62
ln -s libavutil-04440b0f.so.60.26.101 libavutil.so.60
ln -s libswresample-e1033d35.so.6.3.101 libswresample.so.6
ln -s libswscale-15608d2f.so.9.5.101 libswscale.so.9

>>900
linux版のパッケージ展開に失敗してるだけじゃね？
以下のように展開したらシンボリックリンクは最初から張られてたぞ
($HOME直下にダウンロードしたファイル3つがあったとして)
mkdir jasna-v0.7.2
cd jasna-v0.7.2
cat ~/jasna-linux.tar.zst.part-a? |tar xvf - --zstd

>>899
ほんとだ出来た。

>>861
勘違いしている人の言い分では「女性の画像の股間にモザイクが掛かっているからモザイクの部分には女性器を描写しておくね」という動作をするものが「モザイク破解」という事になっている
だから「破解ミスって女にチンポが生える事があるじゃん」というあり得ない事象の報告があったりする
なんだろう、この人たち実際に破解してみた事があるんだろうか？

コーヒー課金してunet-4xやってみたが、RTX super resより確かに色合いとかも自然な仕上がりになるね。ただ、deblurやdenoiseの細かい設定までとなると好みになるかも。
あと、unetの方がRTXよりメモリの使い方がマイルドなのか、完走出来ない動画が完走出来るようになったので個人的には満足。

某小林なんとかさんのやってみたらちゃんと前張りになってたよ

>>905
それ、見てみたいw

古い作品だと、綺麗にモザイク削除できない事が多いけど、擬似だと言われたAV女優の作品をモザイク削除したら、
確かに擬似だったというのを確認出来たのがあった。

>>870

教えて頂いた方法で上手く動作しました。

復元モデルは「--restoration-model-path」でを直接ファイル名を設定して正常にコンパイルされ動作したので
検出モデルも同様に「--detection-model-path」で直接ファイル名を設定すると正常に動作しない。

VRの偽チ◯コは許せんな
破壊したらワンチャン普通のチ◯コっぽくなるかもと期待したが無理や

>>895
#204で問題提起した人も勘違いしてて作者さんに解説されてたけども
SD1.5の画像復元は適当に生成してるわけじゃなくて、ある程度は元映像を反映出来てるのがスゲーと思った
このレベルで1枚だけ復元する分には、(一定以上の時間幅の)前後のフレーム参照は必須ではないんだね

>>908 の追加情報

「--detection-model-path」で「lada_vr_mosaic_detection_model_v2_accurate.pt」を指定し
「--detection-model」で「lada-yolo-v2」を指定することでファイル名を変更しなくても正常にコンパイルされ動作した。
ファイル名を変更しなくてもYOLO系のモデルの切り替えが行える。

jasna v0.7.2 パッケージ版RTX5080 / Linux / 1080p全長(17.5分) ベンチ

検出モデル3種 (rfdetr-v5/lada-yolo-v4/lada-yolo-v2 (vr_v2_accurate) ✕
2次復元3ケース(none/rtx-super-res(4x, ultra)/unet-4)の9パターン

検出(none時): lada-yolo-v4 2:02 < lada-yolo-v2 2:25 < rfdetr-v5 3:17
2次復元の追加: rtx-super-res +約36秒・+約0.5-0.7GB / unet-4x +約112秒・+約1.7GB ※検出モデルに依らず一定
VRAM最大8.7GB(16GB余裕)、unet-4x(サポーター)・rtx ともパッケージ版で動作OK

俺環ではunet-4のほうがVRAM使用量多かった
>>904 コメントの通りunet-4xの方が仕上がりは自然な感じ
この位の時間増加なら常用しても良いと思った

unet4ってファイルサイズ倍くらいにならない？
現状調整できないから長時間の動画は躊躇してる

>>913
エンコードはjasnaのデフォ設定にしてるけど、
元動画がH264のせいもわからんが出力(HEVC)のサイズはむしろ小さくなっている

みんなエンコードのCQいくつにしてる？
俺なんてFHDならhevcで26くらいで十分だけど

19

>>915
18 22に比べモザイク破壊の効果が向上した。あとはパラメータにaqとlookahead関連を追加指定している。

解凍したjasna v0.7.2の中のmodel_weightsフォルダの中の
lada_mosaic_detection_model_v4_fast.pt
lada_mosaic_restoration_model_generic_v1.2.pth
と>>2を適用したそれってファイルサイズからして違うみたいだけど違うものなの？
とりあえず今までどおり>>2を適用してyolo-v4で使ってるのですが

系統は一緒だけと別モデルだよ
>>2 の検出モデルは同梱されているv4-fastと同じYOLO系のモデルだけどVR Video Toolboxの作者さんがv2-accurateをVR用に微調整した検出モデルと思う
復元モデルの方は同梱されているv1.2の微調整前の元ネタ(v1.2_full)。lada作者さんが自分で微調整したい人向けに公開している

なお、検出モデルについては万能な最適モデルは無いよ。コンテンツ依存かつ処理ツール依存
経験的に簡単なモザだとv4-fastで十分なケースも多い
小さい/ぼけた/端のモザ、数が多い箇所のある動画では vr_v2やRF-DETR が取りこぼし少ない傾向

数値的に検出モデルを比較するツール作ったけど、誤検知と取りこぼしがあるので最後は目で見てチェックが必要だった
AIもチェック出来る能力あるけど、それやらせると規約に引っかかるｗ

>>919
丁寧な説明ありがとう

被写体が早く動く動画フェ〇などで、映像が波打つ場合がどうしたらいい？同じ現象の人いる？

>>917
完全後処理なのに？

いわゆるjasnaのカクカク現象だと思うが
使ってるバージョン古かったら最近のでやってみな
それでもだめなら素材が怪しい

>>874
助かります！こういうアプリを探してました。

今までアップデートされるたびに試しても映像が二重になったりしてた動画、静止画切り出してやってみたら、改善してる気がする。今後このモデルが動画に適用されることに期待だな。

>>922
HEVC（H.265）にエンコードする際、平坦な部分の階調の維持など見た目の画質が良くなると思っている。効果は元になるソースに依存するが、サイズや処理時間の増加もさほど大きくないので、常用している。

静止画モデル、エロ漫画のモザ取りに使えるかも。カラー原稿にはかなり効く。
ていうか、逆に生々しい。
雑誌修正のモノクロ原稿にも、まあまあ使える。
モザイクとして認識されないときは、フォトショとかで上からモザイクすると認識されることも。
勿論、白抜きや黒塗りはダメ。