【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

>>796
新しいVer出てたんだね...先走りすぎた..

コーヒー奢ってみた。特にメルアドとか聞かれなかったので、どうしたらいいの？と焦ったけど、githubに書いてあるメールアドレスに寄付したよってメールにコーヒー奢る時に作ったアカウントのリンク送ったら、返信でキーを送ってくれた。

「Jasnaを有効化する」が消えているんだけど
どうやって出すの？

消してやり直した

静止画結構いい感じになるな
開始まで時間かかるけど始まると速攻なので一枚一枚やるより一度に複数やらせる方がいい

静止画処理はせめてSDXLにならんのかな？
まあ素のSD1.5よりは大分いいどさ

jasna CLIの--input --output にフォルダを指定できるようになったのが地味に便利
処理中のファイル名は表示してほしいので手直しはしたが

>>782
モザイクを検出して、その周囲の状況とモザイクの色合いを踏まえて、過去に見たことがある無修正画像のソレと出来る限り似たものを書き込む。
これがLada/jasnaの基本的な動き。
貴方の言い回し風で言えば、Lada/jasnaはモザイクを仮想のちんこまんこに変えてしまうもの。

Error importing PyNvVideoCodec: libavformat.so.62: cannot open shared object file: No such file or directory
とかいうエラーが出るんだけど、Linux版

>>804
全然ちがうぞ
デタラメを書くな

>>805
それだけでは何とも言えんな
v0.7.xはLinuxのパッケージ版がまだないが、ソースビルドを試したのか？

>>806
ttps://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
Ladaで使用するモデルに対する追加学習のドキュメントね。このドキュメントを読めばLada/jasnaのモデルが何を基準に何をやっているかが分かるよ。

これを理解出来なくても、実例を通しても理解は出来る。
例えば、少し前に国内AVの無修正が大量流出した事件があったけど、それのモザイク付き一般流通品を通すと実物とまるで違うものが描かれたり、
新基準モザイクとか銘打って、新しいモザイクを掛けて再リリースされたものの新旧それぞれを通すと全く違った結果が出たりする。

おま環かもしれんがv0.7.1はシステムチェックに失敗することがあるな
起動はするんだけど右下のGPUやVRAMの表示がハイフンになってってよく見たらシステムチェックがバツになってた
静止画やったあとに出やすい？

自分のPCも6.2までは問題なかったが7．1ではエラーが出ます。
使用可能な判定が出ましたがNVIDIA最新、MKVMERMEGおよびffmpegをインストールしないとダメなんでしょうか？

>>810
自分の環境ではその症状が出たらv0.6.2を起動させてシステムチェックが全てOKになることを確認して再度v0.7.1を起動すると使えるようになった
ただプリセットが消えてしまう副作用があるけど…

>>804
無臭の学習結果から藻の部分の元の画像はこのようなものであったのではないかを推測して入れ替えているということだよね
それを仮想の正規に変えていると言うのなら、アニメのアップコンバート技術なども仮想の画像への置き換えになるよね
生成AIにより本来の顔や体などを仮想の顔や体に変えるのは、どちらかというと正規の部分に藻をかける側の行為
自分としては、普通にしている時はいいけど絡みの時に不気味になる生成AIの作った顔じゃなく元の顔が見たい

さっきv0.7.2があがったよ、早いわ

素晴らしい…

課金するからどんどん更新してほしい

課金したら使えるモデルて、今までより良いの？

いまだにv0.5.1使ってる者だけど、新しいv0.7.2落としたら、有効化って、有料になったの？なら金払うんで、どうやりゃ課金できて有効化できるのか、教えて下さい。あと、v0.7.2になって何が変わったのか教えてくださいまし。教えてクレクレくんで、すまんです。

課金はコンビニで売ってるギフトカードで出来るんかな

日本語のREADME.ja.mdがあるんだからまずはこれ読め

課金は一回だけなんだろうか？
バージョンアップのたびに課金ということになるのかな？

>>818
UNIFANSは暗号通貨等支払い方法が限られているのでやめた方がいい
Buy Me a Coffee はFAQに以下の記載がある
俺はクレカで払ったけどVプリカが行けるかはわからん

How can my audience pay?
We support all major credit and debit cards, Apple Pay, Google Pay, Cash App and other global payment methods

Vプリカで課金いけたよ

>>812
本来のもの（元動画）を、こうであって欲しい条件（AI学習モデル）に合う形で、異なるものに書き換える（生成AI）という本質においては、AIアプコンも、顔挿げ替えも、Ladaも同じことをやっている。
それを好ましいものと思うか好まざるものと思うか、という個人の感覚はそれはご自由にどうぞ。

>>817

コーヒを作者にご馳走すれば良い。

こういう決済に慣れてないから間違ってコーヒー２杯おごっちまったよ ( ；∀；)

新モデルは効果出てますか？効果出てるならコーヒーおごりたいと思います

今コーヒー奢ったんだがキーはメールで来るのかね

ByMeaCoffe 課金メールは来たけどキーが書いてないんだけど

>>828
ByMeaCoffe の自分のアカウントのページのPayments（支払い）を開くと作者からお礼とキーの連絡がある

昨日までのREADMEにはメールしろって書いてあったが今見たら自動で貰えるように変わってたわ

キーは自動で貰えるとの事だがByMeaCoffeのマイアカウント入って色々確認したんだがやっぱり届いてないわ....

buymeacoffeeのアカウント作成途中でwebsiteかsocial link聞かれるけどそんなの持ってないし
クリエイター向けのアカウントって事でしょこれ、寄付したら作者に連絡するしかないのか

履歴のコメントに鍵くださいってコメントして暫くしたらメールで届いたわ

15USD支援して、Payments（支払い）開いてもお礼メールだけでキーは書いていない

自動とは言ってるがメールが不要なだけで作者がキーを生成してから連絡あるんじゃないのかね

お礼メールの後にもう一度key付きのメール来たよ。

>>786
ゆず故障はXでよく見かけた一番最初の#001の時からそうだったよ
サンプル動画を見ればわかるけど、顔のホクロの一部が出たり消えたりしてる

>>829
作者にメール連絡して作者からお礼とキーの連絡が届きました
アドバイスありがとうございます。

834です
buymeacoffeeのアカウントのメッセージ欄にキーくださいと記入したら15分くらいでキーが記入されたメール来ました
有効化成功です

>>837
全然知らなかった…
君等はフサフサや
ハゲは俺だった

visa通らんしめんどくさ、もういいわ

>>204を参考にしてstash起動しても引数どおり動いてるのかよく判らない
プレイヤーの設定はデフォルトでdirect streamになってるから毎回切り替えないといけないし、lada-yolo-v4の通し方がわからねえ
今のバージョンってjasna-cliが廃止になったけどstashのJASNA_CLI_PATH設定はそのままでいいんですよね？
https://github.com/Kruk2/stash/releases/tag/v0.30.1-jasna

>>841
Google Pay

で、お金払ったら出来上がりは違うの？

>>843
QRコードのやつ？利用してないしこのために始める気もない、ありがとね

カネやるとバカンスに行っちゃって開発遅れるからやめとけw

UNet 4Xで処理中だが、fpsが100以上なのは少なく40から50くらいで推移
4時間の素材で今半分くらい処理中、ETA:1h以上なんで早いのか遅いのか結果待ち
処理済み映像の出来具合は、完了してからと

バンドルのVISA通ったけどなぁ　まあいいけど
きのうバカ正直にproton.meのアドレスにメールしたけど、結局要らんかったんか

破壊はちゃんとモザイク除去してると思うのだけど、ちんこまんこをAIが置き換えてるって主張する人たちって、フェラシーンで女優の顔とか舌がちゃんときれいに見えるのはどういう解釈なの？

キーは >>829 のようにBuy Me a CoffieeのMy Accountに通知で送られてきてた
支払ってから一時間後位だった

服脱がさないままとかパンツずらしたままとか
その辺のシーンAIでは再現出来ないのでは

あ、置換えって意味ね

>>849
>>808のドキュメントを読めば仕様レベルで一目瞭然だけど、例えばそのフェラシーンで言えば添えられた手を見るとだいぶ厳しい。
手は生成AIにとって昔から難敵で、AIの想像力が追従出来ずに一昔前の生成AI動画でありがちな指が増殖したり関節以外のところで曲がったりすることが多発するし、
ネイルなんてしてるともう悲惨でモザイク掛かっているところに指が入った途端にネイルアート消失したり場合によってはネイルアートが男優のタトゥーに変化したり。

>>853
0か100で解釈してるのがそもそもも間違いなんじゃない？
情報が不十分だと再現も甘くなるってだけの話で、BasicVSR使ってるんだからそっちの原理が中心
今回実装された画像のモザイク処理の方はBasicVSRがやってる前後のフレームからの情報は使ってない
(1枚画像からやってるから当たり前だけど使えない)ほぼ生成式で、仕上がりもコロコロ変わる

>>854
> 再現も甘くなる
うん、「再現」。自分はその話をしている。
一方、>>849は「除去」と主張している。除去ではない。

>>808
お前は読めても理解は出来ないタイプの人間だな
BasicVSRがやっているのはモザイクの時系列変化を元にした最尤推定だ
ま、最尤推定って言葉が理解できないだろうがな😁

BasicVSRのモザイク破壊原理そのものは、NSFWモザ以外の顔モザでも背景モザでも破壊できる
だからその点でお前が勘違いしてる「過去に見たことがある無修正画像のソレと出来る限り似たものを書き込む」ってのは大間違い

NSFWモザ以外の部分の破壊するなんて計算パワーがもったいないので、NSFWモザだけに反応する detection model が必要になるわけ

静止画でエラーがでる

>>857
途中で送信してしまった。
[Errno 2] No such file or directory: 'I:\\jasna-windows-v0.7.2\\model_weights\\sd-15-jav\\null_embedding.pt'
とでるが、実際は"I:\jasna-windows-v0.7.2\model_weights\sd-15-jav"になるはずだが、どこかでフォルダの設定ある？

なんだよ、また
Error importing PyNvVideoCodec: libavformat.so.62: cannot open shared object file: No such file or directory
とかいうエラーが出るじゃんか
同梱の　PyNvVideoCodecに入ってるのとバージョンが違う
作者はちゃんとチェックしてんのかよ😮‍💨

>>858
静止画のモデルをダウンロードする時に、なぜか一部のファイルがダウンロードされてない時があるから
sd-15-javフォルダ消してダウンロードしなおすか、直接huggingfaceから足りないファイル取ってくるかすればいい

>>808
を読んで、除去じゃなく復元ってことは理解したが、元画像とモザイク処理した後の画像のパターンを学習して、逆算して復元してるんでしょ。
勝手に似たものを生成してる訳じゃないんじゃないの？上手く復元できなかったときに補完はしてるだろうけど。

jasnaの静止画処理やってみた
静止画一枚一枚の処理結果は出来が良いように思う
が、Upscaylとかでやってた手順で動画からフレーム書き出してjasnaで静止画処理
その後に動画へエンコの手順で処理された静止画から動画を作ってみたら
モザ領域のちらつきがひどくて実用には耐えられなかった
SD系は時間軸（動画のつながり）見てないから、動画処理するなら時間軸のつながり見るBasicVSR++じゃないとダメってことか

ttps://github.com/komo-248/Video-Upscaling-FFmpeg-Upscayl/tree/main

>>859
updated linux build, if you downloaded previous one and it fails with libavformat.so.62 or similar, download it again. だとよ
パッケージ作り直したみたいだから try again

## 超解像とディープフェイクの比較
### 目的の違い

**超解像（Super Resolution）**
低解像度の映像・画像を高解像度に復元・拡張することが目的。元の映像の内容は変えない。

**ディープフェイク（Deepfake）**
映像中の人物の顔・声・動作などを別の人物のものに差し替えることが目的。内容そのものを改変する。

### 技術的な共通点
どちらも**生成的ニューラルネットワーク**を中核技術として使用している点が最大の共通点。

### 技術的な違いの詳細
**超解像**
- 入力に存在する情報を補完・補間する（ハルシネーション的な画素生成も含む）
- 評価指標はPSNR / SSIMなど客観指標が使いやすい
- 映像の「整合性」は元映像が担保

**ディープフェイク**
- 2つの映像ドメイン間でマッピングを学習（face-swapの場合）
- 光源・角度・表情の整合性をモデル自身が生成しなければならない
- 評価は主観的になりやすく、検出回避も開発目標に含まれることがある

### 実用上の接点
超解像とディープフェイクの技術は**パイプライン上で組み合わされることがある**。

例：低解像度素材でディープフェイクを生成した後、超解像で出力品質を引き上げる。逆に、超解像で拡大した映像にディープフェイク処理を行う場合もある。

また、ディープフェイク検出モデルは、超解像による人工的なテクスチャ（アーティファクト）に誤反応することがあるという干渉問題も知られている。

### 一言でまとめると
> 超解像は「映像の質を変える」、ディープフェイクは「映像の真実を変える」技術。ただし使用する数学的基盤は部分的に同じ。

バカがAI貼り付けんな

Windows版 jasna 0.7.2でGUIではYOLOモデル(lada_mosaic_detection_model_v2.pt)のコンパイルは上手く出来るが
CLIでは再度YOLOモデルのコンパイルが実行されコンパイルエラーが発生する。

jasna 0.7.2 CLIでYOLOモデルは正常に動作していますか？

なお、jasna 0.6.2ではCLIでもYOLOモデルは、正常にコンパイルされ動作する。

847です
有料のUNet 4Xの処理結果は、RTX Super Resのウルトラより自然に見える変なギラギラっぽい感じが無い
RTX Super Resで処理した素材をUNet 4Xで処理してみて、違いを比較しようかと

静止画処理ってゲームのキャラクリみたいだよなｗ
シード進めて白人風味からアジア風味まで自分好みで決めてねって感じだな
たまに貞子みたいな目になるからめちゃくちゃびっくりするわｗ

静止画で陰毛がモザイクされてるだけなのに透明のちっちゃいち◯こ生やすのやめてもらいたい

>>866
v0.6.2→v0.7.0でモデル名のチェックの仕方が変わったが、出てるエラーはFileNotFoundError？
俺環ではそのファイル名で model_weights フォルダにvr_v2_accurate検出モデルを格納して、
jasna --detection-model lada-yolo-v2
を指定して動かしているが、v0.7.2のCLIでもlada-yolo-v2のエンジンコンパイル出来て動画も処理できてるよ

jasnaの有料版のモデル、二次修復モデルのみ？新たな検出•復元モデルはないの？

>>871
そうだよ
それで資金を集めてモデルのトレーニング制作費につぎ込むんですって

あ、有料版で追加されたのは
2次修復モデルと画像修復モデルの2つ

スクショがめんどくさい方へ動画内のフレームをJPEG画像として抜き出してくれるソフト
指定したフレーム数ごとに、指定した秒数ごとに / 全部で ○ 枚になるように / 全てといったタイミングで、
動画内のフレームを静止画抽出できる

使ってみた感じは結構いいかも。使用は自己責任で

Free Video to JPG Converter
https://www.gigafree.net/media/conv/freevideotojpgconverter.html

>>872 >>873 教えてくれてありがとう。まだ、買わないかな••

静止画のやつなんて Stable Diffusion の inpaint そのものだからなぁ
作者は何考えてこんな馬鹿な機能をつけたんだ😮‍💨

静止画の方はアニメもいけるのか？

静止画ってどういうニーズがあるん

ver.6系ではzelefansのVR TOOLをそのままフォルダ上書きで使えてたけど、7だとノットファウンドエラーが出てダメだ
EXEのファイル名変わったからそれかと思ったけど、ダメだった
トラブル起きたときAIとかに聞いて解決できてる人たち尊敬する

>>878
動画を一枚一枚静止画で取り出して、一枚ずつinpaintで修正して、また動画につなげる
とかいう馬鹿みたいなこと考えてるんじゃねぇの？😏

バカみたいに時間がかかるし、フレーム間での描画の同一性が無いから見てられない画像になる
無駄なことに時間を掛けないで欲しいわ、作者

モーションjpeg懐かしい

どういう立場でそんなこと言えるんだ…

Javski博士

やさぐれてんのか

熱烈投稿とかアップル通信の破壊を楽しむんじゃないの
と思ったけど黒塗りだっけか

何も生まない奴ほど否定的なことを吐く
無駄に見えても新しいものへの創出に繋がってるんだよ

とはいえ実際問題モザイク破壊と画像生成は考え方が異なるものだからあんまり混ざるとは思えないけどね
自前でinpaintするよりは安易にできるな、とは思ったけどladaにはその機能求めてない

>>885
そんなの Stable Diffusion でやればいいだろ

>>886
Stable Diffusion が出始めた２、３年前の頃にみんな一度は試したようなことをいまさらやってるのに新しさもへったくれも無いんだがな

>>888
どしたん？抜いて落ち着けよ

>>889
モンスター化するからその辺でやめたれ

あれを連続性持たせられたらな…
まぁ無理なんですが

SDはControlnet使ってもダメだったしWan-VACEなら出来そうだけど時間がかかりすぎるんだよな

静止画は静止画として見る
元が静止画ならそれを繋げるなんてやらない
なんか得意気にそれ書き込む奴いるけどアホなんじゃないかな

静止画ならわざわざjasna使う必要ない訳で作者の意図がわからんのよ
動画に応用するなら動画生成モデル使わないと一貫性保てないのは分かってるんだからさ
ただのおまけ機能ならそれはそれでいいよ

開発者コメントきたで (issue #204)
サポーターは今後に期待できそうかな？

以下超意訳

ざっくり言うと、静止画像でちゃんと復元できないなら動画復元も意味ない
SD1.5は完璧じゃないけど、まずは単一フレームのモデルから始めて、あとで時間方向の仕組みを足して動画化していくのが現実的な流れ
あとSD1.5も完全に適当に生成してるわけじゃなくて、入力（モザイク）をガイドにして徐々にディテールを足してる
検出モデルにはちょっと驚いてる。静止画像だけで学習されてて時間的な要素ないし、正直それでいいの？って感じ
自分もladaappも、複数フレームまとめて学習させたりはしてない
手動マスクも一応考えたけど、今はそこに時間かけるつもりはないかな

>>874
動画から静止画の抽出は既にインストールされているはずのffmpegでできるので必要ない
もちろん、jpg以外の画像にもできるし、連続静止画もできる

【例】1:23:45から1:24:45までを、1秒4フレームでoutput_001.jpg・output_002.jpg・・・と連番で取得
ffmpeg -ss 1:23:45 -to 1:24:45 -i input.mp4 -r 4 output_%03d.jpg

jasna有効化にキーが張り付けできないんだけど、送られてきたキーめちゃ長いんだけどこれ手動で入力するの？