【超解像】Lada part4

前スレ
【超解像】Lada part3
https://egg.5ch.io/test/read.cgi/software/1767764793/

■　URL
Lada
https://github.com/ladaapp/lada/releases

Jasna
https://github.com/Kruk2/jasna/releases

Lada-EX
https://codeberg.org/comman/lada-ex

検出モデル　v2_accurate
https://huggingface.co/zelefans/vrmr/tree/main　の
lada_vr_mosaic_detection_model_v2_accurate.pt

除去モデル　basicvsrpp-generic_v1.2_full
https://huggingface.co/ladaapp/lada/tree/main　の
lada_mosaic_restoration_model_generic_v1.2_full.pth

■　不具合があった場合に試してみる事

・GPUスケジューリング　オフ
スタートメニュー＞設定＞システム＞ディスプレイ＞グラフィックの設定
ハードウェア アクセラレータによるGPUスケジューリング＞オフ

・最新グラフィックスドライバに更新

ん？今ladaexのがクオリティ高いの？

>>768
いいや
今までのlada-exに比べれば、って話
画像の中に複数モザそんなに離れていない距離にあるような俺テスト動画を
双方のツールで同じ検出モデル(v4-fast)＋TenroRTのYOLOルートを指定して処理するとjasnaの方が多く復元できてる
その差がどこから来るのか調査中
PyTorchのYOLOルートだとそうはならんのだけれど、今となっては処理が遅いから何とかしたい

1ヶ月頑張ったけどアニメの修復モデルの学習は断念した
アーティファクトが出やすいのとシーンによって線が不安定になるのが直せなかった

>>739
今更だけどこれめっちゃ良いわ
柚子故障のやつ破壊してVRでこれ使って観ると捗る捗る

あとは淫尻とかでケツがアップになるやつとか、逆さアングルのは大変相性良し

必死にマシンパワー使ってVR素材破壊してボケボケになるより、被写体の演技もいらないような同人の観察系動画を無修レベルにしてautodepthで鑑賞した方がいいまであるよな
プロの作品でもメーカーとか年代によっちゃ（自重

>>767
766
ありがとうございます
劇的な進化はしていない、と理解
ブレークスルーが起きたら起こしてください

永眠した模様

2回回したら復元精度があがるとか書いてた人いたけどほんまなん

ボケボケにならないが…

>>771
顔をAI加工してるやつで抜けるのがすごいわ

ちんこまんこをAI加工しているスレでそんなこと言われても。。。

jasna v0.7.0がリリースされたんでOpusに内容調べてもらったで
実験ビルドだから動かなかったら報告してくれって

v0.6.2 → v0.7.0 変更点メモ
1. 概要：有料サポーター向けモデル追加＋暗号化・配布インフラ＋ビルド刷新。無料部分（検出・動画修復・RTX/TVAI）は維持しつつ、追加モデルに課金ゲートを導入する構造変化
2. 目玉機能 — SD 1.5 画像修復（静止画向け）
・Stable Diffusion 1.5 inpaint をファインチューンした静止画専用パイプライン。動画パイプラインとは別系統
3. unet-4x セカンダリアップスケーラ
• サポーターモデル。256→1024 のシャープな修復、TVAI iris-2 に視覚的に近いがローカル実行で追加セットアップ不要
4.サポーターキー / モデル暗号化（最重要の構造変化）
• 無料部分はそのまま、追加モデルだけ課金ゲートという収益化構成
5. ビルドシステム刷新
・PyInstaller → Nuitka
6. その他の修正
• fix: tvai pad for very short detections（短い検出での TVAI パディング）
• don't support dnd on linux if it fails to load (old lib)（古い lib で失敗時 Linux で D&D 無効化）
• GUI improvements / gui fixes（複数）、locales 更新、Windows build（複数）

LinuxでRTX super resを動くよう直したやつとか+modiで入れた修正も本家に入った
動画パイプラインのベース機能はv0.6.2から変わってないと思う
マネタイズ強化に舵切ったのかな?

>>771
性成AIのやつは顔が普通にしている時はいいけど、やっている時にお面のように表情が乏しくて不気味なので好きじゃないんだよね
先日も好きな女優さんの顔やなんかを性成AIで変えた作品が人気になったらしいけど、わざわざ変える必要ある？
元の女優さんバージョンも販売すれば２度おいしいと思うのになぜ出さないんだろう

>>779
藻がかけられている部分を元の正規に戻そうとするのがここ
生成AIのAVは元の顔や体なんかを仮想のものに変えてしまうもので、顔入れ替えなどに近い
全く正反対のことをしていると思われ

>>780
v0.6.2の環境はそのまま残して、v0.7.0は「jas7」という名前にして入れてみます

Discord入ってないんで課金部分の感想を誰かお願いします！

>>780
買い切りならいいけどサブスクなら終わりやね

静止画修復ってどういうニーズ何だろね
ffmpegで静止画書き出し→これで処理→別のソフトで更にアプスケ等の加工→ffmpegで動画に戻す
とかの処理組むのかな?

顔の加工とマンコじゃ全然意味が違うだろｗ
ゆず故障は初期の頃は無加工だったのになぜあんな気持ちの悪いAI加工にしたんだろな

>>783
15ドル以上を寄付するとキーがもらえる
モデルのトレーニング費用として活用
サブスクではない

>>787
静止画についてはDiscord見ろってあったから聞いてみたんだが15ドルでいいなら試してみるかね

>>788
静止画処理も含まれる
Discordには静止画サンプルが掲載
VRAM 20GB程度要したとのこと　0.7.0
静止画の出来はがない良い

>>787
15ドル程度なら払ってもいいな

UNIFANSの方でやろうとしたら仮想通貨か中国系の送金システム使わないとだめっぽいな
By Me a Coffeはクレジットカード行けるんだっけ
と思ってたらv0.7.1来てたわ

動画のスクリーンショットを静止画処理してみたが復元品質が素晴らしいな
処理も速くて良い
4070で一枚30秒程度

一枚のクオリティに拘ると動画として繋げたときには破綻するのかな
博士が昔そのようなこと言ってた気がする
用途が違うと言われたらそれまでだけども

仕組みはまだ理解していないが静止画はいわゆるAI生成系なのかな
不自然さはほとんどないが

>>778
ディープフェイクのソフトじゃないぞハゲ

>>792
マジかよ！？
有益そうな情報ありがとう！やってみる！

>>796
新しいVer出てたんだね...先走りすぎた..

コーヒー奢ってみた。特にメルアドとか聞かれなかったので、どうしたらいいの？と焦ったけど、githubに書いてあるメールアドレスに寄付したよってメールにコーヒー奢る時に作ったアカウントのリンク送ったら、返信でキーを送ってくれた。

「Jasnaを有効化する」が消えているんだけど
どうやって出すの？

消してやり直した

静止画結構いい感じになるな
開始まで時間かかるけど始まると速攻なので一枚一枚やるより一度に複数やらせる方がいい

静止画処理はせめてSDXLにならんのかな？
まあ素のSD1.5よりは大分いいどさ

jasna CLIの--input --output にフォルダを指定できるようになったのが地味に便利
処理中のファイル名は表示してほしいので手直しはしたが

>>782
モザイクを検出して、その周囲の状況とモザイクの色合いを踏まえて、過去に見たことがある無修正画像のソレと出来る限り似たものを書き込む。
これがLada/jasnaの基本的な動き。
貴方の言い回し風で言えば、Lada/jasnaはモザイクを仮想のちんこまんこに変えてしまうもの。

Error importing PyNvVideoCodec: libavformat.so.62: cannot open shared object file: No such file or directory
とかいうエラーが出るんだけど、Linux版

>>804
全然ちがうぞ
デタラメを書くな

>>805
それだけでは何とも言えんな
v0.7.xはLinuxのパッケージ版がまだないが、ソースビルドを試したのか？

>>806
ttps://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
Ladaで使用するモデルに対する追加学習のドキュメントね。このドキュメントを読めばLada/jasnaのモデルが何を基準に何をやっているかが分かるよ。

これを理解出来なくても、実例を通しても理解は出来る。
例えば、少し前に国内AVの無修正が大量流出した事件があったけど、それのモザイク付き一般流通品を通すと実物とまるで違うものが描かれたり、
新基準モザイクとか銘打って、新しいモザイクを掛けて再リリースされたものの新旧それぞれを通すと全く違った結果が出たりする。

おま環かもしれんがv0.7.1はシステムチェックに失敗することがあるな
起動はするんだけど右下のGPUやVRAMの表示がハイフンになってってよく見たらシステムチェックがバツになってた
静止画やったあとに出やすい？

自分のPCも6.2までは問題なかったが7．1ではエラーが出ます。
使用可能な判定が出ましたがNVIDIA最新、MKVMERMEGおよびffmpegをインストールしないとダメなんでしょうか？

>>810
自分の環境ではその症状が出たらv0.6.2を起動させてシステムチェックが全てOKになることを確認して再度v0.7.1を起動すると使えるようになった
ただプリセットが消えてしまう副作用があるけど…

>>804
無臭の学習結果から藻の部分の元の画像はこのようなものであったのではないかを推測して入れ替えているということだよね
それを仮想の正規に変えていると言うのなら、アニメのアップコンバート技術なども仮想の画像への置き換えになるよね
生成AIにより本来の顔や体などを仮想の顔や体に変えるのは、どちらかというと正規の部分に藻をかける側の行為
自分としては、普通にしている時はいいけど絡みの時に不気味になる生成AIの作った顔じゃなく元の顔が見たい

さっきv0.7.2があがったよ、早いわ

素晴らしい…

課金するからどんどん更新してほしい

課金したら使えるモデルて、今までより良いの？

いまだにv0.5.1使ってる者だけど、新しいv0.7.2落としたら、有効化って、有料になったの？なら金払うんで、どうやりゃ課金できて有効化できるのか、教えて下さい。あと、v0.7.2になって何が変わったのか教えてくださいまし。教えてクレクレくんで、すまんです。

課金はコンビニで売ってるギフトカードで出来るんかな

日本語のREADME.ja.mdがあるんだからまずはこれ読め

課金は一回だけなんだろうか？
バージョンアップのたびに課金ということになるのかな？

>>818
UNIFANSは暗号通貨等支払い方法が限られているのでやめた方がいい
Buy Me a Coffee はFAQに以下の記載がある
俺はクレカで払ったけどVプリカが行けるかはわからん

How can my audience pay?
We support all major credit and debit cards, Apple Pay, Google Pay, Cash App and other global payment methods

Vプリカで課金いけたよ

>>812
本来のもの（元動画）を、こうであって欲しい条件（AI学習モデル）に合う形で、異なるものに書き換える（生成AI）という本質においては、AIアプコンも、顔挿げ替えも、Ladaも同じことをやっている。
それを好ましいものと思うか好まざるものと思うか、という個人の感覚はそれはご自由にどうぞ。

>>817

コーヒを作者にご馳走すれば良い。

こういう決済に慣れてないから間違ってコーヒー２杯おごっちまったよ ( ；∀；)

新モデルは効果出てますか？効果出てるならコーヒーおごりたいと思います

今コーヒー奢ったんだがキーはメールで来るのかね

ByMeaCoffe 課金メールは来たけどキーが書いてないんだけど

>>828
ByMeaCoffe の自分のアカウントのページのPayments（支払い）を開くと作者からお礼とキーの連絡がある

昨日までのREADMEにはメールしろって書いてあったが今見たら自動で貰えるように変わってたわ

キーは自動で貰えるとの事だがByMeaCoffeのマイアカウント入って色々確認したんだがやっぱり届いてないわ....

buymeacoffeeのアカウント作成途中でwebsiteかsocial link聞かれるけどそんなの持ってないし
クリエイター向けのアカウントって事でしょこれ、寄付したら作者に連絡するしかないのか

履歴のコメントに鍵くださいってコメントして暫くしたらメールで届いたわ

15USD支援して、Payments（支払い）開いてもお礼メールだけでキーは書いていない

自動とは言ってるがメールが不要なだけで作者がキーを生成してから連絡あるんじゃないのかね

お礼メールの後にもう一度key付きのメール来たよ。

>>786
ゆず故障はXでよく見かけた一番最初の#001の時からそうだったよ
サンプル動画を見ればわかるけど、顔のホクロの一部が出たり消えたりしてる

>>829
作者にメール連絡して作者からお礼とキーの連絡が届きました
アドバイスありがとうございます。

834です
buymeacoffeeのアカウントのメッセージ欄にキーくださいと記入したら15分くらいでキーが記入されたメール来ました
有効化成功です

>>837
全然知らなかった…
君等はフサフサや
ハゲは俺だった

visa通らんしめんどくさ、もういいわ

>>204を参考にしてstash起動しても引数どおり動いてるのかよく判らない
プレイヤーの設定はデフォルトでdirect streamになってるから毎回切り替えないといけないし、lada-yolo-v4の通し方がわからねえ
今のバージョンってjasna-cliが廃止になったけどstashのJASNA_CLI_PATH設定はそのままでいいんですよね？
https://github.com/Kruk2/stash/releases/tag/v0.30.1-jasna

>>841
Google Pay

で、お金払ったら出来上がりは違うの？

>>843
QRコードのやつ？利用してないしこのために始める気もない、ありがとね

カネやるとバカンスに行っちゃって開発遅れるからやめとけw

UNet 4Xで処理中だが、fpsが100以上なのは少なく40から50くらいで推移
4時間の素材で今半分くらい処理中、ETA:1h以上なんで早いのか遅いのか結果待ち
処理済み映像の出来具合は、完了してからと

バンドルのVISA通ったけどなぁ　まあいいけど
きのうバカ正直にproton.meのアドレスにメールしたけど、結局要らんかったんか

破壊はちゃんとモザイク除去してると思うのだけど、ちんこまんこをAIが置き換えてるって主張する人たちって、フェラシーンで女優の顔とか舌がちゃんときれいに見えるのはどういう解釈なの？

キーは >>829 のようにBuy Me a CoffieeのMy Accountに通知で送られてきてた
支払ってから一時間後位だった

服脱がさないままとかパンツずらしたままとか
その辺のシーンAIでは再現出来ないのでは

あ、置換えって意味ね

>>849
>>808のドキュメントを読めば仕様レベルで一目瞭然だけど、例えばそのフェラシーンで言えば添えられた手を見るとだいぶ厳しい。
手は生成AIにとって昔から難敵で、AIの想像力が追従出来ずに一昔前の生成AI動画でありがちな指が増殖したり関節以外のところで曲がったりすることが多発するし、
ネイルなんてしてるともう悲惨でモザイク掛かっているところに指が入った途端にネイルアート消失したり場合によってはネイルアートが男優のタトゥーに変化したり。

>>853
0か100で解釈してるのがそもそもも間違いなんじゃない？
情報が不十分だと再現も甘くなるってだけの話で、BasicVSR使ってるんだからそっちの原理が中心
今回実装された画像のモザイク処理の方はBasicVSRがやってる前後のフレームからの情報は使ってない
(1枚画像からやってるから当たり前だけど使えない)ほぼ生成式で、仕上がりもコロコロ変わる

>>854
> 再現も甘くなる
うん、「再現」。自分はその話をしている。
一方、>>849は「除去」と主張している。除去ではない。

>>808
お前は読めても理解は出来ないタイプの人間だな
BasicVSRがやっているのはモザイクの時系列変化を元にした最尤推定だ
ま、最尤推定って言葉が理解できないだろうがな😁

BasicVSRのモザイク破壊原理そのものは、NSFWモザ以外の顔モザでも背景モザでも破壊できる
だからその点でお前が勘違いしてる「過去に見たことがある無修正画像のソレと出来る限り似たものを書き込む」ってのは大間違い

NSFWモザ以外の部分の破壊するなんて計算パワーがもったいないので、NSFWモザだけに反応する detection model が必要になるわけ

静止画でエラーがでる

>>857
途中で送信してしまった。
[Errno 2] No such file or directory: 'I:\\jasna-windows-v0.7.2\\model_weights\\sd-15-jav\\null_embedding.pt'
とでるが、実際は"I:\jasna-windows-v0.7.2\model_weights\sd-15-jav"になるはずだが、どこかでフォルダの設定ある？

なんだよ、また
Error importing PyNvVideoCodec: libavformat.so.62: cannot open shared object file: No such file or directory
とかいうエラーが出るじゃんか
同梱の　PyNvVideoCodecに入ってるのとバージョンが違う
作者はちゃんとチェックしてんのかよ😮‍💨

>>858
静止画のモデルをダウンロードする時に、なぜか一部のファイルがダウンロードされてない時があるから
sd-15-javフォルダ消してダウンロードしなおすか、直接huggingfaceから足りないファイル取ってくるかすればいい

>>808
を読んで、除去じゃなく復元ってことは理解したが、元画像とモザイク処理した後の画像のパターンを学習して、逆算して復元してるんでしょ。
勝手に似たものを生成してる訳じゃないんじゃないの？上手く復元できなかったときに補完はしてるだろうけど。

jasnaの静止画処理やってみた
静止画一枚一枚の処理結果は出来が良いように思う
が、Upscaylとかでやってた手順で動画からフレーム書き出してjasnaで静止画処理
その後に動画へエンコの手順で処理された静止画から動画を作ってみたら
モザ領域のちらつきがひどくて実用には耐えられなかった
SD系は時間軸（動画のつながり）見てないから、動画処理するなら時間軸のつながり見るBasicVSR++じゃないとダメってことか

ttps://github.com/komo-248/Video-Upscaling-FFmpeg-Upscayl/tree/main

>>859
updated linux build, if you downloaded previous one and it fails with libavformat.so.62 or similar, download it again. だとよ
パッケージ作り直したみたいだから try again

## 超解像とディープフェイクの比較
### 目的の違い

**超解像（Super Resolution）**
低解像度の映像・画像を高解像度に復元・拡張することが目的。元の映像の内容は変えない。

**ディープフェイク（Deepfake）**
映像中の人物の顔・声・動作などを別の人物のものに差し替えることが目的。内容そのものを改変する。

### 技術的な共通点
どちらも**生成的ニューラルネットワーク**を中核技術として使用している点が最大の共通点。

### 技術的な違いの詳細
**超解像**
- 入力に存在する情報を補完・補間する（ハルシネーション的な画素生成も含む）
- 評価指標はPSNR / SSIMなど客観指標が使いやすい
- 映像の「整合性」は元映像が担保

**ディープフェイク**
- 2つの映像ドメイン間でマッピングを学習（face-swapの場合）
- 光源・角度・表情の整合性をモデル自身が生成しなければならない
- 評価は主観的になりやすく、検出回避も開発目標に含まれることがある

### 実用上の接点
超解像とディープフェイクの技術は**パイプライン上で組み合わされることがある**。

例：低解像度素材でディープフェイクを生成した後、超解像で出力品質を引き上げる。逆に、超解像で拡大した映像にディープフェイク処理を行う場合もある。

また、ディープフェイク検出モデルは、超解像による人工的なテクスチャ（アーティファクト）に誤反応することがあるという干渉問題も知られている。

### 一言でまとめると
> 超解像は「映像の質を変える」、ディープフェイクは「映像の真実を変える」技術。ただし使用する数学的基盤は部分的に同じ。

バカがAI貼り付けんな

Windows版 jasna 0.7.2でGUIではYOLOモデル(lada_mosaic_detection_model_v2.pt)のコンパイルは上手く出来るが
CLIでは再度YOLOモデルのコンパイルが実行されコンパイルエラーが発生する。

jasna 0.7.2 CLIでYOLOモデルは正常に動作していますか？

なお、jasna 0.6.2ではCLIでもYOLOモデルは、正常にコンパイルされ動作する。

847です
有料のUNet 4Xの処理結果は、RTX Super Resのウルトラより自然に見える変なギラギラっぽい感じが無い
RTX Super Resで処理した素材をUNet 4Xで処理してみて、違いを比較しようかと