【超解像】Lada part4

2D→3D面白そうだな

SteamVRアプリにautodepth image viewer
ってリアルタイムで2Dを3D表示するのがあったな

>>739
サンキューベリーマッチ

2D⇒3Dはいいな

zelefansの人は色々わかってる人のようだ。

iw3みたいな機能か

>>739
空間を見渡せるだけじゃなくて、物体の側面に回り込めるのが凄いよね

モザイク検出と復元に関して情報共有

当方、素人物の顔面モザイク破壊が好きで復元できないモザイクや復元できてもウネウネや目のギラギラがどうも苦手
そこで元動画の明るさを弄ると是正できる可能性がある
※方法がめんどくさいのとそれ以上聞かれてもわからないので興味がない人はスルーしてくれ

・おれ環　12700の3070tiでドライバ最新
・jasna v0.5　GUI版
・RTX Super Resはオフ
・元動画を編集ソフトで「露出」のみを月明り程度になるまで暗くする（自分は最下限値まで落としてる）
・復元後、編集ソフトで露出・輝度・シャドウを弄って元の明るさに調整する

モザイクが検出できない動画や復元後ウネウネする場合は試してみるといい
検出や復元具合はどうも元動画の明るさにも相関があるらしい
※当然画質は落ちるから、あくまでモザイクの向こう側を見たい方推奨。もし無駄足踏ませたらすまん

0.6.2　カクカク出てます

GPUスケジューリング　ONでもOFFでもカクカクします
おれ環かもだけど　原因不明
同じ解像度、色空間で、カクカクする素材としない素材がある
いろいろこれからやってみます

>>746
NVIDAのGPU種類と使っているドライバのバージョンは？

zelefansの新型で2D to Depth VR試してるけど全面緑色基調でノイズが乗ったような画面になってしまう。
導入手順のどこかでミスってそうだがda3のこともっと調べないと正解まで遠そう。

それは残念だけどまだ初号機だからな
iw3desktopのリアルタイムが素晴らしいから
事前変換するなら大幅に超えて欲しいと期待してしまう

>>745
良情報ありがとう！
顔モザ外し、専用ソフトじゃないからあんまり上手くいかなかったから試してみる！
だいぶ露出を暗くするってことで良いのかな？
復元の際のモデルもおすすめがあると嬉しいです。

色々いいじってみる！

>>748
全画面緑基調のアーティファクトが出る問題は経験ある
BT.601動画の処理で必要な色変換テーブル(�@YUV→RGB、�ARGB→YUV)で�@の変換時に�Aを使っちゃうとそうなる
何で使うテーブルがおかしくなっているかはわからんが、最近出たClaudeのFable 5に調べてもらえば解決すると思う
別件で昨日モザイク検出→復元パスの問題をFable 5に調べてもらったら速攻で原因特定・対策してくれて驚いた
課金必要だけど

>>749
iw3.desktop教えてくれてありがとう
スゲーの一言

>>747
610.47 studioドライバです
RTX3060　12GB

素材をHandbrakeでH265-10bit　カラースペースBT.709フィルタ入れてエンコするとカクカクしなくなります
元素材はSD BT.709です

>>753です
追記します
Handbrakeでエンコしてから0.6.2処理するとカクカクしないの意味です
0.6.2は。SD、FHD素材にかかわらずエラーがでるものがあり、その素材もHandbrake H265-10bit カラースペースBT.709フィルタで
エンコしてから0.6.2処理するとエラーを吐かなくなります

jasnaは従来 HEVC / 10bit(P010) / BT.709 固定だった GPU エンコード出力をv0.6.1でBT.601 対応はしたけど、まだ色空間やビット数対応が狭いと思う
ここから外れる動画は >>754 のように再エンコが必要なのかも

>>753
Fable 5に調査してもらった結果

カクカクの本命は素材側のタイムスタンプ(PTS)やフレーム構造の汚さで、Handbrakeの再エンコードがそれを正規化したから直った、と読むのが自然です。

jasnaの出力はソースのPTSをそのまま出力タイムコードに使います。つまりSD素材にありがちな VFR・壊れたPTS・テレシネ/インターレース由来のフィールド単位タイムスタンプが、そのまま出力の表示タイミングになります。
さらに video_encoder.pyでは重複PTSを「+1 tick ずらす」だけで処理するので、重複タイムスタンプを持つ素材だと2フレームがほぼ同時刻に詰まり、明確なジャダーになります。
fps は ffprobe の r_frame_rate から取りますが、インターレースSDではこれがフィールドレート(2倍値)で報告されることがよくあります。
Handbrakeで再エンコードすると、デインターレース/デテレシネ込みでクリーンな CFR・単調増加PTS のストリームになるので、上記すべてが消えます。「H265-10bit + BT.709フィルタ」が効いたのではなく、「再エンコードしたこと自体」が効いた可能性が高い。BT.709フィルタと10bitはほぼ無関係のはずです。
「エラーが出る素材」の方も整合します video_decoder.py:57 はデコーダ出力が NV12(8bit 4:2:0) か P10(10bit) の二択である前提で書かれています。NVDECが対応しない 8bit 4:2:2 H.264 などのプロファイル、あるいはストリーム破損があると例外で落ちます。Handbrake→HEVC 10bit 4:2:0 は NVDEC のど真ん中フォーマットなのでエラーが出なくなる、という説明がそのまま付きます。

俺環ではTMPGEnc Video Mastering Works 7でNVENCでエンコした物はカクカクになる。x264ではカクカクしない。理由は不明

インターレースの対応方法によっては実fpsと設定情報上のfpsと合わないとかもある。

>>757
NVENCが悪いんじゃなくて、TMPGEncのNVENC側だけインターレース保持とかプルダウン付きで出力されてる可能性が高い
x264側はプログレッシブで出てるから差が出てるだけだと思う

>>756に書いた通りjasnaはソースのPTSとr_frame_rateをそのまま信じる作りだから、
・インターレースのままだとfpsがフィールドレート(2倍)で誤認される(>>758の言う通り)
・VFRや重複PTSがあるとそのままカクつきになる

対処は出力設定で
・インターレース解除ON＋プログレッシブ固定
・プルダウン出力なし
・フレームレートは「ソースと同じ」じゃなくCFR固定（23.976とか29.97）
・色形式は4:2:0 (HEVCならMain/Main10)

0.6.2出てたけど>>2のやり方だとうまくいかないね

>>760 おま環じゃない？
>>713 が試して >>719 でうまく行った報告してる
正確には >>2 + >>4 をやったと思うが

バッチ処理中に動画ファイルの問題でアプリが落ちると今まで対症療法的に再エンコしてたが、
実行前に問題起きそうかチェックする PowerShell 製のツールを作った

・lada-ex / jasna 両方に対応
・ffprobe / ffmpeg を使って動画のメタデータ・PTS/DTS・ビットストリームを調べ、
　両ツールの仕様 (コンテナ / コーデック / 色空間) に合っているか、
　PTS の壊れ (欠落・負値・重複・逆行・大きなギャップ) が無いかを事前に確認
・問題が見つかった場合は、その原因の説明とあわせて、そのままコピペして実行できる
　修復用の ffmpeg コマンドを提示
・対処コマンドをファイルに書き出してPowerShell スクリプトとして一括修正も可

詳しくは github.com/sh202603/lada-jasna-input-check を見てね

これ、Fable 5を使って作っていたら、例の件で突然使えなくなって途中からOpusに引き継ぎ・・・

>>761
おま環というか、止めたつもりがプロセス残ってて悪さしてたわ
動いたけど、何が変わったのかよくわからん

>>762
使ってないけどいつもありがとう

>>762
尊敬するわ

で、
破壊精度は向上したんかね？

破壊精度 = 検出精度+復元精度なら最近はこんな感じと思う

jasna：検出精度の変化はなし、復元精度はWindowsでGPUスケジューリングONでもカクカクしなくなった (動画自身に問題ないとき)
lada-ex：検出精度の変化はなし、復元精度は向上(複数モザある時の復元取りこぼし減少、--tensorrt指定時の品質向上)

lada-exで--tensorrt指定で処理してた動画はやり直したくなった

ん？今ladaexのがクオリティ高いの？

>>768
いいや
今までのlada-exに比べれば、って話
画像の中に複数モザそんなに離れていない距離にあるような俺テスト動画を
双方のツールで同じ検出モデル(v4-fast)＋TenroRTのYOLOルートを指定して処理するとjasnaの方が多く復元できてる
その差がどこから来るのか調査中
PyTorchのYOLOルートだとそうはならんのだけれど、今となっては処理が遅いから何とかしたい

1ヶ月頑張ったけどアニメの修復モデルの学習は断念した
アーティファクトが出やすいのとシーンによって線が不安定になるのが直せなかった

>>739
今更だけどこれめっちゃ良いわ
柚子故障のやつ破壊してVRでこれ使って観ると捗る捗る

あとは淫尻とかでケツがアップになるやつとか、逆さアングルのは大変相性良し

必死にマシンパワー使ってVR素材破壊してボケボケになるより、被写体の演技もいらないような同人の観察系動画を無修レベルにしてautodepthで鑑賞した方がいいまであるよな
プロの作品でもメーカーとか年代によっちゃ（自重

>>767
766
ありがとうございます
劇的な進化はしていない、と理解
ブレークスルーが起きたら起こしてください

永眠した模様

2回回したら復元精度があがるとか書いてた人いたけどほんまなん

ボケボケにならないが…

>>771
顔をAI加工してるやつで抜けるのがすごいわ

ちんこまんこをAI加工しているスレでそんなこと言われても。。。

jasna v0.7.0がリリースされたんでOpusに内容調べてもらったで
実験ビルドだから動かなかったら報告してくれって

v0.6.2 → v0.7.0 変更点メモ
1. 概要：有料サポーター向けモデル追加＋暗号化・配布インフラ＋ビルド刷新。無料部分（検出・動画修復・RTX/TVAI）は維持しつつ、追加モデルに課金ゲートを導入する構造変化
2. 目玉機能 — SD 1.5 画像修復（静止画向け）
・Stable Diffusion 1.5 inpaint をファインチューンした静止画専用パイプライン。動画パイプラインとは別系統
3. unet-4x セカンダリアップスケーラ
• サポーターモデル。256→1024 のシャープな修復、TVAI iris-2 に視覚的に近いがローカル実行で追加セットアップ不要
4.サポーターキー / モデル暗号化（最重要の構造変化）
• 無料部分はそのまま、追加モデルだけ課金ゲートという収益化構成
5. ビルドシステム刷新
・PyInstaller → Nuitka
6. その他の修正
• fix: tvai pad for very short detections（短い検出での TVAI パディング）
• don't support dnd on linux if it fails to load (old lib)（古い lib で失敗時 Linux で D&D 無効化）
• GUI improvements / gui fixes（複数）、locales 更新、Windows build（複数）

LinuxでRTX super resを動くよう直したやつとか+modiで入れた修正も本家に入った
動画パイプラインのベース機能はv0.6.2から変わってないと思う
マネタイズ強化に舵切ったのかな?

>>771
性成AIのやつは顔が普通にしている時はいいけど、やっている時にお面のように表情が乏しくて不気味なので好きじゃないんだよね
先日も好きな女優さんの顔やなんかを性成AIで変えた作品が人気になったらしいけど、わざわざ変える必要ある？
元の女優さんバージョンも販売すれば２度おいしいと思うのになぜ出さないんだろう

>>779
藻がかけられている部分を元の正規に戻そうとするのがここ
生成AIのAVは元の顔や体なんかを仮想のものに変えてしまうもので、顔入れ替えなどに近い
全く正反対のことをしていると思われ

>>780
v0.6.2の環境はそのまま残して、v0.7.0は「jas7」という名前にして入れてみます

Discord入ってないんで課金部分の感想を誰かお願いします！

>>780
買い切りならいいけどサブスクなら終わりやね

静止画修復ってどういうニーズ何だろね
ffmpegで静止画書き出し→これで処理→別のソフトで更にアプスケ等の加工→ffmpegで動画に戻す
とかの処理組むのかな?

顔の加工とマンコじゃ全然意味が違うだろｗ
ゆず故障は初期の頃は無加工だったのになぜあんな気持ちの悪いAI加工にしたんだろな

>>783
15ドル以上を寄付するとキーがもらえる
モデルのトレーニング費用として活用
サブスクではない

>>787
静止画についてはDiscord見ろってあったから聞いてみたんだが15ドルでいいなら試してみるかね

>>788
静止画処理も含まれる
Discordには静止画サンプルが掲載
VRAM 20GB程度要したとのこと　0.7.0
静止画の出来はがない良い

>>787
15ドル程度なら払ってもいいな

UNIFANSの方でやろうとしたら仮想通貨か中国系の送金システム使わないとだめっぽいな
By Me a Coffeはクレジットカード行けるんだっけ
と思ってたらv0.7.1来てたわ

動画のスクリーンショットを静止画処理してみたが復元品質が素晴らしいな
処理も速くて良い
4070で一枚30秒程度

一枚のクオリティに拘ると動画として繋げたときには破綻するのかな
博士が昔そのようなこと言ってた気がする
用途が違うと言われたらそれまでだけども

仕組みはまだ理解していないが静止画はいわゆるAI生成系なのかな
不自然さはほとんどないが

>>778
ディープフェイクのソフトじゃないぞハゲ

>>792
マジかよ！？
有益そうな情報ありがとう！やってみる！

>>796
新しいVer出てたんだね...先走りすぎた..

コーヒー奢ってみた。特にメルアドとか聞かれなかったので、どうしたらいいの？と焦ったけど、githubに書いてあるメールアドレスに寄付したよってメールにコーヒー奢る時に作ったアカウントのリンク送ったら、返信でキーを送ってくれた。

「Jasnaを有効化する」が消えているんだけど
どうやって出すの？

消してやり直した

静止画結構いい感じになるな
開始まで時間かかるけど始まると速攻なので一枚一枚やるより一度に複数やらせる方がいい

静止画処理はせめてSDXLにならんのかな？
まあ素のSD1.5よりは大分いいどさ

jasna CLIの--input --output にフォルダを指定できるようになったのが地味に便利
処理中のファイル名は表示してほしいので手直しはしたが

>>782
モザイクを検出して、その周囲の状況とモザイクの色合いを踏まえて、過去に見たことがある無修正画像のソレと出来る限り似たものを書き込む。
これがLada/jasnaの基本的な動き。
貴方の言い回し風で言えば、Lada/jasnaはモザイクを仮想のちんこまんこに変えてしまうもの。

Error importing PyNvVideoCodec: libavformat.so.62: cannot open shared object file: No such file or directory
とかいうエラーが出るんだけど、Linux版

>>804
全然ちがうぞ
デタラメを書くな

>>805
それだけでは何とも言えんな
v0.7.xはLinuxのパッケージ版がまだないが、ソースビルドを試したのか？

>>806
ttps://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
Ladaで使用するモデルに対する追加学習のドキュメントね。このドキュメントを読めばLada/jasnaのモデルが何を基準に何をやっているかが分かるよ。

これを理解出来なくても、実例を通しても理解は出来る。
例えば、少し前に国内AVの無修正が大量流出した事件があったけど、それのモザイク付き一般流通品を通すと実物とまるで違うものが描かれたり、
新基準モザイクとか銘打って、新しいモザイクを掛けて再リリースされたものの新旧それぞれを通すと全く違った結果が出たりする。

おま環かもしれんがv0.7.1はシステムチェックに失敗することがあるな
起動はするんだけど右下のGPUやVRAMの表示がハイフンになってってよく見たらシステムチェックがバツになってた
静止画やったあとに出やすい？

自分のPCも6.2までは問題なかったが7．1ではエラーが出ます。
使用可能な判定が出ましたがNVIDIA最新、MKVMERMEGおよびffmpegをインストールしないとダメなんでしょうか？

>>810
自分の環境ではその症状が出たらv0.6.2を起動させてシステムチェックが全てOKになることを確認して再度v0.7.1を起動すると使えるようになった
ただプリセットが消えてしまう副作用があるけど…

>>804
無臭の学習結果から藻の部分の元の画像はこのようなものであったのではないかを推測して入れ替えているということだよね
それを仮想の正規に変えていると言うのなら、アニメのアップコンバート技術なども仮想の画像への置き換えになるよね
生成AIにより本来の顔や体などを仮想の顔や体に変えるのは、どちらかというと正規の部分に藻をかける側の行為
自分としては、普通にしている時はいいけど絡みの時に不気味になる生成AIの作った顔じゃなく元の顔が見たい

さっきv0.7.2があがったよ、早いわ

素晴らしい…

課金するからどんどん更新してほしい

課金したら使えるモデルて、今までより良いの？

いまだにv0.5.1使ってる者だけど、新しいv0.7.2落としたら、有効化って、有料になったの？なら金払うんで、どうやりゃ課金できて有効化できるのか、教えて下さい。あと、v0.7.2になって何が変わったのか教えてくださいまし。教えてクレクレくんで、すまんです。

課金はコンビニで売ってるギフトカードで出来るんかな

日本語のREADME.ja.mdがあるんだからまずはこれ読め

課金は一回だけなんだろうか？
バージョンアップのたびに課金ということになるのかな？

>>818
UNIFANSは暗号通貨等支払い方法が限られているのでやめた方がいい
Buy Me a Coffee はFAQに以下の記載がある
俺はクレカで払ったけどVプリカが行けるかはわからん

How can my audience pay?
We support all major credit and debit cards, Apple Pay, Google Pay, Cash App and other global payment methods

Vプリカで課金いけたよ

>>812
本来のもの（元動画）を、こうであって欲しい条件（AI学習モデル）に合う形で、異なるものに書き換える（生成AI）という本質においては、AIアプコンも、顔挿げ替えも、Ladaも同じことをやっている。
それを好ましいものと思うか好まざるものと思うか、という個人の感覚はそれはご自由にどうぞ。

>>817

コーヒを作者にご馳走すれば良い。

こういう決済に慣れてないから間違ってコーヒー２杯おごっちまったよ ( ；∀；)

新モデルは効果出てますか？効果出てるならコーヒーおごりたいと思います

今コーヒー奢ったんだがキーはメールで来るのかね

ByMeaCoffe 課金メールは来たけどキーが書いてないんだけど

>>828
ByMeaCoffe の自分のアカウントのページのPayments（支払い）を開くと作者からお礼とキーの連絡がある

昨日までのREADMEにはメールしろって書いてあったが今見たら自動で貰えるように変わってたわ

キーは自動で貰えるとの事だがByMeaCoffeのマイアカウント入って色々確認したんだがやっぱり届いてないわ....

buymeacoffeeのアカウント作成途中でwebsiteかsocial link聞かれるけどそんなの持ってないし
クリエイター向けのアカウントって事でしょこれ、寄付したら作者に連絡するしかないのか

履歴のコメントに鍵くださいってコメントして暫くしたらメールで届いたわ

15USD支援して、Payments（支払い）開いてもお礼メールだけでキーは書いていない

自動とは言ってるがメールが不要なだけで作者がキーを生成してから連絡あるんじゃないのかね

お礼メールの後にもう一度key付きのメール来たよ。

>>786
ゆず故障はXでよく見かけた一番最初の#001の時からそうだったよ
サンプル動画を見ればわかるけど、顔のホクロの一部が出たり消えたりしてる

>>829
作者にメール連絡して作者からお礼とキーの連絡が届きました
アドバイスありがとうございます。

834です
buymeacoffeeのアカウントのメッセージ欄にキーくださいと記入したら15分くらいでキーが記入されたメール来ました
有効化成功です

>>837
全然知らなかった…
君等はフサフサや
ハゲは俺だった

visa通らんしめんどくさ、もういいわ

>>204を参考にしてstash起動しても引数どおり動いてるのかよく判らない
プレイヤーの設定はデフォルトでdirect streamになってるから毎回切り替えないといけないし、lada-yolo-v4の通し方がわからねえ
今のバージョンってjasna-cliが廃止になったけどstashのJASNA_CLI_PATH設定はそのままでいいんですよね？
https://github.com/Kruk2/stash/releases/tag/v0.30.1-jasna

>>841
Google Pay

で、お金払ったら出来上がりは違うの？

>>843
QRコードのやつ？利用してないしこのために始める気もない、ありがとね

カネやるとバカンスに行っちゃって開発遅れるからやめとけw

UNet 4Xで処理中だが、fpsが100以上なのは少なく40から50くらいで推移
4時間の素材で今半分くらい処理中、ETA:1h以上なんで早いのか遅いのか結果待ち
処理済み映像の出来具合は、完了してからと

バンドルのVISA通ったけどなぁ　まあいいけど
きのうバカ正直にproton.meのアドレスにメールしたけど、結局要らんかったんか

破壊はちゃんとモザイク除去してると思うのだけど、ちんこまんこをAIが置き換えてるって主張する人たちって、フェラシーンで女優の顔とか舌がちゃんときれいに見えるのはどういう解釈なの？

キーは >>829 のようにBuy Me a CoffieeのMy Accountに通知で送られてきてた
支払ってから一時間後位だった

服脱がさないままとかパンツずらしたままとか
その辺のシーンAIでは再現出来ないのでは

あ、置換えって意味ね

>>849
>>808のドキュメントを読めば仕様レベルで一目瞭然だけど、例えばそのフェラシーンで言えば添えられた手を見るとだいぶ厳しい。
手は生成AIにとって昔から難敵で、AIの想像力が追従出来ずに一昔前の生成AI動画でありがちな指が増殖したり関節以外のところで曲がったりすることが多発するし、
ネイルなんてしてるともう悲惨でモザイク掛かっているところに指が入った途端にネイルアート消失したり場合によってはネイルアートが男優のタトゥーに変化したり。

>>853
0か100で解釈してるのがそもそもも間違いなんじゃない？
情報が不十分だと再現も甘くなるってだけの話で、BasicVSR使ってるんだからそっちの原理が中心
今回実装された画像のモザイク処理の方はBasicVSRがやってる前後のフレームからの情報は使ってない
(1枚画像からやってるから当たり前だけど使えない)ほぼ生成式で、仕上がりもコロコロ変わる

>>854
> 再現も甘くなる
うん、「再現」。自分はその話をしている。
一方、>>849は「除去」と主張している。除去ではない。

>>808
お前は読めても理解は出来ないタイプの人間だな
BasicVSRがやっているのはモザイクの時系列変化を元にした最尤推定だ
ま、最尤推定って言葉が理解できないだろうがな😁

BasicVSRのモザイク破壊原理そのものは、NSFWモザ以外の顔モザでも背景モザでも破壊できる
だからその点でお前が勘違いしてる「過去に見たことがある無修正画像のソレと出来る限り似たものを書き込む」ってのは大間違い

NSFWモザ以外の部分の破壊するなんて計算パワーがもったいないので、NSFWモザだけに反応する detection model が必要になるわけ

静止画でエラーがでる

>>857
途中で送信してしまった。
[Errno 2] No such file or directory: 'I:\\jasna-windows-v0.7.2\\model_weights\\sd-15-jav\\null_embedding.pt'
とでるが、実際は"I:\jasna-windows-v0.7.2\model_weights\sd-15-jav"になるはずだが、どこかでフォルダの設定ある？

なんだよ、また
Error importing PyNvVideoCodec: libavformat.so.62: cannot open shared object file: No such file or directory
とかいうエラーが出るじゃんか
同梱の　PyNvVideoCodecに入ってるのとバージョンが違う
作者はちゃんとチェックしてんのかよ😮‍💨

>>858
静止画のモデルをダウンロードする時に、なぜか一部のファイルがダウンロードされてない時があるから
sd-15-javフォルダ消してダウンロードしなおすか、直接huggingfaceから足りないファイル取ってくるかすればいい

>>808
を読んで、除去じゃなく復元ってことは理解したが、元画像とモザイク処理した後の画像のパターンを学習して、逆算して復元してるんでしょ。
勝手に似たものを生成してる訳じゃないんじゃないの？上手く復元できなかったときに補完はしてるだろうけど。

jasnaの静止画処理やってみた
静止画一枚一枚の処理結果は出来が良いように思う
が、Upscaylとかでやってた手順で動画からフレーム書き出してjasnaで静止画処理
その後に動画へエンコの手順で処理された静止画から動画を作ってみたら
モザ領域のちらつきがひどくて実用には耐えられなかった
SD系は時間軸（動画のつながり）見てないから、動画処理するなら時間軸のつながり見るBasicVSR++じゃないとダメってことか

ttps://github.com/komo-248/Video-Upscaling-FFmpeg-Upscayl/tree/main

>>859
updated linux build, if you downloaded previous one and it fails with libavformat.so.62 or similar, download it again. だとよ
パッケージ作り直したみたいだから try again

## 超解像とディープフェイクの比較
### 目的の違い

**超解像（Super Resolution）**
低解像度の映像・画像を高解像度に復元・拡張することが目的。元の映像の内容は変えない。

**ディープフェイク（Deepfake）**
映像中の人物の顔・声・動作などを別の人物のものに差し替えることが目的。内容そのものを改変する。

### 技術的な共通点
どちらも**生成的ニューラルネットワーク**を中核技術として使用している点が最大の共通点。

### 技術的な違いの詳細
**超解像**
- 入力に存在する情報を補完・補間する（ハルシネーション的な画素生成も含む）
- 評価指標はPSNR / SSIMなど客観指標が使いやすい
- 映像の「整合性」は元映像が担保

**ディープフェイク**
- 2つの映像ドメイン間でマッピングを学習（face-swapの場合）
- 光源・角度・表情の整合性をモデル自身が生成しなければならない
- 評価は主観的になりやすく、検出回避も開発目標に含まれることがある

### 実用上の接点
超解像とディープフェイクの技術は**パイプライン上で組み合わされることがある**。

例：低解像度素材でディープフェイクを生成した後、超解像で出力品質を引き上げる。逆に、超解像で拡大した映像にディープフェイク処理を行う場合もある。

また、ディープフェイク検出モデルは、超解像による人工的なテクスチャ（アーティファクト）に誤反応することがあるという干渉問題も知られている。

### 一言でまとめると
> 超解像は「映像の質を変える」、ディープフェイクは「映像の真実を変える」技術。ただし使用する数学的基盤は部分的に同じ。

バカがAI貼り付けんな

Windows版 jasna 0.7.2でGUIではYOLOモデル(lada_mosaic_detection_model_v2.pt)のコンパイルは上手く出来るが
CLIでは再度YOLOモデルのコンパイルが実行されコンパイルエラーが発生する。

jasna 0.7.2 CLIでYOLOモデルは正常に動作していますか？

なお、jasna 0.6.2ではCLIでもYOLOモデルは、正常にコンパイルされ動作する。

847です
有料のUNet 4Xの処理結果は、RTX Super Resのウルトラより自然に見える変なギラギラっぽい感じが無い
RTX Super Resで処理した素材をUNet 4Xで処理してみて、違いを比較しようかと

静止画処理ってゲームのキャラクリみたいだよなｗ
シード進めて白人風味からアジア風味まで自分好みで決めてねって感じだな
たまに貞子みたいな目になるからめちゃくちゃびっくりするわｗ

静止画で陰毛がモザイクされてるだけなのに透明のちっちゃいち◯こ生やすのやめてもらいたい

>>866
v0.6.2→v0.7.0でモデル名のチェックの仕方が変わったが、出てるエラーはFileNotFoundError？
俺環ではそのファイル名で model_weights フォルダにvr_v2_accurate検出モデルを格納して、
jasna --detection-model lada-yolo-v2
を指定して動かしているが、v0.7.2のCLIでもlada-yolo-v2のエンジンコンパイル出来て動画も処理できてるよ

jasnaの有料版のモデル、二次修復モデルのみ？新たな検出•復元モデルはないの？

>>871
そうだよ
それで資金を集めてモデルのトレーニング制作費につぎ込むんですって

あ、有料版で追加されたのは
2次修復モデルと画像修復モデルの2つ

スクショがめんどくさい方へ動画内のフレームをJPEG画像として抜き出してくれるソフト
指定したフレーム数ごとに、指定した秒数ごとに / 全部で ○ 枚になるように / 全てといったタイミングで、
動画内のフレームを静止画抽出できる

使ってみた感じは結構いいかも。使用は自己責任で

Free Video to JPG Converter
https://www.gigafree.net/media/conv/freevideotojpgconverter.html

>>872 >>873 教えてくれてありがとう。まだ、買わないかな••

静止画のやつなんて Stable Diffusion の inpaint そのものだからなぁ
作者は何考えてこんな馬鹿な機能をつけたんだ😮‍💨

静止画の方はアニメもいけるのか？

静止画ってどういうニーズがあるん

ver.6系ではzelefansのVR TOOLをそのままフォルダ上書きで使えてたけど、7だとノットファウンドエラーが出てダメだ
EXEのファイル名変わったからそれかと思ったけど、ダメだった
トラブル起きたときAIとかに聞いて解決できてる人たち尊敬する

>>878
動画を一枚一枚静止画で取り出して、一枚ずつinpaintで修正して、また動画につなげる
とかいう馬鹿みたいなこと考えてるんじゃねぇの？😏

バカみたいに時間がかかるし、フレーム間での描画の同一性が無いから見てられない画像になる
無駄なことに時間を掛けないで欲しいわ、作者

モーションjpeg懐かしい

どういう立場でそんなこと言えるんだ…

Javski博士

やさぐれてんのか

熱烈投稿とかアップル通信の破壊を楽しむんじゃないの
と思ったけど黒塗りだっけか

何も生まない奴ほど否定的なことを吐く
無駄に見えても新しいものへの創出に繋がってるんだよ

とはいえ実際問題モザイク破壊と画像生成は考え方が異なるものだからあんまり混ざるとは思えないけどね
自前でinpaintするよりは安易にできるな、とは思ったけどladaにはその機能求めてない

>>885
そんなの Stable Diffusion でやればいいだろ

>>886
Stable Diffusion が出始めた２、３年前の頃にみんな一度は試したようなことをいまさらやってるのに新しさもへったくれも無いんだがな

>>888
どしたん？抜いて落ち着けよ

>>889
モンスター化するからその辺でやめたれ

あれを連続性持たせられたらな…
まぁ無理なんですが

SDはControlnet使ってもダメだったしWan-VACEなら出来そうだけど時間がかかりすぎるんだよな

静止画は静止画として見る
元が静止画ならそれを繋げるなんてやらない
なんか得意気にそれ書き込む奴いるけどアホなんじゃないかな

静止画ならわざわざjasna使う必要ない訳で作者の意図がわからんのよ
動画に応用するなら動画生成モデル使わないと一貫性保てないのは分かってるんだからさ
ただのおまけ機能ならそれはそれでいいよ

開発者コメントきたで (issue #204)
サポーターは今後に期待できそうかな？

以下超意訳

ざっくり言うと、静止画像でちゃんと復元できないなら動画復元も意味ない
SD1.5は完璧じゃないけど、まずは単一フレームのモデルから始めて、あとで時間方向の仕組みを足して動画化していくのが現実的な流れ
あとSD1.5も完全に適当に生成してるわけじゃなくて、入力（モザイク）をガイドにして徐々にディテールを足してる
検出モデルにはちょっと驚いてる。静止画像だけで学習されてて時間的な要素ないし、正直それでいいの？って感じ
自分もladaappも、複数フレームまとめて学習させたりはしてない
手動マスクも一応考えたけど、今はそこに時間かけるつもりはないかな

>>874
動画から静止画の抽出は既にインストールされているはずのffmpegでできるので必要ない
もちろん、jpg以外の画像にもできるし、連続静止画もできる

【例】1:23:45から1:24:45までを、1秒4フレームでoutput_001.jpg・output_002.jpg・・・と連番で取得
ffmpeg -ss 1:23:45 -to 1:24:45 -i input.mp4 -r 4 output_%03d.jpg

jasna有効化にキーが張り付けできないんだけど、送られてきたキーめちゃ長いんだけどこれ手動で入力するの？

普通にコピペできたけど？

俺もマウスでしかコピペしたことなかったから悩んだ、マウスでキーを範囲指定してキーボードCtrl + Cでコピー、Ctrl + Vでペースト
で出来た。

Linux版0.7.2 用
ln -s libavformat-ec222fac.so.62.12.101 libavformat.so.62
ln -s libavcodec-c3f15378.so.62.28.101 libavcodec.so.62
ln -s libavutil-04440b0f.so.60.26.101 libavutil.so.60
ln -s libswresample-e1033d35.so.6.3.101 libswresample.so.6
ln -s libswscale-15608d2f.so.9.5.101 libswscale.so.9

>>900
linux版のパッケージ展開に失敗してるだけじゃね？
以下のように展開したらシンボリックリンクは最初から張られてたぞ
($HOME直下にダウンロードしたファイル3つがあったとして)
mkdir jasna-v0.7.2
cd jasna-v0.7.2
cat ~/jasna-linux.tar.zst.part-a? |tar xvf - --zstd

>>899
ほんとだ出来た。

>>861
勘違いしている人の言い分では「女性の画像の股間にモザイクが掛かっているからモザイクの部分には女性器を描写しておくね」という動作をするものが「モザイク破解」という事になっている
だから「破解ミスって女にチンポが生える事があるじゃん」というあり得ない事象の報告があったりする
なんだろう、この人たち実際に破解してみた事があるんだろうか？

コーヒー課金してunet-4xやってみたが、RTX super resより確かに色合いとかも自然な仕上がりになるね。ただ、deblurやdenoiseの細かい設定までとなると好みになるかも。
あと、unetの方がRTXよりメモリの使い方がマイルドなのか、完走出来ない動画が完走出来るようになったので個人的には満足。

某小林なんとかさんのやってみたらちゃんと前張りになってたよ

>>905
それ、見てみたいw

古い作品だと、綺麗にモザイク削除できない事が多いけど、擬似だと言われたAV女優の作品をモザイク削除したら、
確かに擬似だったというのを確認出来たのがあった。

>>870

教えて頂いた方法で上手く動作しました。

復元モデルは「--restoration-model-path」でを直接ファイル名を設定して正常にコンパイルされ動作したので
検出モデルも同様に「--detection-model-path」で直接ファイル名を設定すると正常に動作しない。

VRの偽チ◯コは許せんな
破壊したらワンチャン普通のチ◯コっぽくなるかもと期待したが無理や

>>895
#204で問題提起した人も勘違いしてて作者さんに解説されてたけども
SD1.5の画像復元は適当に生成してるわけじゃなくて、ある程度は元映像を反映出来てるのがスゲーと思った
このレベルで1枚だけ復元する分には、(一定以上の時間幅の)前後のフレーム参照は必須ではないんだね

>>908 の追加情報

「--detection-model-path」で「lada_vr_mosaic_detection_model_v2_accurate.pt」を指定し
「--detection-model」で「lada-yolo-v2」を指定することでファイル名を変更しなくても正常にコンパイルされ動作した。
ファイル名を変更しなくてもYOLO系のモデルの切り替えが行える。

jasna v0.7.2 パッケージ版RTX5080 / Linux / 1080p全長(17.5分) ベンチ

検出モデル3種 (rfdetr-v5/lada-yolo-v4/lada-yolo-v2 (vr_v2_accurate) ✕
2次復元3ケース(none/rtx-super-res(4x, ultra)/unet-4)の9パターン

検出(none時): lada-yolo-v4 2:02 < lada-yolo-v2 2:25 < rfdetr-v5 3:17
2次復元の追加: rtx-super-res +約36秒・+約0.5-0.7GB / unet-4x +約112秒・+約1.7GB ※検出モデルに依らず一定
VRAM最大8.7GB(16GB余裕)、unet-4x(サポーター)・rtx ともパッケージ版で動作OK

俺環ではunet-4のほうがVRAM使用量多かった
>>904 コメントの通りunet-4xの方が仕上がりは自然な感じ
この位の時間増加なら常用しても良いと思った

unet4ってファイルサイズ倍くらいにならない？
現状調整できないから長時間の動画は躊躇してる

>>913
エンコードはjasnaのデフォ設定にしてるけど、
元動画がH264のせいもわからんが出力(HEVC)のサイズはむしろ小さくなっている

みんなエンコードのCQいくつにしてる？
俺なんてFHDならhevcで26くらいで十分だけど

19

>>915
18 22に比べモザイク破壊の効果が向上した。あとはパラメータにaqとlookahead関連を追加指定している。

解凍したjasna v0.7.2の中のmodel_weightsフォルダの中の
lada_mosaic_detection_model_v4_fast.pt
lada_mosaic_restoration_model_generic_v1.2.pth
と>>2を適用したそれってファイルサイズからして違うみたいだけど違うものなの？
とりあえず今までどおり>>2を適用してyolo-v4で使ってるのですが

系統は一緒だけと別モデルだよ
>>2 の検出モデルは同梱されているv4-fastと同じYOLO系のモデルだけどVR Video Toolboxの作者さんがv2-accurateをVR用に微調整した検出モデルと思う
復元モデルの方は同梱されているv1.2の微調整前の元ネタ(v1.2_full)。lada作者さんが自分で微調整したい人向けに公開している

なお、検出モデルについては万能な最適モデルは無いよ。コンテンツ依存かつ処理ツール依存
経験的に簡単なモザだとv4-fastで十分なケースも多い
小さい/ぼけた/端のモザ、数が多い箇所のある動画では vr_v2やRF-DETR が取りこぼし少ない傾向

数値的に検出モデルを比較するツール作ったけど、誤検知と取りこぼしがあるので最後は目で見てチェックが必要だった
AIもチェック出来る能力あるけど、それやらせると規約に引っかかるｗ

>>919
丁寧な説明ありがとう

被写体が早く動く動画フェ〇などで、映像が波打つ場合がどうしたらいい？同じ現象の人いる？

>>917
完全後処理なのに？

いわゆるjasnaのカクカク現象だと思うが
使ってるバージョン古かったら最近のでやってみな
それでもだめなら素材が怪しい

>>874
助かります！こういうアプリを探してました。

今までアップデートされるたびに試しても映像が二重になったりしてた動画、静止画切り出してやってみたら、改善してる気がする。今後このモデルが動画に適用されることに期待だな。

>>922
HEVC（H.265）にエンコードする際、平坦な部分の階調の維持など見た目の画質が良くなると思っている。効果は元になるソースに依存するが、サイズや処理時間の増加もさほど大きくないので、常用している。

静止画モデル、エロ漫画のモザ取りに使えるかも。カラー原稿にはかなり効く。
ていうか、逆に生々しい。
雑誌修正のモノクロ原稿にも、まあまあ使える。
モザイクとして認識されないときは、フォトショとかで上からモザイクすると認識されることも。
勿論、白抜きや黒塗りはダメ。

だからそういうのは Stable Diffusion でやればいいっての

0.7.1から0.7.2にしたら、keyを入れ直さないといけないのかと思ってたが、引き継がれた。どこかにログイン情報が保存してあるのか。古いヤツフォルダごと消しても大丈夫かな？

静止画はエロゲーの絵でやるのありだった
VR破壊の裏で遊ぶ程度にはありな機能だと思った

ladaみたいな一時停止が欲しいんだよな
スリープできるから

欲しいよな
VRAMカツカツまで使われると他の作業入れづらくなる
意外と難しいのかバカ高いアプコンツールでも昔のバージョンには一時停止なかったりするよね

サスペンドしてもVRAMは開放されないから意味ないぞ

>>928

stable diffusionのinpaintで出来るのは解るけど、作業効率がスコップと除雪機くらい違う。
漫画はページ数が有るのでな

VRJAVのモザ無しが気軽に見れる世の中だったら少子化がさらに加速するし、夜の産業も衰退するだろなぁ
こんな破壊兵器は一部の（酔狂な）人だけが楽しむべきだわな

VR対応したの？

BTCが下がってるの気になるわ

AIに金庫破りされたーとか言ってまたそろそろ大手が盗難されそうw

BMIが上がるのも気になるわ

Jasnaの更新情報って定期的にGitHubを見るしかないのかな？少し前にAIにアプリ作らせようとしてGitHubのアカウントは作ってあるんだけど、作者をフォローしたら更新通知くる？

フォローというか、GitHubのwatch機能でリポジトリのリリースをwatchしとけばいいんじゃね

>>941
ありがとう、やってみる

そっか。AIにAVメーカーのハッキングしてもらえば全部解決するやんな。

VRの片目だけ流出してたのはあったな

Jasnaってもうタダでは使えないの？
0.7.2を解凍したらファイルがいっぱい出来たんだけど

コーヒー代☕を払うのじゃ(大嘘

>>945
コーヒー代払ってメールアドレスとキーを貼り付けるとこれが使えるようになります:
・UNet 4x アップスケーリングモデル
・SD 1.5による静止画修復
個人的にはどっちも要らなかった

ちなみに皆さん、コーヒー代っていくら位にされてます？

今後の期待を込めて50ドル払った

期待をこめて星５つみたいなもんだな

15ドル以上じゃなかったっけ？

Unet4xて見てわかるほど高性能なの？だったらコーヒーご馳走するけどな

jasnaのvr用PRを試した猛者はいない？
相当速くなりそうだけど

>>948
知らずに10ドル払ったら「ごめんね平等に15ドル以上にしてるから」って連絡がきたので、追加で5ドル払ったらキーが送られてきた

0.7ならまだ1までは大分あるからな
1になったら強制金になるかもしれんが
相当先だから課金はもっと後でいい

>>929
Windowsだと %APPDATA%\jasna に license.json が作られてそこにメアドとキーが格納されるようだ
なので、古いバージョンはごっそり消しても大丈夫
その場合、新しい版の初回実行時にモデルコンパイルが走るけどね

ちなみに、%APPDATA%\jasna をexplorerのアドレスバーにコピペしてエンターキーを押せば
このフォルダに簡単にたどり着ける

>>956
ありがとう。古いバージョン、安心して消せる。

>>952
ちんこに関しては劇的な向上はない気がするけど、まんこは良くなった気がする。スジマンから開いた時にのっぺらぼうにならなくなった。同じ動画で試して比べた訳じゃないから、たまたま相性が良かっただけかもだけど。
自分は、これまでの感謝と今後への期待を込めて課金したが、焦ってするほどでもないかな。様子見でもいいと思う。

同じ動画3本でやってみたが全く変わらんよ
速度も遅いし、ただ応援したい人向けだよ

善意に金額設定すんなって思うわな

削除し忘れたLADAの古いバージョンで復元した動画があったので
Jasna v0.7.2で復元したのと比べてみたらとんでもないレベルで進化してるぞ
お前ら目が肥えて贅沢になってんだわ
黙って手を合わせて作者様に課金しろ

>>961
それな

JAVPLAYERから破解はじめた者として、今の精度は神よ。製作者には感謝しかない。もちろん更なる向上には期待するけど。

過去スレで二次修復にいちゃもん付けてたのもいたけど恩恵ある、vsrとunetの差異はgridplayerで見比べてもわからんが

FC2で集めた無修正動画を使って自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を Fine tune して新しいモデル作ったわ
もうね、二次修復しなくてもクッキリ見える

自分で　lada_mosaic_restoration_model_generic_v1.2.pth　を作ってみて分かったけど、
>>1 で紹介されてる　lada_mosaic_restoration_model_generic_v1.2_full.pth　は意味ない

https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md
での、stage2 終了直後のものが　lada_mosaic_restoration_model_generic_v1.2_full.pth　

で、そこから　export-weights-basicvsrpp-stage2-for-inference.py　を実行して、モザイク破壊に必要な情報だけを抜き取ったやつが lada_mosaic_restoration_model_generic_v1.2.pth

破壊結果は full でも fullじゃなくても同じ

5070ti 16GB なら
stage1の学習で16時間（iter 100000）
stage2の学習で18時間（iter 100000に変更）
で出来る
unetに課金するより、自分でモデルを作った方がいいよ

>>965
HFで公開してる人かな？

処理の高速化に行き詰まっていて、これ以上は復元モデル小型化とかの再学習に手を出すしか無いのか、とか思っているんだけど、
その学習データセット準備と確認にどんだけ時間ががかかるんだろうか？
数千クリップのサムネとか誤検知の確認やったら時間〜日オーダーっすよね・・・

集めた無修正動画を１つのディレクトリにおいて　create-mosaic-restoration-dataset.py　を実行すれば全部自動で学習データを作ってくれるぞ
２時間くらいの動画なら100~400個くらいのクリップが出来る
自分で切り出す必要はない

こういうのってモザ前後で学習するもんだと思ってたけど非モザだけで良いのか

学習時にバイナリマスクに合わせてモザかかってるデータも作ってたはず
実写はデータ豊富で羨ましいな
アニメはデータが限られてて1ヶ月かけても仕上がりに納得がいかなかったよ

>>970
やってみたいから、もう少し詳しくやり方教えて

>>965
うpきぼんぬ

>>971
学習の stage1 で自動的に様々な大きさのモザイクを掛けた上で
モザ無し画像とモザ有り画像とを使って教師学習させてる

FC2500が一番いいような気がする

>>970
5070tiでいいモデルを作れるんなら、作者の人にやり方教えてあげればめっちゃ喜ぶと思うよ
寄付を募ってるのは復元モデル制作用のサーバー借りる資金を作るためだそうなんで

>>966
復元モデルのv1.2とv1.2_fullの違いだが意味ないことは無いよ
jasna v0.7.2 (処理パイプラインが決定的であることは確認済み) で出力動画のSSIMを取ってみると
HD動画の入力について、v1.2の処理結果を基準としてv1.2_full処理結果と全体SSIMを測定　→　0.9955
と微妙に1ではないので、復元モデルの差分がフレームに反映されてる

GridPlayerで並べて目視比較してもv1.2_fullの方がディテールがよくなっている部分ある
意味あるかどうかは素材によりけりってことで

決定的：同じモデル・パラメタで何回実行しても結果が変わらないこと

jasnaの作者に支援した。しばらくしてキーを送ってきたんだが、プログラムコード？のような、絶対すべて正確に打ち込めないだろうってくらい異常に長い文字列を送ってきたんだが、これJasna有効化するキーと違うよな。

>>979
合ってるで
GUIの上にある有効化のところからメアドとキーをコピペすればいい

>>979 >>899
たぶんマウスでしかコピペしたことない？

>>980 こういう質問する人はCtrl+C/Ctrl+V知らん可能性が高い

>>977
jasna を作れる人間なら、https://github.com/ladaapp/lada/blob/main/docs/training_and_dataset_creation.md　
を読めば finetune だって出来るわ
ただ、微妙に完成度が低いから用意されてるスクリプトを書き換えないとエラーで落ちる
あと、5070ti 16GB で batch=2 のままだと OOM で落ちる
でも batch=1 にすればいいだけだからな

素材から学習用データセットを作るのに１日、
stage1 の学習に１日、
stage2 の学習に１日、
全部で３日で出来るわ

>>982
Claude Codeに必要なドキュメントと元ネタ渡して計画→fine tuneスモークテストやってもらったらできたわ
書いてある通りDOVERの重みロードでスクリプトにパス指定のバグあって直す必要あった
5080持ってるがVRAM 16GBだときついね batch=1に加えて num_frame も減らさないと安定しなかった
本番には500本前後必要そうなので、あとは素材の質・多様性と時間の問題か・・・

>>981
お察しの通り、マウスでしかコピペしたことなかった。お陰で無事解決した。ありがとう。

>>970
そのスクリプトってどこにあるの？

>>985 ladaリポジトリのscripts/dataset_creationの中だ
それをここで聞いている時点で道のりは果てしなく遠いと思う

エロ動画収集趣味の効率上げるためにマウスのサイドボタンにctrl+v割り当ててあるから特に困らなかったw

おれの求める北斗神拳はまだ遠い

U-net-4Xを使うと処理部分が黒くボヤっとなります　対処方法をご存じの方がいらっしゃればご教示ください

イシューを読んでたらFP16モードをオフにしていると黒くなった人がいるらしいね

>>990
ありがとうございますfp16モードを試しにONにしてみます