【質問】dfl【その3】

DeepFaceLab(以下、DFL)の質問&回答スレです

・質問について
日進月歩、モデルやオプションが多様化しているにもかかわらず、局所的な意見が散見されます。
必要に応じて自分の使ってるソフトやモデル、パラメータ等の詳細も書きましょう。

・エラーについて
エラーが出て解決できない場合は、なるべく詳細な情報(環境やどうしてそうなったか)を書きましょう。
特にエラー文は1番のヒントです。ググれば解決することも多いです。自分で解決できない場合はログを全文コピペしましょう。

・ソフトはどれ使えばいい？
利用者が多く情報が多いのはDFL。FSも英語圏では情報が得やすい。他は更新していない。

・必要スペックは？
VRAM容量6GB〜が推奨スペック。GPU性能は高い程いい。

・RTXシリーズでも動くの？
FS、DFL共に動く。

DF live使ってる人少なそうだから困るな
mrのスレッドで配布してたフェラ用にmaskされたtrain済みマスクを
全dst画像に適応させてtrainしてるから
DFLのmask edit見てもチンコも綺麗にマスクされた状態なんだけど
新規フェラ動画をDFliveのFile sourceに使いたくても
dstのチンコを事前にマスクしなきゃいけないから
リアルタイムフェラ動画はキツイか
無編集の数時間ある動画ぶち込んでもすぐDFできるのはめっちゃ便利なんだけどな

>>652
居ないかと思ったら643本人いたわ ありがと
設定変えれば色んなアングル対応できるのかと思ったけど
live向けだしやっぱり正面アングルに限るか
でも今までノーマークだったdstが
こんなに相性良かったんだって発見しやすいし
相性確認用として使うことにするわ

手動でも顔抽出が難しいところって、皆さんは諦めてというか、わりきってカットしてますか？

>>655
srcに関しては使わない　dstの場合は頑張って無理ならスルー　mask editorキッチりゃってもlandmarkがめちゃくちゃだと厳しい
ブレはともかく髪でmask内(目とか)が隠れたりだと、他のframeがmerge出来る段階までtrainしても崩れたままが殆ど
srcで奇跡的にドンピシャなのがあるとイケる事もある

でもやっぱextractが楽な素材ほど完成品も似やすい(≒シコい)のは確か

うおー
https://deepsukebe.io/?ref=bFB5N

某記事のやつってこれ？

人物A汎用modelの作成で、汎用Pretrain modelから、1.人物Aをfacesetに入れて追加Pretrain、2.人物AのAlignedで追加Pretrain、3.人物AのSRCxSRCで通常train
この3通りでは1と2には優位な差は見られないが、SRC育成が進んでる3が高品質になりやすいであってる？
Pretrain Facesetに人物Aのalignを入れる人がいたけどそれの優位性が思いつかないんだがなんかある？

外国人だけで100万pretrainさせたmodelと
自分が通常trainでよく使うsrcとdstだけ選別してcelebAに1万枚入れて
20万pretrainしたモデル使って同じ素材で通常trainして比較したけど
外国人model使った方が横顔とかきつめの角度にも対応できてsrcに寄せやすかったから
pretrainよりも通常trainに時間かけた方が良いな
とにかくsrcの画質にこだわってDFDNetとか使ってsrcの画質爆上げさせて
random warpオンで損失0.1くらいまで通常trainすれば小さいホクロとか
歯とかもクッキリ学習してくれて一番高品質にできるかな
海外のセレブとかは至近距離の一眼撮影未加工データとか大量にあるし
それを更に全部reminiさせたりAi Enhanceしてるから高画質すぎて羨ましい

素材のデータ重いと遅くなるやん？

1024px以上のaligned使うとvram12GBと6コアcpuでも
マージの時にフリーズするから解像度が巨大化するのはNGだな
でもDFDNetだと512pxとかで解像度維持したままファイルサイズ3分の1にできる上に
眉毛とかホクロがボケてよく分からない720Pくらいの映像でも
Aiでremini並みに復元してクッキリさせられて
無料で自分のPC上で数千枚の画像丸ごと高画質にできるからsrc増やす度に使ってる
ただ英語の解説しかないしpythonの知識が無かったから
色々と導入して高画質化できるようになるまで理解するのがきつかった

そうですね

いい日記ですね

わりとまじでブログやった方がいい
匿名が何言ってても成果がわからないから

自分でやって確かめればええ話や

ヒント1質問スレ
ヒント2大前提のモデルの種類も書かない日記

前からある技術だけどjappは早速日記を参考にして
昨日の夜からAi EnhancerのGPEN導入してるから
自分で頭使って試せる奴は1から10まで説明しなくて良いし役に立ってくれるな
DF上でのGPENの仕上がりの違いも知りたかったから助かるわー

ｷﾓ

>>663
dfd試してみた
step1の顔抽出がかなり遅いんだけどこんなもん？
元画像が512pxとかになるとこれで何千枚とかやるのは気が遠くなるぐらい遅い
出力された画像は確かに凄い鮮明になってたけど

dfdはステップ3でメモリーエラー出て20時間ぐらい動かしてたのに最初からやり直しだわw
数枚だとエラー出ないんだけどなぁ
10000枚やるとあかんわ。
gfsganはきれいになるしエラーは出ないけど、CG感が凄い
gpenはwindowsで動かない

>>671
step1はcudaとかcudnnとか入れてpythonで色々と設定しないと
CPUしか使わないしアホみたいに時間かかるから使わなくて良いよ

Colabで動作させてるなら分からんけどローカルで動作できるなら
githubのチュートリアル通りにTestWholeフォルダにaligned画像入れるんじゃなくて
DFDNet-whole\Results\TestWholeResults\Step1_CropImgに
aligned画像全部入れて同じようにtest_FaceDict.pyを実行したら
無駄なクロップとかの工程すっ飛ばして色々とエラーが表示されて動作停止した後に
Step3_RestoreCropFaceフォルダに高解像データが保存されてるからそれを移動させれば学習で使える
これなら512pxの画像1枚につき1秒くらいで高解像度化してくれるはず

Colabの場合はそのままDFLで使えるのかも知れないけど
このやり方だとDFLImage扱いされないから
4.2) data_src util faceset metadata save.batを使って
元のalignedデータのメタデータを全部保存してから
超解像したalignedを元画像データと全て同じ名前のままalignedフォルダに移動させて
4.2) data_src util faceset metadata restore.batを使ってメタデータを移植させれば
DFLImageとして使えるようになる

jappがGPENをColab上で動かせるようにしたみたいだけど
DFLで切り出したaligned使うと最後まで動作はするけど
結果のzipフォルダが空の状態で保存されてて超解像できてないんだよな
サンプル映像見るとDFDよりも解像度は上っぽいけど
若干顔が別人になってる様に見えるからDFDの方が良いかね

そうですね

>>673
返信どうも
ただこの方法だとノイズが入ったり不自然になる画像があった

色々弄ってみて解決
遅いのはdlib関連だったみたい
test_FaceDict.pyの26行目
dets = detector(img, 1)の1を0に変えたらstep1の処理が5倍くらい速くなった(それでもまだ遅いけど...)

あとはdlibのコンパイル時にCmakeやらVSのオプション弄っても高速になるらしいけどそちらは未確認

>>674
普通にできたよ
alinedフォルダをフォルダごと圧縮した？

>>677
動作確認で数枚の画像だけ圧縮してたけど
フォルダごと圧縮したら問題無くいけたわサンクス
dfd使ってもノイズでよく分からない唇のシワとか
まつ毛まで見えるようになるし処理早いし数日で革命起きて草

ずっと古いdfl使ってた初心者なんですけど、最近のバージョンってtrain遅くなったけど精度は上がってたりします？
めちゃくちゃ数こなすの遅くなってて

train速くなって精度は変わってないと思う

え、速くなってるんですか

Colabの方で超解像化してそのままぶち込んでもDFLファイル見つからんて言われるね。再extractかければいいだけだが

4.2) data_src util faceset metadata save.bat
4.2) data_src util faceset metadata restore.bat

もっとこのファイルは評価されるべき
元画像まとめてsaveしてgpen画像と交換してrestoreするだけよ

gpenやっと導入できた
すごいなこれ

RTX2080Ti用って1080Tiでも動くんだな
バッチを倍にしても起動するし学習早くなった

gpenて何に使ってるの？

>>685
up to 2080tiやぞそれ以前のは使える

>>686
src強化
元動画の画質が多少粗くても使えるようになる
ただたまに化け物生成されるから出力されたのは全数目視検査した方がいい

なるほどありがとう

既出かもしれんが、headshotってソフト知ってる？使いようによってはsrc不足を補えるかも。

>>686
ぼやけた画像を高画質化、高精細化する。
かなりいいぞ。
頑張って導入してみ。

google colaboのGPEN使うとすぐGPU使用量の上限に当たって使えなくならない？

自分のローカルPC(2070s)環境上でGPENを動かす事はできるのでしょうか？

できるけど
Winじゃ動作しなかったからdebianインストールして動かしたよ

あら〜面倒くさいんですね、じゃすなおにColabでやります。
サンクスです。

>>694
試したのはWinのAnaconda環境ね
wsl2はGPU対応ビルドがWin11のみになっちゃったので未確認です

自分の顔が杉浦ぼっ樹にジャストフィットすると解り
葵つかさや紗倉まなとの共演を果たしてしまう>>1

普通にmergeして作成したフルHD解像度のpngやjpgをColabのGPENで高精細化しようとしたらダメだった
代わりにpngから更にheadモード1024で顔抽出したやつなら変換できたので、mergeのソースを弄ってpngの顔抽出元に上書きできるようにした
画面いっぱいの大きな顔でもなかなかな解像感でてる
まだ動画の連続したコマで処理、再動画化は試してないので最終的にチラつき等出ないかはわからない

明日の日記もお楽しみに

>>697
まさにmerge画像を更に超解像できたらクオリティもっと上げられると思ってたからありがたい
mergeのソースはどこいじればgpen画像と交換できるん？

趣味系の板でこういう高齢者増えたな

Xsegの仕組みを応用して自動顔抽出したがいけてないランドマークを補正する機能は作れないのかな？
pretrainのfacesetに設定されているだろう正確なランドマークを学習させて

>>699
ソースの変更箇所を画像にしてみましたので参考になれば
修正箇所はおおまかに以下の４箇所です

1段目・・・FrameInfo.py __init__()
2段目・・・Merger.py main()
3段目・・・MergeMasked.py MergeMasked()
4段目・・・MergeMasked.py MergeMaskedFace()

https://i.imgur.com/C4KSm8G.jpg

>>702
優しすぎて泣ける
変更点と解説まで分かりやすく作っていただいてありがとうございます！
息子も大喜びです

>>701
3060で顔抽出2重起動しても3it/sくらいだからもっと早くしたいけど
Xseg応用してどのくらいの速度で抽出できてる？
DFLと連携してるMachine Video Editor使えば
ランドマークの自動配置に加えて手動で1点ずつ動かせるから
その抽出方法でも活かせたら強いな

>>703
ソース改造後の使い方などを書いてみましたのでご一読下さい
ソース改造後は通常のマージ機能が使えなくなるので作業フォルダを分ける必要があります

https://i.imgur.com/xSvYBRG.jpg

>>705
もはや課金したいレベル
見ないと詰まりそうなポイント多いのでめちゃくちゃ助かります！

>>706
自分はまだ連続コマでの再動画化は試せてないので、GPEN側の精度によってはチラつきで視聴に耐えられないかもしれません
その場合は静止画スライドショーで楽しんで下さいw

あと、1回目の通常マージではsuper resolutionはかけない方が良いですね
GPENで再度高精細化すると前歯に縦線が入ったり副作用が出やすいですね

数コマでも更に高品質なシーンが作れるだけで十分なのでノーダメージですｗ
全部踏まえて修行してみます

>>704
Xseg応用しての顔抽出っては自分にとってはまだ夢物語でこれからソースコード勉強してみようかっていう段階です
できれば公式さんにそういうの作って欲しい

Machine Video Editorっていうのがあるんですね、調べてみます

>>709
なるほどね
他の顔識別AIを応用すれば動画のまま1フレーム毎に顔認識させて
10倍くらい早くできるみたいだから公式で作ってほしいけど
開発者の対応見てると作る気無さそう

MVEはmrとyoutubeにガイドがあるから参考にしてみて

>697
debianのローカル環境でやってみたらmerge画像は直接変換できたよ

確かに綺麗にはなるんだけど、動画にすると若干チラつき感はありますね

>>711
Colabのメイン部分(jappさん作?)をよく確認したらDFLで顔抽出した以外の画像は変換対象外にしていましたね
このチェック部分を上手くコメントアウトすればColabでもmerge後のフレーム画像をそのままGPENを掛けられるかもですね

自分もようやく改造ソースで連続コマを再動画化(GPEN適用は1万6千枚)が出来ましたが、通常の顔サイズなら目立ったチラつきはありませんでした
一番印象が変わる前髪や眉毛もチリチリするようなことはなし

ただ画面縦の6割以上な顔アップで動きが少ない場面だと顔全体が少しチラつくこともありでした

病気悪化してんな

上の方にCG感が凄いと言われてるけど、GFPGANローカルで使えるしいいね

昔の写真やるのおもしろい

https://i.imgur.com/yK1QcbG.jpg

改行好きなん？

Mateで書き込めなくてpcでコピペしたら改行してた意味はないよ

ガ〜イ？

今GTX1080使ってるけどRTX3060に変えると学習早くなるかね？
ゲームベンチだとあまり差がないからどうなのかなーと思ってます。

口開けてるシーンが全部めっちゃ笑顔になっちゃうんだけどどうしたらいいんだ？
学習させる顔の笑顔シーンを消してから学習させるしかない？

>>718
1080から3060に変えたけど、学習２は倍から３倍に速くなったよ。
1080だと512×512ぐらいのフェイスセットが限界だけど、
3060だと1000×1000でheadごと切り出しとかもイケる。
TDPも下がるし電気代的にもお得でマザボへの負担も若干少ない。

８ピンのみで動く光らないmsiのがお勧めだと思う。

ただメモリバス幅は1080よりだいぶ劣化するので完全上位互換では全くない。
古いゲームとかだと1080の方が速いかも。

>>719
偽造しちゃうのも手だよ。

src側のalignedに切り出し後の顔画像が並んでるじゃん。
あれをdstの最終のmergedに全部コピペして merged to mp4すると、
顔が中心に寄った動画として書き出される。

これがサイズ、画角が中央に揃ってて、動画編集ソフトでコラージュしやすい。
笑ってない顔なら、真顔上半分と口開けた顔下半分とかで重ねれば大量に無表情の口開け顔とか作れる。
目を閉じてとか、片目閉じて（左右で重ねる）とかも同じ感じで作れる。
多少色なんかがズレてても、学習後は本番時のdstの顔色に揃えるんだからザックリでも結構うまくいく。

補足
MP4にする時に、dstの元動画も参照するから、
顔を切り出したsrcの元動画を、data_dstにリネームしとかないと動画書き出せない。

>>719
liaeの方がdstの表情に寄せるのに向いてる

>>720
なるほどー。

すごく参考になる情報ありがとう。
ゲームはやらないので載せ換える価値ありそうですね。

検討してみます。

もう少し出しても良いのなら3060tiの方がさらに早くなるかな？
3060はVRAM12GBなのが魅力なんですけどね。

df liveのお手軽さが最高なんだけどこれってsrcの顔をそのまま出力してるから
dfmモデルはsrcの学習データだけ利用してるのかね？
それならsrc×srcで時短して汎用モデル沢山作りたいんだけど
dstの学習データとかも使ってるとしたらsrc×dstで学習したモデル使った方が
照明条件とかdstへの適応力上がったりするのかな

触角ヘアをこの世から撲滅したい

ageたりsageたりでクソ自演Q&Aを繰り返す日記をこの世から撲滅したい

>>721>>723
サンクス、いろいろ試してみます。

画面外から顔がフェードインしてくるとき、一部分しか写ってない上にだいたいブラーかかってるから上手く認識されずにどうしてもおかしくなっちゃうな
数フレームだしカットしてしまうのが丸いかな

manual extractのa modeで拾う事は出来るけど、あんま良い結果になった事は無いな
自分の場合は切り出しの段階で省く

MVEで前後からコピペして位置合わせればいける

あーなるほど、天才だ
マニュアル人間だからそういう発想なかった
ありがとうございます

横顔とか笛も同じようにすると安定する

ワッチョイって大事なんだな

19日前のDeepFakeArchi.pyの更新で
Added -t arhi option.って書かれてて色々とコードが追加されてるけど
これはFP16で学習できるようになるのか？
iperovがRTMモデルに最適ですとしか回答してないからよく分からんが
2か月前にFP16でのテスト画面載せてたし
最新版のDFLのinternal Model_SAEHD Model.pyにも隠しコマンドみたいに
use fp16オプションと説明が追加されたりしてるからコード書き換えれば使えそうなんだが

9/6版だとOOMエラー。
8/12版ではさくさく　いくのに。
同じSRCとDSTなのにどういうことでしょう？

最新のやつって1080じゃまともに動かないよね
CUDA関連のファイル入れ替えたら動いたけど、1080はもう切り捨てられたのかな

状態と種類にもよるけど1080ならまだメルカリで4万円くらいで売れるから
58000円の3060買って12gbのvramで楽しもうぜ

>>737
動くよ。

>>739
環境にもよるんだろうけど、そのままじゃ動かなかったんだ
エラーメッセージがCUDA絡みっぽかったからCUDAとCUDNNのフォルダの中身を去年12月のに入れ替えたら動いた

>>712
顔抽出したファイルをGPENに掛けてもそのままではtrainで使えないけど
そこからもう1回顔抽出したら使えた

>>741
>>705 の添付テキストの7行目に書いてあることを実施して頂くとGPEN後の画像をそのまま使える筈ですので試してみて下さい

ちなみに save & restore は本来 data_src のための機能なので対象画像をdata_src\alignedに格納してbatを実行する必要がありますね

>>742
なるほどありがとう
GPENをよく分かってなくて、colabでデフォルトでやってるから、
元のJPGファイルからPNGができてるんだ
JPGで保存するように改造してみる

>>744
ごめんなさい
私自身はその後GPENの方はあまり触ってなくてColabの動作も変わってるかもですので不可解な点があればColab上のソースを覗いてみるといいかもですね

XnConvertとか使えば解像度変えずにすぐpngからjpgに変換できるから楽だよ

>>746
ありがとう
colabだからLinux版を動かすか、
ファイルをダウンロードしてWindows版で変換するかだね

744だけど、colabのGPENでjpgを出力する方法
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/GPEN_DFL_Colab.ipynb#scrollTo=0RF8vZUDL7Ma
「2) Simple settings」の後ろの方で.pngを.jpgに変更するだけだった（2ヵ所）
それと742でtrainに使えるはず

gtx1660で2.0って動くの？cudaが使えればいいのかな？

>>749
RTX3060でないと。

>>750
まだ完成させてないけど今トレーニング中なのでいけるみたい

>>750
まだ完成させてないけど今トレーニング中なのでいけるみたい