5ちゃんねる⇒ソフトウェア@5ch掲示板
設定
ダークモード
広告表示
画像・外部リンク

UPLIFT会員は外部リンクへ直接移動します。確認は初期設定でオンです。

機能のオン・オフ

このブラウザ・このサーバーのみ。オフにしても保存済みデータは残ります。

UPLIFT

1002コメント320KB

【質問】dfl【その4】

■ このスレッドは過去ログ倉庫に格納されています
垢版
返信 [2]
DeepFaceLab(以下、DFL)の質問&回答スレです

・質問について
日進月歩、モデルやオプションが多様化しているにもかかわらず、局所的な意見が散見されます。
必要に応じて自分の使ってるソフトやモデル、パラメータ等の詳細も書きましょう。

・エラーについて
エラーが出て解決できない場合は、なるべく詳細な情報(環境やどうしてそうなったか)を書きましょう。
特にエラー文は1番のヒントです。ググれば解決することも多いです。自分で解決できない場合はログを全文コピペしましょう。

・ソフトはどれ使えばいい?
利用者が多く情報が多いのはDFL。FSも英語圏では情報が得やすい。他は更新していない。

・必要スペックは?
VRAM容量6GB〜が推奨スペック。GPU性能は高い程いい。

・RTXシリーズでも動くの?
FS、DFL共に動く。

【質問】dfl【その3】
https://egg.5ch.net/test/read.cgi/software/1607860934/
垢版
もうそれならpretrainしないでsrcですぐ始めても良いんじゃないの
正直大して変わらんよ
垢版
返信 [1]
いや最新版のDFLはもう普通にやったら100%本人作れるから余計な事しないでも大丈夫
pretrainもそんなに頑張らなくていい
とりあえず初心者は解像度128とかかなり低めにしてDSTと同じ角度のSRC揃えてLAIE-UDやってランダムワープonにしておけば半分はok
128でもしっかり似る
解像度256とかでやったら残りの半分の技術覚えるのに時間かかりすぎる
垢版
返信 [1]
残り半分の技術が気になる
垢版
返信 [1]
眉の太さを変えられるライブラリみたいのないですかねえ
垢版
返信 [3]
眉は捨ててるな
垢版
返信 [2]
眉は普通にsrc素材の使ってるぞ
素材の前髪が邪魔になるけどX-segで削ってる
垢版
スマホの動画加工アプリで輪郭変えたり目鼻口の大きさ変えたりdfとの相性凄いよ
pcでも作って欲しいレベル
垢版
返信 [2]
>>74
srcの輪郭を使いたいときに眉も使わざるをえないので
erode maskの領域が選べればいいのですが

>>75
srcの動画が古いと眉が時代遅れの細繭だったりするので
現代風にしたいんですよね
ちなみに類似の悩みでdstの髪の色ってのもあるのですが
それはできそうな情報があったのでこれからやってみるところです
垢版
>>77
dstの髪の色をあらかじめ変更できる方法があるなら教えて欲しいです。
垢版
返信 [1]
>>77
X-segで輪郭を点描していくときに
眉の下を通すか通さないかで
srcの眉を使うかdstの眉を使うか
選択が可能なわけだから
それじゃ駄目なの?
垢版
前髪ごと変換すればいいのに
垢版
返信 [3]
X-segで眉は除外設定→眉はDSTのをそのまま
同様に髪型まで変換設定→髪色・質はSRCのをスワップでいけるだろ
眉は試したことないけど汁除外する方法で普通に行けるはず
垢版
笛やキス作品を作場合って、

5.XSeg) data_dst mask - editで対象物を全てマスクしないといけないの?
垢版
dstの枚数によるけど10枚くらいマスクしてトレーニングしてアプライしたら大体全部にマスクかかるから
後はマスクずれてるところをもっかいマスクしてトレーニングしてアプライ
垢版
返信 [4]
headでやる場合はsrcのほうが髪にボリュームある場合、それを考慮して
dst側もある程度広めにマスク取ったほうが自然になりますか?
垢版
たまにぶっかけ系の動画とかあるけど、あれできたらすごいなあ。
ぶっかけと非ぶっかけにモデルを分けて、ぶっかけの奴はscrでほぼ肌はマスクをかけるとかそういう技になるのかな。
VRはできたけど、ぶっかけの作り方書いてないからよくわからない。
ここみろ、とかないですか?
垢版
headでボリュームある髪は上手く出来た事ないな
動くとおかしくなる
垢版
返信 [1]
>>84
dstの髪はきっちり実物通りにマスクするのが基本
じゃないと完成時に髪型の外枠がぐにゃぐにゃ動くからね

だから普通はdstの髪型の範囲までしかsrcの髪型はSWAPできないからDSTとSRCは大体同じ髪型だとうまくいく
それでも髪質やらが反映される分いっきに似る
垢版
返信 [4]
>>87
頭頂部から顎まで顔全体を丸くマスクするだけで顔全体をSwapしてくれる。
髪の色がDSTとSRCで違わない限りこれでOKだよ。
垢版
返信 [1]
>>88
srcとdstが同じ黒髪でも色味が全然違ったりして馴染みづらい気がする
単なるトレイン不足かもしれんけど
垢版
>>88
やってみたけどうまく使えるやつなら使えそうだった
垢版
faceset extractでsrcは写真サイズ高めでdstは低めにしたら何か支障でます?
垢版
返信 [2]
>>88
src側だけマスクでいけます?
髪型含めそっくりそのまま頭部入れ替えるのは
難しいですよね
垢版
返信 [1]
2070Sから3060に買い替えて、ソフトも違うのになるからモデルも作り直したが、trainの解像度をあげれたというより、scrの解像度を上げて、元の参照データのレベルが上がったほうが効果あったのかな。
別次元のになってすごく満足している。
垢版
色々実験しても結果が共有出来ないのが辛いな。自分で全部検証するのは辛すぎる。
TwitterでもDiscordでもいいから共有スペース作って欲しい。
垢版
ほんとそれ。
垢版
>>93
3060でsrcフェイスセット完璧な条件で作れるなら完コピ可能だからね
垢版
色んな条件があるからどれをどうしろというのがはっきり決まらないのだろうけど、
scrの画質をいいものにして、解像度を高めにするというのは、このスレで指摘されていたけど、
俺はいろんな表情で角度のものが一番重要だと思っていたけど、自分にとっては高解像度のscrを用意するのが一番必要なことだったわ。
垢版
返信 [1]
高解像度ってどれぐらいなのよ
垢版
今回は解像度は768
よくわからんのだけど、margeの解像度が384でやったから、倍ぐらいでいいのかあと思って。
垢版
resolutionよりae dims上げた方が良いような気もする
表情やら目線が自然な感じ
垢版
返信 [1]
画質だけで言うと数値変えて大きく影響するのはモデルresだけど
srcとdstのaligned解像度だけ変えて他の条件を全く同じにした場合どのくらい画質に影響するか実際に比較した人いる?

海外でもよく意見が分かれてるけど
WFとかHeadで顔抽出すると顔以外の余白部分がかなり多いから
モデルres 384の場合でもalignedの解像度は512とかそれ以上必要になるよね?
垢版
res384て…
そんなに上げられるものなの?
302とか288でやってるな
RTX3060で
垢版
返信 [1]
余白の話が出たので情報共有

extractした時のフェイス部分の大きさ位置変更
■LandmarksProcessor.py
・214行目 顔の大きさ 数字が小さいほど大きくなる
FaceType.WHOLE_FACE: (0.40, False),
FaceType.HEAD: (0.70, False),

・302行目 wfの顔位置 数字が小さいほど上に行く
g_c += vec*vec_len*0.07

・323行目 headの顔位置 同上
g_c += vvec*vvec_len*0.50

調整する際の注意点は横顔抽出のときにアゴ部分が切れないようにする
俺は head 0.40 0.10 でやってるけどデコマユ切ってる人はもっと大きくできる
変更後の抽出した画像はloss値が上がる
難点はMVEでのextractが初期値の顔の大きさになってしまうこと
垢版
返信 [2]
>103
その設定ならほぼwfのデフォルトと同じでは?互換性捨ててまでやることじゃないと思う。
headは髪のボリュームあると上手くいかないし、日本のアイドルは前髪まで含めておけば、本人っぽくはなるし両津問題で困ること無くなるし、wfで十分と思ってる。
垢版
返信 [1]
>>104
同じ数値にしてもwfとhaedのextractは異なるものが抽出されるのと
そもそもランドマークの扱いが違うので内部データが異なる全く別物になります
headの3Dでのextractが画角に強いのと仕上がりが好みなので俺はheadを選択してるのね
垢版
返信 [1]
すみません互換性の部分が良く分からなかったけど
modelのfacetypeはheadでの話をしてました
垢版
>>106
確かにheadは画角に強いですよね〜
マスクをどこからどこにすれば良いかが難しい…
垢版
返信 [1]
>>103
聞きたかったのはaligned resを変えた場合の画質の変化だったが
そんなことよりもその情報を知ってるってことはもしかしてloss functionにMS-SSIM+L1とか使えるようにしてる?
何の事か分からなかったらスルーで良いんだけど
自分でも今実験しててSSIMもしくはMS-SSIMと比べてどこまで顔に差が出るか知りたいんだよね
垢版
srcは髪型のシルエットから顎までしっかりマスクやって
dstは顎あたりしっかりやって頭部広めにキノコ型にマスクすると
結構よかったです。dstはポニーテールで
垢版
srcが常に同じ髪型してるわけじゃないから大変そう
垢版
返信 [1]
>103
そういう事か。余白が理由じゃないんですね。勉強になります。
もしかして、3Dextract でwfのフォーマットで書き出すように出来たりする?画角に強いwfの書き出しが出来るなら嬉しいんだけど。
垢版
みんなwfなのか
俺はいまだにfなんすけど
垢版
おれもfっすw
垢版
返信 [1]
udとudtはどうなん?udtはなんかdst寄りになってる気がする
垢版
返信 [3]
fの人は雰囲気出てればいっかぁって人でしょ

ガチ勢はwf一択
垢版
fとかwfってscrとモデルとdstにそれぞれあると思うけど、やっぱり同じもの同士合わせないといけないの?
最初にやってるdstとか使いまわしするんでfにしないといけないからという感じもあるんだけど。
垢版
俺も3年ほど作ってるけどfだな
wfあんまり役に立たない
垢版
返信 [1]
>>114
liaeはDSTの顔の角度がSRCにないとそうなるよ
dfだとクリーチャーになる
あとは単純にtrainが不十分
loss値が0.1あたりまで下がると一気に似てくる
垢版
自分はwf派
眉下で切ったりするならffで十分。狭い方が安定するし、解像度も高くなる。かなり素材の相性が必要だけど。
wfでちゃんと再現出来るなら広範囲変換した方が似るのは当然。輪郭や前髪まで含めれば特に。色合わせ適当でも目立たないし、上向いた時に顎下まで範囲に含めれば、お面っぽさも減る。
前髪は多少チラつくからそれが許せるかにもよるし、輪郭と障害物同時にこなすは難しいから、何を求めるかで違うんじゃないかな。
垢版
電気代がヤバかったので一旦引退します笑
2万/月ほど乗ってる
垢版
もしsrcの正面の画像をたけしで揃えて
左向きの顔は全部さんま
右向きの顔は全部紳助
で揃えたら右向くと紳助になって左向くとさんまで正面向いてるときはたけしの
阿修羅みたいな奴ができるん?
垢版
返信 [1]
エロくないのは却下
垢版
mergeして動画にすると顔にちらつきが
見られるのってtrain不足ですかね?
同じ位の動画時間で同じtrain時間でも
ちらつかないのも出来たりするので
謎です
ランドマークが乱れている時のちらつきとは
明らかに違います
垢版
顔のextractがちゃんと出来てないとか
垢版
返信 [1]
ほぼ正面のなんてことないシーンなのにチラつく動画が出来上がることは、まれにあるね
カラーモードを変えてtrainを続けてみるなどのテストはしてないので、打開策があるのか私には分からん
対処法があるなら、教えて欲しいです
垢版
返信 [1]
rctでチラついたらmkl-mにするとかぐらいかな
垢版
ありがとうございます
カラーはいつもrctでやっています
一番無難な選択としてやっていたのですが
他も試してどう変化がでるかやってみます
垢版
返信 [1]
一番効率の良いTrainの設定ってどんな感じでしょうか?
バッチ増やすとiter遅くなるような気がします。
3090でやってます。今バッチ16で0.55ms位です。
垢版
返信 [1]
最初4ぐらいの小さめで、整ってきたらバッチギリギリまで上げるのが基本
垢版
返信 [2]
>>129
有難うございます。ずっとバッチ16で最初からやってました。
次回言われたようにやってみますね!
垢版
返信 [1]
自分も最初からずっと16でやってた...
単に並列処理数が多くて効率的ぐらいに思ってたけど違ったのか
垢版
xsegのトレーニングはどれくらいやたほうがいいですか?
垢版
プレビューでマスク範囲内の影がなくなるまで
垢版
返信 [2]
1iterの学習時間/バッチサイズが最小になる設定が一番効率いいのかと思ってた
垢版
髪で顔が覆われたdstのaligned素材を一旦別ファイルに移動させて(正確には切り取り→貼り付け)trainし、merge前にdstのalignedフォルダに戻したのですが、merge時に画像が見つからないとなりました。

原因がよく分からないのですが、なぜでしょうか?

train、mergeはQuick96でやりました。
垢版
返信 [1]
移動の仕方が何か違うのかもね
ただのjpgファイルに見えるけど、ただのjpgじゃないからね
垢版
返信 [1]
フォルダ名や位置を間違える、ソートして元に戻さすやっちゃってたとかそういう凡ミスが経験上多い
垢版
返信 [2]
VRAM12GBの3060と10GBの3080だと
前者のほうが処理はやいですか?
垢版
返信 [1]
はやいかもね
でもDFでは普通はVRAMが少しでも多い方を買う
垢版
全く同じ設定にして比較してるのを見たけど3060が600msで3090が300msくらいだったから
3060よりも3080の方が処理は早いけどそこまで変わるわけじゃないし
3060なら3080よりもバッチ、解像度、dims上げられるし価格も考えて3060が圧勝
というか秋に出る4070でさえ3090以上の性能らしいから3080は論外
垢版
返信 [1]
まだしばらく2060superでがんばる
垢版
loss値が下がらなくなるまでという説明が良くあるけど、random warpをyからnに切り替えるタイミングで
0.001でも下がり続けてたらyで続行すべき?
そのあたりの見極めが出来なくてモヤモヤしてます。
垢版
返信 [3]
プレビューの見栄えにもよるけど25分毎のlossの履歴見て3回連続で0.001ずつ位しか下がってない時は
大きく変化することは無いからそうなったら設定変えてるな

素材によって損失の低下速度も変わるから多少タイミングも変えるが
大体最初はRW+UYだけONでsrc lossが0.35位まで行ったらRW+UY+LRD ONにして
srcが0.25位まで行ったらRW切ってUY+LRDオンリーで0.15とかになったら終わらせてる
垢版
>>143
コメント有難うございます。
自分がやってた事と大きく違ってなかったので安心しました。
各オプションを有効・無効にするタイミング間違えた事で結果が変わって何度無駄なトレーニングをした事か、、、
悩ましいけど段々良くなってるような気がしてて楽しいから続けられる。
垢版
返信 [2]
>>143
RWとLRDを両方オンにしたことないのですが、うまく学習は進みますか?
垢版
返信 [1]
>>145
DFLの開発者も深層学習に詳しい人達もRW→RW+LRD→LRDの工程を推奨してるし
この方法でsrcと同じクオリティの顔が最終的に作れてるから最適だと思う
現状どんな結果なのか分からないし元の素材が悪かったらどうしようもないけど
同じ様なタイミングで進めていけば今よりも良くなるかもね
垢版
>>136
>>137
返信ありがとうございます。
ネットで調べたところ、no face foundと表示された箇所は、aligned_debugのランドマークが上手くいってない部分でした。
MANUAL RE-EXTRACT DELETED ALIGNED_DEBUGでいじってみます。
垢版
眉のマスクについて、眉下をマスクしてmergeした際に前髪が二重になります(dst の前髪の下にprdの前髪がある)

�@マスクをする際はsrc、dst 共に眉下の縁ギリギリを実線でなぞっているのですが、この認識であっているのでしょうか?

�Aそもそもsrcの眉を上手く使う方法はないのか?

�B片眉にのみ前髪がかかっている場合、実線で眉の高さをある程度揃えて、前髪部分だけ点線で除外した方がいいのか?それとも実線だけで前髪に沿って線を引けばいいのか?
垢版
返信 [2]
マスクはdstだけで良いと思います
それでX-seg trainをするとdstとsrc両方
読み込んでくれdstのマスクをsrcに対しても
あてがって学習してくれているみたいですね
垢版
dstだけのxseg trainってできないのかね
srcはさんざんtrainしてるのに
垢版
srcフォルダどこかへ移動させて試してみるとか
エラー起こるかな?
垢版
返信 [1]
できるよ
srcのalignedフォルダの名前適当に変えてやればdstだけで始まる
垢版
返信 [4]
xsegの汎用で当てた後はみ出してたりするのを修正するのは一番左上ので輪郭を
いったんもう一度規定してやらないとだめなんですかね?
点線の方の部分的に消す方だけやっても直したことにはならないんですか?
文章だとわかりにくいんでこれでは修正したことにならないんですか?↓
https://imgur.com/a/K3TGLcj
垢版
返信 [1]
>>149
なるほど
YouTubeでチュートリアル見ても、srcの方へもマスクしてたので、必須かと思ってました
今後dst のみでやってみます

ところでそうなるとsrcのマスクはどういう時に使うんですかね?
垢版
返信 [1]
>>153
面倒くさいけど適応させる顔の部分を全部囲ってやらないとダメ
その例だとそんな大変でもないと思うけど
垢版
srcのマスクって私はしたことないですね
不必要な物の除去に使えそうですが
そういうのはtrain時に認識しませんし
そもそも除外します
垢版
マスクしないと必要のない部分も学習しちゃってloss値が下がらなくなるからだな
垢版
棒を舐めたいとする
そうするとSRCでバナナ食ってるやつとかを用意する必要がある
ここでx-segちゃんとやらないとバナナを口と学習してしまって棒なめてる時にバナナが出てくる
垢版
返信 [2]
顔にちょっと手とかがかかってるのとかも除外するほど完成度が上がるんだよな
垢版
返信 [1]
バナナの例えがわかりにくいよ
笛はdstの方にマスクすればsrcのバナナも隠れるだろうし
垢版
返信 [2]
>>153
最初、障害物だけ囲めばいいじゃーんってやって何も起こらないやつな
顔全体も実線ポリゴンで指定しとかないと適用されない
垢版
大口開けてるsrc画像欲しくておにぎりかぶりついてる
画像使っているんだけど
マスクしたほうが効率は良かったんですね
いまからでもやろうかなぁ
垢版
返信 [1]
今まで、新しいの作るたびに、clear workspaceでワークスペースを空にしてました
過去スレ見てたら下のようなレスがあったのですが、一番最後の文を見る限り、
真新しいのを作る際はdata_dstとdata_srcのフォルダを削除して、modelフォルダは残しといた方が良いってことですかね?




296 /名無しさん[1-30].jpg 2019/08/19(月) 21:35:35 ID:
モデルの流用はmodeLフォルダの
上書きのことなのでしょうか。

297 /名無しさん[1-30].jpg 2019/08/19(月) 21:54:03 ID:
>>287
あれ、なんだろうね?
H128でも時々おかしなことになる。
やんごとなき御方が片方だけブルーのカラコンに。ビッチにもほどがある。
>>296
ModelデータはAligneと独立してるから
Dstの出力用画像がまるっぽ入れ替わっても同一人物なら無問題。
Src/Dst共に新人物にする場合でも、流用Modelデータは「人の顔」を学習済だから
新規の数十分の1のトレインで済むって寸法。
垢版
Mergeする時に、core9-9900の時には全コア使ってるんだけど、core7-12700の時にはコアを4つぐらいしか使ってない
なのでだいぶ時間に差が出るんだけどバグなんかな?
これが普通?
垢版
CPUが新しすぎて対応してないんじゃ
垢版
返信 [1]
11世代では問題無かったけどMSI Z690と12世代 i9に変えたらトレーニング開始15分で停止するようになったって人がいたけどBIOSアップデートしたら直ったってよ
俺は使ってないから分からんけどマイクロコードの更新で12世代から分かれたEコアとPコアのcpuスケジューリングの処理が改善されたからみたい
他のマザボも多分同じように更新来てるだろうからアプデしたら直るかもね
12世代はwin11に最適化されてるって事も言及してるからwin11も必要かも
垢版
みなさんありがとう
やっぱCPUうまく動いてないのかなあ
Bios、OSのせいもあるんかもしれないけどDFL自体去年のが最新版だから対応してないんかなあ
12世代で全CPUちゃんと動いてるよっていう人がいたら教えてください
垢版
Eコア無効にして動かしてみれば
垢版
Windows11にしたら全コア動き始めた
12世代の人はアップデートしないといけないな
垢版
返信 [1]
srcの前髪使いたい場合はxsegでsrcとdst の前髪まるごとmaskすればいいのかな?
maskのコツとかある?
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況