【超解像】画像拡大ソフト総合スレ7【waifu2x】

!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。
※人工知能による動画の処理を行うソフトは、他に適したスレがない場合使い方も含めこのスレで扱われる事もあります

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・Topaz Video Enhance AI (VEAI)
Topaz Labsによる豊富なAIモデルを用いて動画の超解像やノイズ除去、インターレース解除などが可能なソフト
※有償、ただし30日間のフリートライアル有
https://www.topazlabs.com/video-enhance-ai

・Flowframes
動画のフレーム補間を行えるソフト、複数のAIモデルを選べる、無料版は最新版より少し前のバージョン
最新版の配布はPatreonで月5ドル以上の支援者に対して行われている
https://nmkd.itch.io/flowframes

前スレ
【超解像】画像拡大ソフト総合スレ6【waifu2x】
http://egg.5ch.net/test/read.cgi/software/1615731336/

---

VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured

ノイズがあると表現しきれてない情報がノイズで隠れていると感じて脳内で都合よく補完するんだよね
ノイズがないとそういう絵だとストレートに受け取ってしまう
それで細かいディテールが足りないとのっぺりという違和感を感じてしまう

ノイズやグレインなんて現実世界の空気中には存在しないし肉眼でも見えないのに不思議なもんだね

映画やアニメは記録じゃなくて表現だから、出崎統のレンズフレア表現とかは、美しいものとして積極的にやってると思う。ま、ピン送りで視線誘導したり、望遠レンズでの圧縮構図、ワイドレンズによる開放感や不安感の表現など、レンズ起因の表現は、人間の目と世界が違って見える不完全さを逆手に取った表現として定着してるよね。

VEAI、ProRes 422HQで出力中に処理中止したら、そこまでの動画で残してくれるんだな
前はファイル消えてた記憶があるけど

あとフレーム補間久々に使ってみたら実装初期に比べて結構速くなってるのな、Chronos v2
まぁDaVinci Resolveでやるからあまり出番なさそうだけど、これProteusとChronos同時処理とかできるようになったらいいのにねぇ

基本120FPSのスロモで足りるけど
240ほしいときもやっぱあるな
4K120FPSの200％って相当重いな

m1でのtopazの変換速度のデータ出てるな

m1ノーマルで変換
元データは640×480
9分45秒
17000フレーム

アルテミスmq200%で34分の1フレーム0.125SEC
アルテミスhq400%で2時間の1フレーム0.5SEC

微妙なラインだな。m1で実高性能はrx480級の性能か、ならm1MAXで2-3倍のgtx1080TIや2060s程度のスコアか

20万するノートでこの性能は微妙だ。これがm1で6-9万、m1MAXで12-15万ならありなんだが

性能的にはgtx1660/6GBからrx5500xt8GBってところだろうな
これをノートで処理できるだけで、性能面では微妙だわ
GPUベンチでも1660並みの3050よりやや強いのがm1、2倍性能（1080TI並み）のベンチ性能しかない
fp16性能はm1MAXで10TFLOPSの1660程度とも言われてるんで、まぁそれがノート省エネってメリット以外ないわな

だめじゃないけど高すぎる。
論理的にはrx6400、Intelアルケミスト1024sp版のほうが性能高めって理論値だよ

m1の性能はfp16性能だけで見ればm1が5tflopsとrx480やryzen4700 u並み
m1MAXでも10TFLOPSしか出ない。低負荷では最適化で早いようだが、負荷かかると相対的に悪化しやすい模様

基本この手のGPU処理ソフトってfp16性能絶対の世界で、M1のfp16の弱さでは高速処理は雑魚
特に仕事で軽めの作業をいつでもって用途ならともかくガチ4k前提の編集ならm1シリーズだめだろうな

AppleはこれMacとかではOCしまくって課題クリアすべきだったよ。水冷やればメモリビット倍、GPU速度2倍くらいできたろうよ。それくらいしたら革命起きたよ

>>597-599
最適化次第だからねー
DaVinciでは3090級、Adobe製品では最新のRazer3080の1.5倍という結果だったぞ

ブレンダーで3090に負けてるけど
後全部打だいたいかってる＞M1 Max /Pro
とくに高解像度編集はヌルヌルでめっちゃいいって
ユニファイドメモリとかApple Fabric接続SSD
規格に乗らないでいいから強いわな

ニッチでコアなゲーマー市場入らず

子供撮ってるパパママ層
YoutubeやTiktok層　
自社カメラ　
オリコンでのFCP開発とそれに合わせたハード　

そうすると影響量が強いやつでてきてAppleかってに売れる

ジミヘンのストラトみたいになる　

>>601
https://mevius.5ch.net/test/read.cgi/cg/1636942953/540
BlenderのM1 Max /Proベンチでよかったのはビューポート表示だけで実際のレイトレーシングレンダリング速度はNVIDIA勢と比較した場合論外という結果なんだが。。。

Apple信者は毎度盛ってくるから話半分程度に聞いておいたほうがいい、はほんまやな

手持ちマシンで1080p to 2160p（Artemis HQ）を試した

GTX1080tiのデスクトップPC - 1.1sec/frame
M1Proの16インチMBP - 0.6sec/frame

思ったよりM1早い
でも早い云々より負荷かけても全く発熱しないのがむしろ気持ち悪い

なんでみなArtemisでベンチやるんだ？
一番ホットなProteusはどうなのよ？

まぁVEAIは3DCGに求めるような物理コアが必要ない分、RTXだろうがM1だろうがそれほどかけ離れないだろうけど

>>605
Proでそんなに速いのか、すげーなM1

>>605
M1はワッパも抜群にいいんだろうな

>>606
グラフィックの処理性能だけを計るなら実はGaiaが一番良い、CPU依存度が最も低い(後はまあ一応、Theiaも…)
逆にProteusやArtemisはCPU性能とか他の部分の影響も高めで、そのPCのトータルでの総合力勝負になる
だからちゃんと比較するならグラボ以外も含めた詳細なスペック情報の提供必須
特にProteusはソースやパラメータの違いによって振舞いも変わるから、仕上がりのクオリティはいいけどベンチ目的となるとだいぶ不向き

夜中動かしといてもうるさくないのがm1の利点

光る林檎が復活するまで買わんけどな（震え声）

>>609
GIGAはもうディスコンになってるし、一番使われてるAI選ばなきゃ意味ないじゃん
ベンチマークを競ってるんじゃなくて実用的な速度が知りたいんだし

Apple信者にはGTX1080tiがいつの時代の製品なのかもわかっていないようだ

まぁ本音を言うとVEAIにおいては、M1がNvidia製品より速い結果になっても、あり得ない事ではないと思ってるよ
なぜならVEAIでどのモデルを選ぼうが処理にハード性能を100％使っていないからね
Windows環境ですら最適化できてないんだよ

文句があるならお前が自腹でベンチ取れよ
死んどけカス

あ、キレちゃった？ なんでAltemisなのって聞いただけなんだけどなー
まぁどうでもいいけど

ただこのスレ見てて、ハードウェアレイトレーシングをサポートしていないM1がBlenderでNvidia（Optix）に勝ったは流石に盛りすぎでしょって思ったまで

最適化されてないBlenderには負けるって話したんだが

まーVRAMをPCIe規格の接続でやり取りしてる時点で無駄だわな

>>615
どした。お腹へってるの？

ベンチ好きがいるなら
ローカルベンチ作る？　

そこまでユーザーいんのかよって思うが　

>>617
その話題のやり取りでズレた奴居るなーと思ってたけど案の定だったね
機械に変な感情でも持ってるんだろか

M1はワットあたりのパフォーマンスが優れてるんだからそれだけで価値があるわ

超解像処理を外出先でかけることなんてまずないし、省電力に魅力は感じない
そして、超解像処理に最適化されてないなら更にどうでもいい

速さを求めるなら家でグラボぶん回せば良い

電気代をワッパでペイできるまでに掛かる追加のコストを考えると現時点ではわざわざその為に選択する意味はないよね

MSもクワラルコムと協力してM1越えのarmベースのチップ作ってるしarm版Windows11ではx64エミュもバッチリだからワッパも時間の問題だよ

ワッパ考え出すとGPUもRAMもCPUに統合した方がレイテンシが抑えられるし良いねとなるから合理的だとは思うけど自作派としてはあまり好きではないなぁ…
あとM1-Macの速さはそういった1チップ前提でコンパイルたプログラムによりメモリの参照回数を減らしている事にも由来すると聞くし、旧来のノイマン型を前提としているであろうOSからそんなすぐに肉薄するもの作れんのかってのは思う(うろ覚えなので間違いだったらすまん)

>>616が言うようにまずはVEAIがハード性能引き出す事のほうが先決
Proteus v3使ってもCPU、GPU共に半分ぐらい余力残してるのはソフトウェア側にボトルネックがあるんじゃないかな

静音でワッパよくてノーパソでガンガン強力に動くってコンセプト自体はロマン溢れるな

ソフトの対応率等が上がったらなぁ

そういやMac環境だとCPU使用率ってどのくらいなんだろ？

>>626
そもそもノイマン型のOSとソフトウェアでメニーコアに対応しているのが凄いと思うぞｗ
XEONなら72物理コア144スレッドとか自宅で実現できるし

>>627
WIN周辺の枯れた技術に最適化の余白なんか無いぞ

Davinciのアップスケーリングのシャープネスとノイズ除去の低中高の組み合わせのベストマッチがまるで分からない
分かったのは高高だとノイズ発生しまくるからハズレって事だけ

>>631
言ってる意味がわからん
ニューラルエンジンが枯れた技術なのかい？

メモリ帯域が足りないからcpu/gpu遊んでるんじゃないの
そうならんようにしろよというのはわかる

>>634
3090のGDDR6X Bandwidthは1TB/sだけど、それで足りないってどんなアプリだよ・・・

>>633
そら世代を重ねるほど枯れる
M1は最新のハード設計とアーキだからAdobeが1世代アプデしただけで1.5倍とかになる
WINはどう最適化しても精々1.05倍
つかおまえら3090とかちゃんと持ってるんだよね？

ちなみにCUDAアプリはちゃんとCPU100％GPU100％使うし、DirectXのゲームで例えば5年前の古いゲームをオーバースペックで動かしてもGPUは100％使う。 これが正常な状態。

>>636
それって貴方がそう思ってるだけですよね？
なんかソースとかあるんですか？

ソーっスね………

>>638
馬鹿なくせに偉そうなおまえが頭下げるならソース持ってくるけどどうする？

真剣に質問した俺が馬鹿だった
もういいよ

>>640
しゅ、しゅみましぇんでしたぁ………m(_ _)m

>>641
自演野郎にしては素直だな

3070でのGPU使用率を比較したとき、Waifu2x:55％、VEAI proteus:5％だな
VEAIのモデルが並列化出来ないとかの制約があるのかもしれんが、まあ、そこは有識者が頑張ってくれるさ

で、ハードのアーキテクチャがなんだって？w

M1 Proはちゃんとハード性能活かして処理してるみたい
古い屍に捕らわれないから、コードも書きやすいんだろうな
しかもまだまだ伸びしろあるってんだがら驚き
たぶん来年とかもっと面白いことになってるよ

つまり今は時期が悪い

ある程度ならライブラリが最適化してくれるんだろうが自力で最適化まで考えたGPUのコードってマジで意味不明だからな…
SIMDどうとかの比じゃ無いほどレジスタやメモリなどの低レベルな処理考えて書かなきゃCPUにも負けるし解説が宇宙語に感じるレベル、一般のコーダーじゃとてもじゃ無いけど最適な実装はできないと思う。

一般のコーダーはまずGPGPU実装自体無理
一部の優秀なプログラマだけが動くGPUプログラムを書ける
その中で努力と才能を兼ね添えた天才だけが最適な実装ができる

関係ありそうなスレ立ってた

フレーム補間可能なソフトウェア総合
https://egg.5ch.net/test/read.cgi/software/1639192385/

フレーム補間の専スレ建ったのか、いいね
むしろ今まで無かったのが不思議だ

どうやら経緯としてはSVP4スレで非リアルタイム補間のRIFEやDaVinci Resolveの話題がよく出るようになってきて
それに対して非リアルタイムだしそもそもスレチだろという指摘が入るってのを何度か繰り返している内に
スレチの話題したいなら別スレ建てろと元々言われてたのもあってか
じゃフレーム補間の専スレ建ててみようかという機運が高まった結果専スレが出来た模様

ここは逆にVEAIスレと化してるが、まぁ現状ライバルソフトがないしな

なるほどなぁ。こっちはアプスケを主に取り扱うって感じですかね
一晩弄り倒したがDavinciのスーパースケールのシャープネス高は全く使えん。主線周りにノイズがバンバンでるからノイズ除去をどうやっても抑えきれないわ

DaVinci Resolveのリファレンスガイドにその辺の解説乗ってるよ
高は同時にグレインとノイズもシャープになるので、そこでノイズ処理しちゃうと今度はこのエフェクト自体が目立たなくなるってさ
基本、低か中使うみたい

どちらにせよスーパースケールはニューラルエンジン使ったものじゃないのでアプコンとしては正直あまり使えないと思うけどね
突発的にオリジナル解像度以上にクリップを拡大する時なんかに使うものだし

つうか１枚モノの画像ファイルから精密に拡大するのっていくらAIでもかなり無理があるよ
人物だと顔がどうしても変になる
特定人物の顔写真を何10枚も用意して学習させるって言うなら別かもしれんが

それがVEAIじゃん

一般人の顔をいくら学習させても吉岡里帆を高画質化させるには足らんって事か
むしろ余計な成分が混じる可能性がある

>>657
そのとおり
手足は他人のモノでもそれほど差違を感じないが、顔は微妙な違いでも違和感感じるからなぁ

滑らかなスローモーション作る際に元が60fpsにしないとだめかとおもったけど割と25fpsとかでも凄い滑らかになるもんなんですね

>>654
おお、そうなんです勉強になるなぁ
…プラグインで入れたaviutlの方がアプコン後の線きれいじゃね？って感じてたがフリーソフトに遅れを取ると思いたくなかったから考えから排除してたってのが本音

>>511
AIでアップスケーリングとレンダリングを繰り返してるから
いわゆるゲーム用(アマチュア向け)より
プロ向けのが処理が全然高速という記事を見た気がするよ

AIもOpenCLベースらしいので演算にグラボメモリ重要
クアドロのRTX8000(48G)とか、RTX6000とか
RadeonPRO W6800とか速いらしいよ

VEAIのGPU使用率だけど、タスクマネージャだと3%位しか使ってないように見えるが、HWiNFOだと69〜100%で推移しとるよ(GPU core load読み）

>>655
顔がアップなら、近くの要素等からもってくることでかなり精密な顔になるけど

顔が小さい表示だと無い物から作らないといけないからね
しかし将来的にはやっぱその人の元の顔を学習させるオプションでも作れば
それでもいけるんだろうなぁ

aviutlは拡張x264でエンコしたい時だけ使ってるなぁ
DaVinci Resolveのh26x出力は早いけど業務用途だからか容量を小さくすることに関しては苦手だしね

VEAIはこの1、2年で物凄く進化したと思うよ
特にProteusモデルはブレイクスルーと言えるぐらいのクオリティ
しかもワークステーションじゃなく普通のPCで処理できちゃうのも凄い時代になったなぁと感心する

Real-ESRGAN V0.2.3.0 Release Note
https://github.com/xinntao/Real-ESRGAN/releases/tag/v0.2.3.0
We have added small models for anime videos

この手の技術って
職人気質のやつが時間かけて丁寧にやってたのが
人工知能のほうが綺麗にできるとか何なのって話

DeepfakeじゃないがAIカラーマッチングとか一式やってほしい

まだ、職人の方が上じゃないかな
ただ、費用対効果考えるとAIの方が上とかになるんじゃ

>>666
サンプルの動画見たけど
オリジナルのボケてるほうが何時間も見れる
エッジがキツキツで彩度がキツイのは15秒のCM向けだよな〜　

不気味の谷じゃないがmojoの感覚を持ってるのはProteusだな
それでもスレにでるような3D臭くなるって違和感あるが

つか、GANとかでリアルな顔生成してるのみるとあれは職人ではきついか

ビートルズFilmのリペア動画とか見てたら
職人の方が上かな
フィルムの良さを知ってるし　

昔にいつかリアルなエロ3DCGを自分のPCで簡単に動かせるようになる日が来ると思ってたが、まだ、全然こねぇよな
後どんだけハードとソフトの進歩必要なん?
RTX 3090の10倍ぐらい性能必要なのか??
全然見通しがたたん

VEAIの右上に表示されてるAIモデル一覧って消せないのかな
インターレース系とか使うことなしい邪魔なんでスッキリさせたい

Preferenceのモデルマネージャーでチェック外しても消えてくれない

>>672
リアルってだけならとっくに実現してると思うが
UnrealEngineのMetaHumanとか試した？

>>672
https://www.unrealengine.com/ja/metahuman-creator

最近公開されたMatrixのリアルタイムデモ映像もMetaHumanの技術使われてる
https://www.youtube.com/watch?v=WU0gvPcc3jQ&;t=170s

stalker2
https://www.youtube.com/watch?v=fdJgHlTUYek&;t=296s

最近、名前忘れたんだが、1枚の写真から顔のモデル作れるってやつ試して全然似てなくて投げ捨てた
Daz studioやVaMもまだまだ写実的でないし

metahunanは名前は知ってたけど試したことはないです

すげーな、アニメは今後360ｐで保存するわ。
100GBくらいNASが節約できるｗ

桁間違ってませんか
それっぽっち節約する意味が分からない

VEAIって一応RTXのTensorコアサポートしてたのか
今のところほとんど活かせてないようだけど

何をもってして活かせてないと？

一応どころかDirectMLへの移行でtensor coreガッツリ使うようになってるよ
Cuda使わなくなってtensor core使うようになった結果、APIだかライブラリだかの問題でむしろGTXでのパフォーマンスが落ちてるとか

metahumanすげーな
ただ自分の持ってる画像から似せられないからもてあます

>>681
アニオタではないんだ。実写映画派。

VEAI x264出力なんだけどさ
exeをバイナリエディタで開いて、ultrafastで文字列検索→ffmpegのコマンドがベタ書きで書いてあるのでlibx264→libx265 ultrafast→veryfastみたいにする事でエンコーダとプリセット程度なら好きに書き換えられた(スペース狭いのでそんなには書けない)
また出力物をmediainfoなどで調べたが、問題なかった。
ffmpegはインストール時にかなり古いのが入っててすぐ入れ替えてたからエンコーダを変更する場合は他から拾ってくる必要があるかもしれない。
ブラックフライデー$85組だけどホント安過ぎるぐらい使えるようになって嬉しいwww

しかし今時x264 ultrafastなんて誰得なんだ?
100倍以上時間掛けて高画質化したものをそれこそmpeg2彷彿させるほど圧縮率悪いもので出力するとかさ…

優れた人間も全ての界隈で特化しているわけじゃないってことだなあ

mac ユーザーなら ffmepg を適当なスクリプトに変えておけば自由に後処理ができるってことか
Windowsの人でも ffmepg.exe を作れる何かでやればokか

VEAIで、肌のトーン明るめな美白の動画やってみたり
白色のモノとか色トーン微妙に変わるよな…コレ

コントラスト上がってるっていうか赤みが抜けて
黄色っぽい動画になるっていうか暗い感じというか…