【レンダラー】NVIDIA、2D画像から3Dモデルを作るAIを開発[12/17]　

2019.12.17 12:30
https://www.gizmodo.jp/2019/12/nvidia-taught-an-ai-to-instantly-generate-fully-texture.html
https://assets.media-platform.com/gizmodo/dist/images/2019/12/11/191211_nvidia-w1280.jpg

AIが見えない部分を補って生成。

何かしら物体を描いたスケッチや写真を、リアルな3Dモデルに変換して3Dプリンタで印刷したり、テレビゲームで動かしたり、視覚効果を用いて動画に生命を吹き込むには、大量の画像をもとに作業するデジタル・モデリングの技術をもつ人材が必要になります。

ですがNVIDIAはニューラル・ネットワークを訓練して、たった1枚の写真から完全なテクスチャーを持つ3Dモデルを生成することに成功しました。
似た技術は以前からあった

以前にも、3Dモデルを自動生成する似たような技術を見たことがありますが、正確な結果を得るためには、さまざまな角度から撮影した写真がたくさん必要だったり、ソフトウェアに画像内の特定のオブジェクトの寸法や形状を理解させるべく、人間のユーザーが数値を入力したりする必要がありました。

いずれの手法でも、問題対処へのアプローチが間違っているわけではありませんが、もっとカンタンに3Dモデリングができるようになるのは大歓迎です。そうすれば、高度なスキルを持たないユーザーにとっても、幅広い層が使えるようになるツールを利用できるようになりますから。ただ、それがソフトの潜在的な用途を制限してしまうこともあります。

NVIDIAが論文を発表

カナダのブリティッシュコロンビア州バンクーバーで開催される、｢神経情報処理システム｣年次会議で、NVIDIAの研究者たちが新しい論文｢Learning to Predict 3D Objects with an Interpolation-Based Renderer｣（内挿ベースのレンダラーで3Dオブジェクトを予測する方法を学ぶ）を発表しました。
https://nv-tlabs.github.io/DIB-R/files/diff_shader.pdf

そこには、新しいグラフィック・ツール｢Differential interpolation-based renderer｣（微分可能関数内挿をベースにしたレンダラー）、略してDIB-Rの開発について詳細が記載されています。

DIB-Rの使い方

NVIDIAの研究者らは、複数のデータセット上でDIB-Rのニューラル・ネットワークを訓練しました。そこには、以前に3Dモデルへと変換された写真、複数の角度から提示された3Dモデル、複数の角度から特定の被写体に焦点を合わせた写真のセットなどがあります。

たとえば、鳥のような特定の被写体を2Dから3Dにする方法について、ニューラル・ネットワークを訓練するのにはおおよそ2日かかります。ですが一旦完成すれば、これまでに分析されたことのない2D写真に基づく3Dモデルを、100ミリ秒以内に量産できるのだそうです。
https://assets.media-platform.com/gizmodo/dist/images/2019/12/11/191211_nvidia2-w1280.png

応用範囲が広そう

この驚くべき処理速度が、このツールを特に興味深いものにしています。

なぜなら、ロボットや自律走行車のような機械が、眼前にあるものを認識して3D的に理解する方法が大幅に改善される可能性を秘めているからです。

たとえば、自律走行車がカメラで撮っている映像から生成した静止画像を、瞬時に3Dモデルに変換し、今から回避するべき大型トラックのサイズを正確に計測したり、ロボットが予定された形状に基づいてランダムな物体を適切に拾う方法を予測したりできるようになります。
凄まじい処理能力が監視社会を加速させるかも？

またDIB-Rは、瞬時に生成される3Dモデルが視界の中を移動する人物の画像照合を容易にするため、人物の識別と追跡を行う監視カメラの性能を向上させることもできそうです。

新しい技術はクールなものですが、この場合は監視社会を加速させる可能性を秘めた、恐ろしい面も持ち合わせているということは知っておきましょう。

Source: NVIDIA, NeurIPS | 2019,GitHub
https://blogs.nvidia.com/blog/2019/12/09/neurips-research-3d/
https://nips.cc/
https://nv-tlabs.github.io/DIB-R/files/diff_shader.pdf

ﾆﾀﾞｰﾙ

マリオでやってみて

しょぼいな

キュビズムの絵画を

３Ｄにしてくれ

http://www.94d.tarpat.com/1576592642

AIでやったというところがミソなのかもな
高度化すればもっと精度を高められる

AIでとりあえず作ってもらって、人間が修正すれば
楽にモデリングができるな
この研究は有望
人間や家具とかいろんな方面に広げてくれ

変換で遊ぶのが主流になるかな
音楽→形（データ関数）
形→(データ関数)→音楽
見たいな計算力とAI使った
モンスターパソコンの使い道
モーツァルト復活が近いよなw

>>7
なんともあやふやで気持ち悪い感じがするがもう人間が計算できる世界は全て計算しつくされて
今はこういう結果が確定的ではない技術が流行りなんだろうな
自分はもう古い人間なのだと痛感する

2D画像-3Dオブジェクト間で訓練・学習させたデータで認識し特定した3Dオブジェクトにテクスチャを貼ったといったところか。
これを更に推し進めてキャラの口や目パチなどもさせると↓になるわけやね。
https://gigazine.net/news/20191205-vtuber-google-engineer/

月の裏側を描かせることはできまい。

AIでモデリングの線の流れを整えてくれる機能のほうがいいな

どこかのアプリであったような気がする

くちばしの形が酷く違ってるな。やり直し。

AIはどこまでいくのだろうか、
こういうのってプログラムの延長じゃ想像できなかった分野だな

学習による以上、人の推測や想像を精密かつ自動で行っているだけだ。
「創造」をどうするかは未知。

GTMをモデル化して永野にボロカスに言われる近未来

自動彩色もそうだけど、こういうのって確かに出来てる！んだけど、なんかこう、細部をふわっと騙してくるよねw

ちょっとしたスパイ画像から3Dモデルが出来て
それを3Dプリンタで出力したらとりあえず本物と非常に高い精度で似た形になるか

形が重要なものをコピーするのに多いに役立つな

AIの応用も進んでるなあ
昨今だとBERTが翻訳など言語処理で大活躍

下品な話だとdeepfakeなんてのがあった

>>12
できると思うよ
強化学習から月の画像だと判断できればAIは過去のデータから裏側を作れると思う

さらにモザイク改造に寄与できそうな技術だな

>>19
そういういい加減さを許容できるかできないかでAIの評価が分かれると思う
化学調味料による味付けが許せない人たちも世の中にはいるだろう

アニメ画像を突っ込んだらとんでもないクリーチャーが現れる可能性大

>>24
うそパースてんこ盛りだからなあ

>>24
フィギュアを学習させればいけるんじゃないかな
それで3Dプリンタで出力までさせれば彫師が失業してしまうだろう
というか人間の感性に頼った職業ほどことごとくAIが奪っていきそうだ

>>26
AIが人間の美意識、つか萌え〜を会得するにはまだまだじゃね
正確なモデリングのつぎは崩すことが待っている

>>24
LANねーちゃんがついに立体化か

>>27
もともとが偽物だから追求すればきりがないよ
そもそもテレビだって再現性は不完全だしAIが作る偽物に文句を言っても今更という感じがする
目の前の現実以外は全て偽物だ

とNHKのAI美空ひばりの番組を見て思った

昔建築物でこーゆうのあったな　消えたっぽいけど　たぶん使えるスキームとしてはいろんな方向からの写真を解析してひとつの立体にして効率的にローポリにするが一番汎用性あるとおもう

>>1
https://twitter.com/takoneko_chika/status/908876017942462466
https://twitter.com/5chan_nel (5ch newer account)

テンダラー？

正面から見たびんぼっちゃまで正確にレンダリング出来たら褒めてやるよ

＞自律走行車がカメラで撮っている映像から生成した静止画像を、瞬時に3Dモデルに変換し、今から回避するべき大型トラックのサイズを正確に計測したり、ロボットが予定された形状に基づいてランダムな物体を適切に拾う方法を予測したりできるようになります。

詳細なデティールより大きさを高速で判断できるのが重要なんだね
自動運転に注力してる企業は違うわ

>>8
用途はGoogleマップのリアルタイム3D生成とかじゃないかな

>>34
デティールはあまり重視しないだろ
人の目が捉えてる程度に大まかな形でいい
それで危険物かどうか瞬時に判断

人だってすべてをきちんと立体視してるわけじゃなくて輪郭から適当に補間してるほうが多いからね

こういうのじゃない・・・・
ちゃんと翼の部分を認識してそこは凹凸出してほしい

自動の六角大王だろ

背中だけのヌード写真でも出来る？

ただの絵からコレができるってスゴイだろw

錯覚をどうやって排除するんだろう

あと見えない裏側をどうやって作るんだろうか

もしかして月面の裏側まで立体にできる（）と言うのなら凄いなｗ

>>1
服の中も正確に作れたら買っても良い

あなたは見えない所はどうやって想像するの？
過去の記憶や経験則を頼りに想像できるでしょ
AIのディープラーニングは同じことやって学習させるんだよ

あとは鳥の種類を認識して
同種の鳥のデータから補完するとかか

猫の写真を1万枚AIに見させて共通点や特徴を学習記憶させる
学習後に1枚写真見せて共通点が多ければ猫と判定し見えない所も予測可能になる
人間と同じに学習訓練させるんですよ

学習のデーダによっては服の中も月の裏側も作れるよ

すでにこういうソフトがあってね
https://shade3d.jp/product/magicalsketch3d/top.html

アニメの絵描きの採用試験の課題として、
建物をある方角（たとえば正面）から撮った写真を与えて、
それを斜めから観た画、真横から観た画を書かせるのがあった。
さらに上級なら、正面の絵から回り込むように幾つものアングルで
観た（想像上の）絵を描けというもの。

そんなもんより、
3Dから製造にたえる2Dを出せるようにしてくれ。
量産のこと考え無いバカ設計多すぎ

つまり、無乳貧乳でも巨乳になれる。

しょぼいな
鳥の基本骨格とか学習させれば・・

って思ったが、最終的に学習させ過ぎたら全鳥の3Dデータから選ぶだけのプログラムに成り下がるか

dmm にやらせよう

スネ夫の髪型はどうなる

女性の服が透けて見えるって妄想もAIで実現できそうだな

>>39
おっぱいの大きさは背中から見た骨格などを手がかりに生成！

女性の写真を1クリックで裸にしてしまう「DeepNude」が登場 - GIGAZINE
https://gigazine.net/news/20190627-deepnude-ai-undresses-photo/

基礎技術が出来ればあとハード能力向上とデータ集積
そのうちAIが写真一枚で3Dの動画作るようになるな

こういうテクノロジあるとアニメ楽なんだよ

書く→3dモデル→3dモデルで下書き→手書きで原稿完成
書く→3ｄモデル完成→CGで直す→ゲーム

ゲーム開発激楽になってローコストになる
似たアプローチは既にあるけどね

>>56>>1
そして3Dプリンタで男の夢は叶うｗｗｗ

2D映像がリアルタイムで3D化出来るようになるのも時間の問題だな
昔の映画や記録映像も3Dで観られるようになるかも

大量のデータベースがないと３D変換はできないってこと？
全く新規の画像だと２Dのままなのかな

>>25
それでも様式は決まってるから割と正確にやれるのでは

重いレンダーラー、試練のアニメ、
描くが男の、ド根性。