【アニメ制作】過酷なアニメ制作の現場、AIで救えるか　「動画マン」の作業を自動化、DeNAの挑戦

「労働環境が過酷すぎる」「時間も人もお金も足りない」――日本のアニメ制作現場では、アニメーターの低賃金労働や法定労働時間の超過といった問題が指摘されている。こうした状況を、近年進化が著しいAI（人工知能）技術で改善できないか。ディー・エヌ・エー（DeNA）AIシステム部の李天キ（王に奇）さんが、2月6日に開催された技術者向けイベント「DeNA TechCon 2019」で、最新技術を用いた事例を紹介した。

　アニメの制作現場でも特に過酷とされるのが「動画マン」と呼ばれる仕事だ。動画マンは、滑らかなアニメーションになるように、原画と原画の間を埋める絵（中割り）を描く人のこと。

　私たちが良く目にする「30分間のテレビアニメ」の場合、1話当たり3500〜4000枚の中割りを描く必要があるという。1枚を完成させるのに数時間かかることもあるが、給与はほとんどの場合1枚いくらの歩合制。時間をかければかけるほどアニメーターの時給は下がっていく。


※アニメの中割りをAIで生成
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_02.jpg

■「構造変化が大きい」　アニメの難しさ

　李さんは、与えられた原画のデータを基に、原画と原画の間を埋める中割りの画像を自動生成できないかと考えた。実写動画の中間フレームを自動補完する「Frame Interpolation」という技術は既に存在する。ニューラルネットワークが、2枚の画像間におけるピクセルの移動量を表したベクトルマップ「Optical Flow」を算出し、中間フレームを合成するというものだ。


※「Frame Interpolation」の技術
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_03.jpg

　いまの技術では、フレームレートが30〜60fpsの動画を入力すると、中間フレームが補完された240〜480fpsのより滑らかな動画を生成できるという。

　しかし、この手法をそのまま「アニメの中割り」に適用するのは難しい。実写動画とアニメではフレームレートが違いすぎるからだ。フレームレートが低いアニメは「画像間の構造変化が大きい」。


※アニメの中割りにはそのまま適用できない
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_04.jpg

　李さんは「実写動画に比べ、アニメはフレームレートが低い。またイラストは実写に比べて色が単調でピクセルの対応点を特定しにくく、Optical Flowの計算が困難だ」と説明する。

■「構造情報」を使って滑らかなアニメーションを作成

　そこで李さんは「構造的生成学習」（SPGANs、Structure-consistent Prediction GANs）という手法を提案する。

　既存手法では、入力する2枚の画像間のOptical Flowを算出するだけだったが、これに首、肩、肘など関節点の座標を線でつなげたデータと、髪形、目、顔など部位ごとにフィルタリングした「マスクデータ」などを加えた。キャラクター全身の複雑な動きに対応できるよう、コンピュータに与える情報量を増やしたのだ。


※DeNAの提案
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_05.jpg

　こうした「構造情報」を利用したマルチタスクの学習モデルにし、生成した中間フレームをAIの識別器（discriminator）で「正しく描けているかどうか」評価させ、学習を繰り返した。

　また、2つの識別器を使うことで生成する中間フレームの品質を向上できたという。李さんは「静止画の細部と、画像を時系列で見たときの両方を評価することで、より自然で連続的な動きになっているかと画像の品質を確認した」と話す。


※2つの識別器を使って品質向上を図った
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_06.jpg

　同社が行った実験では、ゲームサイト「Mobage」のアバターを使用。動画から連続する5枚の画像を抽出し、最初と最後の画像から中間の画像3枚を生成できるか検証した。7fpsや30fpsなどフレームレートの間隔を変えながら実験したが、構造変化が大きい低フレームレートの動画でも「常に安定してフレーム補完ができた」（李さん）としている。


※構造変化の大きい画像の中間フレームも安定して生成できたという
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_07.jpg

　同社はアニメ「ずんだホライずん」の中割りを生成するテストも行っており、イベント内ではキャラクターの髪がふわふわと動いたり、口が滑らかに動いたりする動画が公開された。

　DeNAは今後もアニメ生成技術の研究を続けていく。AIの活用で、動画マンの労働環境はどのように変わっていくのだろうか。

http://www.itmedia.co.jp/news/articles/1902/07/news095.html

動画マンをリストラします

チョンドラマに金出すくらいいならアニメに金出せ

仕事がなくなるだけでは?

むしろ、原画をAIで動画が半分人力の方が良くないかね

動画で経験を積まないと原画が描けない

荒野のやつもそうだけど楽しようとして品質だだ下がりじゃ意味ないんだよね

アニメーターも才能だから
原画を描ける奴は最初から描けるものを持ってる
ただ天才だけではアニメは作れない

どろろの絵はセンスがある

違うそうじゃない

技術の進歩が吉と出るか凶と出るか
使う人間の問題に尽きるとはいえ

CEDEC 2010：キャラクターも演技者であれ――大塚康生×上田文人対談 〜もっと上手くなりたい！動かす力〜
http://gamez.itmedia.co.jp/games/articles/1009/02/news099.html

この「作動原理」を知らずに意識して絵をかける人間が、アニメーションをやるべきと大塚氏。
現在、アニメーションの講師も務める大塚氏は、今の人たちの9割は絵が上手いが作動原理を理解していないと嘆く。

ＡＩの中の人がいらすと屋なのがじわる

そうまでして見たいもんでもないよなアニメって

結果、基本的に簡単な動画をAIにやらせる事になり面倒な動画を人がやる羽目になる
単価が変わらなければ更に人が稼ぐ事が出来なくなる悪循環になるんだが分かってるのかね？

>>5
原画の方が創造性が高いから無理

雇われる人数が減るだけで一人あたりの仕事量や給与が改善するわけないと思う

でも動画マンの仕事がなくなったらそこから原画マンにステップアップする機会すらなくなるわけだからアニメ業界の人材そのものが枯渇しないか？

>>14
難しい仕事を少数精鋭でこなすんだから単価は上がるよ。
単価を引き下げてる三流動画マンが退場する上に、そいつらに
払ってた金を待遇改善に使えるんだから良いことしかない。

アニメ作りすぎ

救うどころか切られるのか

オムコしじみ様の良スレにひれ伏せ！

オタクが見ないようなキッズアニメでやればいいんじゃね

合理化にお金かけても、
儲かるのは会社や株主だけなんですよ。^^

ODAで中国にｲﾝﾌﾗを整備します、民間投資を呼び込みます、
AIの研究に補助金を出します、年金で株を買い支えます、...etc.

アベノミクスが円安によって
株価や企業収益を高めるかたわらで、
輸入品の価格上昇によって
人々の実質賃金を押し下げるという弊害をもたらすことは、
最初からわかりきっていたのです。

https://headlines.yahoo.co.jp/article?a=20190205-00059692-gendaibiz-bus_all&;p=3

円安で小麦粉が高くなってﾊﾟﾝ屋さんが苦しんでいるというのは、
ﾃﾚﾋﾞでもよくやってましたから、ご存知の方は多いと思います。

しかしそれでも、輸出が上向けば、ﾄﾘｸﾙﾀﾞｳﾝによって、
少しはよくなるんじゃないかと思っていたんですね。

ｱﾍﾞﾉﾐｸｽは、それなりに支持を集めてきたみたいなんですが、
実感はまったくなく、そして、ﾃﾞｰﾀでもそれが裏付けられて、
それを竹中さんだとかに問いただしてみたら、

「そんなこと言ってないよ！」

みたいになっちゃってるんですね。

この輸出系というのは、儲かることは儲かるんですが、
海外に工場を立てて、作ったりするんですよ。

その上、法人としての税も、ほとんど払わない
みたいなところが多いんですよ。

それで、国内で売ってる会社も、商売にならなくなって、
そういう会社にならざるを得なくなってるんですよ。

ﾘｸｼﾙだとか、海外に出ていこうとしていますね。

こういう会社が、国内市場を荒らして、
出ていってしまうんですよ。

こういう会社に、税金を投入して助ける必要なんてないのに、
それを今の与党の人たちがしてるんですよ。

>>17
PAは動画のやり方は養成所で教えて
最初から原画やらせる事にした
今は海外に出すのが当たり前になっちゃったから

>>25
そうかそうかおじさんは興味ないのに涌いて来るなよ

>>24
その記事、デフレ容認記事でやばいぞｗ

今さえよければいいって思想で書かれてる。
この思想で失われた10年が20年になったのに
未だに何の反省もないｗ

デフレ思想で企業が採用を絞り、未来への投資を
減らしてきたことには言及せず、既得権者である
中高年中間層が若者と弱者を搾取しながら我が世の
春を享受した時代を懐かしんでる。

ゲスにも程があるだろ。

やっと中割りの自動生成が可能になりそうだね。これで少数精鋭チームでのアニメ製作が実現する。

似たような作品が量産されそう

DeNAは殺すことを救うというらしい

今まで動画マンだったやつが、ＡＩを活用して原画マンの仕事をできるようになれば
生産性が上がる

今需要過剰でアニメーターは引く手数多だからこれで人手不足解消か？
というと、もっとアニメの本数が増えて飽和するところまで行くんじゃないかね？
少なくともアニメの海外需要が伸びている今は
しかしやっぱAIはもう中国には追いつけないんだなとも思う

>>32
そもそも今動画やってるのは動画職人と呼ばれるようなベテランと
新人動画マンの二種類に大まかに分けられるけど
前者はAIが導入されても動画やるだろう、AIじゃ出来ない部分もきっとあるから

ずいぶん前からプログラムで中割り作れないかってチャレンジがあってなかなか上手くいってなかったけど、
「上手い人間を真似る」機械学習だと出来そうに思えてくる

>>34

動画は海外への発注もけっこうあるよう見える

アニメーターなんて一握りの天才職人だけやってりゃいい職業なんだよ
志望する連中が誰でも彼でも大成できる職業じゃない

アニメの本数が多いから人手が足りず二流三流の連中を使い
三流はいつまで経っても上達せずに収入も上がらず
貧困だ貧困だと騒ぐ
そんな鬱陶しい連中などAIに取って代わられるべき

次は原画マンが酷使される訳か

今やコンピュータの中だけで終わる仕事だし失敗しても人間が修正すればいいわけだし
結構早く仕事自体がなくなりそうだね

>>38
今も酷使されていると聞く。
作画監督という原画マンのさらに上の仕事はずの人が10人前後並ぶようなアニメは、
出来の悪い動画を作画監督が直すのに手間かかっているとか

>>36
というよりほぼ海外動画がメイン
だって国内動画はキャパが無いから
時間が足りない時に選択肢になり得ない

>>40
原画がそのままでは使えない（単純に全部が使えないのか、レイアウトだけ使えるのかは分かれるが）から
作画監督が１０人とか必要になるんだよ

のび太でもアニメ作れるようになれば画期的だな

機械がキャベツ切る時代

原画が駄目になるだけの話なんだが
動画経験少ない原画で上手いのは天才系だけだ

AIで描かれたアニメが果たして面白くみれるのかねぇ
いい動きを描きたいという作画の人の渾身のワンシーンを観るのが心動かされるわけでそれがアニメの魅力の一つだと思うんだが

普通に3Dでやれば
いいだけだろ

>>46
そのいい動きを描いてるのは実質的に原画（或いはそれを直してる作監）の人だからな
動画は原画の指示通りにトレースと中割描いてるだけで

>>46
人間が排除される訳でも無いんだが。
アニメがセルからCGに変わった時も似たような意見はあったけどね。

手書き原画からの中割自動生成は記事にある通りハードルがまだ高いな
まずは動検のアシスト的なことで使えないかな
その次はクリーンアップ、中割はもっと先の話じゃないかな

>>26
あのPAの机代騒動で一番損したのはPAで原画マンを目指す人達だろうね
それまでは仕事として動画描いて1枚いくらで買い取ってもらってたのが
授業料払って授業受けるわけだから

>>49
セル画は動画をセルにコピー（トレースマシーンという専用コピー機を使って黒の縁取り線をコピーする）
それに色トレース（肌のベース色とシャドウ色の境目など）をペンで描き
裏から塗料で塗装するって作業で
そこにクリエイティブ性は存在しない
作画とは同列には語れないよ

今パワポとかAIが全部作ってくれるからなあ
彩色くらいならもうAIがやってくれるんじゃね？

閉じた綺麗な線を補完するクリンナップの補助のほうが実利に向いてそう
ＡＩで自動化とかはデッサン割のハードルが高すぎるしな

楽になったら予算と人員を減らされるだけだからｗ

仕上げからは確実にデジタルだけど
もっと上流のほうからデジタル化しないと、こういうのの恩恵って受けにくい気がする

コンテからが理想的　か

>>1
よくわからんが、原画マンの負担が増すような気がする。

ぉぃぉぃ、これじゃ、アニメ学院が潰れるじゃん
グウタラ息子が親を騙くらかす口実だったのに、どうすんだよｗ

昔日立製作所がスタジオぴえろと共同で中割り自動生成ソフトを開発したことあるが、
普及するには至らなかったことを考えると、やっと時代が追いついたって感じだな。

適当なイメージだけど、原画目指す人って
まず海外飛ばされて動画がうまくなったら、国内に戻ってこられるとか？

最近良く見るカカーニっていうのは（発注）コストがかかるの？

ああ、できるよねこれ
間埋めるだけだし
逆に動画の人の仕事がなくなるだけだな

絵が達者で機械もわかるクリエイターが必要になってくるわけよ

人間らしい仕事?ってのに就けるわけだね
よかったね

てか、3Dでボーン仕込めば中割いらなくね?

髪のなびきとかリグやボーンで済ますには重いかもね　描きと同レベルの話で
フォトリアルとは別方向のデフォルメか

>>64
それやるとそのモデルに忠実に写ることになる
表現上どこかの長さが変わったり、パースが背景と異なりキャラだけ不正確だったり
描くのは正確性よりも表現性が重視されるからその辺厳密じゃない
3Dデータから組むとその辺が幾何学的に正しいものだけになり絵としては不都合

>>55
デジタル作画も一部で進んでるけどベテランが対応出来ないとかで
取り組みはまだまだ限定的だからな

>>60
https://cgworld.jp/feature/201807-cacani-2.html
これ読んだ感じだと動画マンがオペレーターもやる感じかね

これでどこまで自然に描けるんだか
コトブキ飛行隊は違和感ありまくりで全然慣れない

AIで動画が完璧にこなせるようになって動画マンは一切不要になったら
いきなり原画マンからスタートできるの？

金田伊功氏のようなアクションは割れないよね
ま、全原画とかなら中割り必要ないけどね
あの人の原トレも出来ないだろうし

こういうツールの簡易版が10万円ぐらいで売られたら同人アニメとか盛り上がるだろうな。
メカとかはCADとか３Dモデラ―でどうにかなるけど，キャラの動きは大変だからな。
カットだけ切ってサクッと自主製作とかできるようになるといいな。

まぁ，きっと商用アニメからキャラ切り取ってきて18禁アニメに仕立てあげるのが横行する
だろうがな。

>>58
というか，技術の水準が上がって及第点を貰えるようになったんじゃないか？

そりゃまあ現場から人間がいなくなれば
救われない人間もいなくなるけどさ

>>68
読んでみますありがとう

浮いた人件費の分だけ中抜きが増えます

>>1
究極的にはマンガ原稿からアニメが自動で作れるようになるだろう。
人間が考えつくようなことはいずれはできるようになる。
困難ではあるがいずれはできるようになる。
時間の問題。

>>71
AIが賢くなれば
金田流とか板野流も勝手にやりそうだが
いきなりそこを目指さなくても良いもんな

こうやって中割りを計算させるほうが
キャラを3Dで作って2次元化するより
なにげに難しそうですな

>>77
ドラえもんで
そんな話があったね

もう彩色の仕事はないんか？

>>77
それいいね、それだと原作レイプは無くなるし原作では見えていた物がアニメでは修正されたとか無くなりオリジナルそのままで良い

>>80
ボタン押し ドラえもん

技術が発達すれば誰でも簡単に長編アニメーションを作れる時代がくる！？

ぬるぬる動く背景動画できそう

今季のいくつかの作品でモーションキャプチャーした3DCGで十分だとわかった、
これから求められる人材は優秀なモデラーとモーションアクターだろう

>>66
振り向きが入ったときのスネオや009の髪や顔の処理・・・

ディズニーアニメで補完ツール使ってるよな

動画自動化されればさらにギリギリでの制作をする羽目になるだけ
今でも海外出せば即日上がってくるのでそれに頼ってる状態

これが完成する頃には3Dがメインになってるわ

>>1「アニメの成功は、動画マンがどうガマンするかにかかっている。（宮崎駿）」

魂こもってないパンチラみせられても困るわ

それにしてもやっぱ中国人なんだな、AI開発技術者って。資源も工業製品も、さらには
頭脳人材まで輸入に頼るようになって将来日本は何で飯食っていくつもりなんだろう。観光？
　俺前々から中国の安い人件費に対抗して動画の中割り描くAI開発できないかなって
いろんなスレで書き込んでたけど、高度な技術のほうも中国に勝てないとか・・。まあ高度人材じゃない
俺が言ってもなってことなんだが

47氏をとっ捕まえたり、日本人ノーベル賞者は大抵海外在住だったり、
出る杭は叩かれ、中庸を善しとするような国ではブッ飛んだ才能や技術は生まれんよ。

データを蓄積していけば不自然さもじょじょに無くなって手描きと遜色ないものがいずれできることだろう。
で、設備費用や運用費が人件費より安くなるようであれば動画マンはAIに取って代わられるだろうな。

>>78
あれが割れないようなら、そんなもん
AIでもなんでもないと思うんだけど
アレンジができてこそのAI だろ

こういうの全部自動化して
週休5日の社会が出来上がりだ
21世紀も20年近く経ってようやくそれらしくなった

>>95
だから、それはAIじゃないって
AIは自分で考えて
イメージを作りだすんだよ

タップ割で中補完するぐらいならいけそうだけど
デッサン割は無理でしょ

ぶっちゃけ何でも完璧に出来る事は絶対無いと思うので
最終的には人間がチェックしたり直したりする事になると思う

アニメもそうだけど
個人的にはとことんまで極めた２Ｄドットゲームをやりた
このドットをAIにやらせてメタスラ以上の２Ｄゲームがみたいなあ

>>1
ブラック企業に余裕ができたら
再度余裕がなくなるまでクビ切るだけ定期

>>95
今の形式だといくら蓄積してもそうならないよ
それがわかってるからガイドだの入れてる
物として理解してるわけじゃないから

そこまでやろうというなら今すぐGoogleのDeepMindレベルの
環境そろえて基礎研究からやらなくちゃ無理、それが何かしらの
見通しできたところでどうやったら動画中割りに応用できるかという話になる

マネジメントが必要なのに、新米や下っぱをあてがう制作進行をどうにかしたれ

>>104
体力的にハードな仕事だから若手じゃないと持たないという側面もある

>>90
３Ｄをセルルックで出力するとかだと、マンガの中でしかありえないような形状をどうするかということになったりする
結局おまいらは「漫符」とかが大好きなのよ

105 なまえないよぉ〜 sage New! 2019/02/09(土) 13:34:41.29 ID:drDjSXDe
>>104
体力的にハードな仕事だから若手じゃないと持たないという側面もある


106 なまえないよぉ〜 sage New! 2019/02/09(土) 17:14:05.51 ID:A+Rd9CU/
>>90
３Ｄをセルルックで出力するとかだと、マンガの中でしかありえないような形状をどうするかということになったりする
結局おまいらは「漫符」とかが大好きなのよ

描画は２極化するかもな
人では、より複雑で細緻なオブジェクトを描写すると
簡単なコマはＡＩで描写と

つまり、よりクリエイティブな発想に専念できるかもな

>>108
一概には言えんけど寧ろ複雑で線数が多い絵をコンピューターがやるべき
人間がやるべきなのはちょっとした線のニュアンスで印象が変わる所を
ちゃんとチェックして不出来なら修正する事
そしてそれが出来る能力を身に付ける事だな

>>109
人間が「複雑」というようなものをコンピュータにどうさせんのよ
定義できなきゃプログラムのしようがない(´･ω･`)

機械学習やディープラーニングはなんかしらんけどそう出力される
という結果の予測が困難な（でもプログラムそのものは割かし簡単でもプロセッサパワーは喰う）
いやらしい奴

>>110
例えば制服のスカートの柄が細かいアニメとか
手描きでやると手間が掛かるので1枚辺りの時間も掛かる
逆に、一見単純そうなデザインに見えて、細かいニュアンスが要求される時は
人が手を入れないとAIではカバーし切れんだろうと思う

初心者がLive2Dを使ったら→全ての動きが無事作画崩壊　かえって味わい深いと好評に　ねとらぼ
http://nlab.itmedia.co.jp/nl/articles/1902/07/news070.html