【計算機科学】なぜ日本はGPUのない「富岳」でLLMを研究するのか　外国に後れを取らないための“現実的な理由” [すらいむ★]

なぜ日本はGPUのない「富岳」でLLMを研究するのか　外国に後れを取らないための“現実的な理由”

　米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。
　世界各国の企業がこぞってLLMの開発を進めている。特にGAFAなどの巨大企業は、その膨大な資源を使ってすでにいくつものLLMを世に放っている。

　そんな中、日本では理化学研究所と富士通、東京工業大学、東北大学が、スーパーコンピュータ「富岳」を使ったLLMの研究を今まさに進めている。
　学習手法の研究からデータの法的な扱いまで幅広く検討し、日本のLLM開発の基盤を作るのが目的だ。

（以下略、続きはソースでご確認ください）

[谷井将人，ITmedia] 2023年09月11日 12時00分
https://www.itmedia.co.jp/news/articles/2309/11/news083.html

2位じゃダメなんですよ

n-vidiaはGPUはAIに最適みたいな顔してるけど要る機能は積和算器とメモリだけだろ。邪道だね。

目先、富岳しか計算資源が無いというだけの話
結構空いてるのかww

GPU無くても十分速いなら使えるだろ

>理化学研究所と富士通、東京工業大学、東北大学

全部世界の落ちこぼれじゃん

>>3
>>5
GPU無しでAI開発出来るけどコスパが悪すぎるだろ
市場価値の無い箱物事業やってるから世界との差が開くんだよ

２位じゃだめんなんですか？→３位でもいいじゃない
→4位じゃだめんなんですか？→100位でもいいじゃない→どうでもいいじゃない

こう持っていきたかった民主党

富岳に深層学習させた試験例がすでにあったぞ

計算能力の無駄遣いだろ
脳そのものをシミュレートするくらいの事させたらどうだい

日本は国策でCPUではなくGPUを開発しないといけないのでは
ああ、でもAMDですら苦戦してるソフトウェアを整備できないか

>>10
その通り
日本の弱点はソフトウェアだ
戦後物の無い時代に育った昭和の大人たちは
物欲が強すぎてハードにしか価値を見出さなかったのが敗因

なぜGPU搭載機を使わないのか→占有できないから
なぜGPU非搭載の富岳を使うのか→使えるGPU搭載機がないから

ダメだわ

>>10
ソニーとニンテンドーという
結構な消費を見込める国内企業が2つもあるのにな。

10ゼタバイト級データセンター欲しい。
10TB/sレスポンス1ns未満無線光通信網欲しい。
32TB64GB/sSSD欲しい。
256コア4TBメモリPC欲しい。

>>2
スポーツ選手に同じこと言ったらボコボコにされるよ

国産GPUあったけどな～。どこかの大学発ベンチャーで。でも商用は難しいんよな。

>>7
二位じゃダメだとわかって予算つけた民主党
こっそり中抜きしまくった自民党
結果がこの没落だ

>>10
gpuは偶然グラフィック処理が行列演算だからaiに使えるだけで、行列演算出来るcpuなら開発出来る
asicやfpgaで開発研究して、実際に利用してるところもあるよ
汎用化出来ないから表に出ないけど

こんなもんな予算組むよりさっさと量子コンピュータに注ぎ込めば良いものを

夜中、保守してる奴がネトゲ始めるからだろ　言わせんな

【モノを作るより中抜きした方が儲かる】

これを破壊しないとロクなもんが作られない

一応GPUあると思うよ。SoftbankはARM親会社である限り、ARMの知的財産は日本の知的財産。ARMはMaliGPUを持っている。もちろん日本で開発されていないが、日本の会社が権利を持っているだけ。もちろんNvidiaやAmdと比べ物にならない。Nvidiaと対決することはCPUでIntelと対決することやOSでMicrosoftと対決することと同じ、現状の日本では政治的にも経済的にも技術的にも無理。

【スパコン】「富岳」と組み合わせ“世界一”の性能確保へ、理研がAI用スパコン「語岳」整備 [すらいむ★]
https://egg.5ch.net/test/read.cgi/scienceplus/1694002024/

>>15
大谷のことか（爆笑）

あいつはトップになりたがりの目立ちたがり屋で
チーム全体が迷惑してるんだよ

結果、怪我したから追い出されて終わりだよ

＞なぜ日本はGPUのない「富岳」でLLMを研究するのか
GPUをフル満載するほどの電気代が払えないからじゃないの？

日本は電気代が高いから
大量の電気を使うコンピューターは
使い辛いのではないですか？

普通のPCなら
GPUの有無で深層学習使用時の計算速度が20倍違う、のは事実だよな

でもスパコンってCPUが何十万個も入ってるからなあ
しかもそれが相互に高速で通信し合って処理している

https://chizaizukan.com/property/450/
専用CPUの開発

＞コンピュータの処理・制御を担い、計算速度を左右するCPU（Central Processing Unit：中央演算処理装置）を、理化学研究所と富士通が共同で開発。
従来型のCPUでは、データを記憶するメモリやネットワークを、プリント基板（絶縁層の板に配線などを配置した部品）でつないでいる。
そのため、プリント基板で処理時間を要し、それぞれの性能が高くても力を発揮しにくい状況があった。富岳では、CPU内部にCPU同士をつなぐ
ネットワーク機能「TofuD」を設置、メモリはシリコン基板でCPUと一体化し、計算・処理速度を向上させた。
富岳には同CPU が15万8,976個使われており、アプリケーションの実行性能は、前身のスーパーコンピュータ「京」
（稼働当時のCPU約8万個）の最大100倍超に到達している。

汎用性を持つCPU命令体系の採用

＞CPUを動作させるための命令セットアーキテクチャには、スマートフォンなどに搭載されているCPUと同様のArm社仕様を採用。
富岳ではArm社仕様の命令セットを応用し、独自のCPUを開発している。Arm社仕様命令セットはスマートフォンを始め、
タブレットやゲーム機などで世界中で利用されており、汎用ソフトウェアやアプリケーションを動かすことができる。
富岳では、使いやすさの追求の中でArm社仕様を採用し、既存ソフトやアプリとの互換性を高めている。

そして
＞　2020年6月には、演算速度性能・アプリケーションの実行性能・AI向けの計算性能・ビッグデータ解析性能の4部門で、世界第1位の評価を獲得。

GPU無しでもAI向けの性能は、2020年基準なら高いｗ　と
でも今は2023年だ
AI向けだけならもっと良いものがどんどん出てきているか

マザボにCPU1個、それにGPU付ける

そんな家庭用のPCや職場のワークステーションの構成で脳みそ固まってると
スパコンの構成だと違うだろうなあ、とはイメージできないって事になるか？

しかしそんなガラパゴスに甘んじていると、いきなり面倒な事になる可能性が懸念される
全てのAI関連モジュールがGPUやらTPUやらに最適化されて行くと
日本が必死で作った、CPUモジュール群によるスパコンでは最適なパフォーマンスを発揮しない
AIライブラリが世界中に普及して、何をするにしても日本で1から作らないといけない状況になってしまう

とにかく2020年基準では何とか世界トップクラスのAIに対する性能を出してくれたのは事実だ
しかし富岳も2025年には相当陳腐化してしまうだろうなあ

富岳搭載のCPUのA64FXは7nmプロセスで作られている
設計が富士通とARMで製造はTSMC

>>25
グラボのGPUは電気代には関係ない
電気代はグラボのVRAMで決まる

電気代のかかるVRAMはコンシューマ向けの安いGDDRメモリだが
NVIDIAやAMDの法人用データセンター向けグラボは
HBMメモリを使ってるから電気代が安い

富嶽もHBM使ってる

あと富岳の7nmはワットパフォーマンスが悪い

TSMCの5nmからはASMLのEUVの進化でワッパがめちゃくちゃ良くなってる
アップルのMシリーズのSoCは5nm以下で作られてる

だから富岳は既に周回遅れになってる

AZUREやAWSなどのクラウドは次々出てくるNVIDIAの新型グラボを搭載して
AI処理能力を高めてるが、富岳は作りっぱなしだから指くわえて見てるだけ

昔、グレープとか作って、三体計算か何かしてなかったっけ？
単機能チップを低コストで作る技術はあるんじゃない？

それとも、あの研究者が天才だっただけ？

GPUが演算がCPUよりも早い場合というのは、演算回路が沢山並列に動く場合。
そのようなときには、効率はCPUよりもよいとしても結局非常に多くの電気を消費することになる。
そうすると電気代もかかるし、冷却の能力も上げなければならなくなる。

カネがないのだけはわかったわ
つなぎはいいけどその後どうすんの？

シリコンはもう限界
ミニ脳を作れ
バイオだよ
人間の脳の大きさで人間並みの知能やぞ

>>10
年功序列終身雇用を撤廃して老害を追い出さない事には何も始まらんよこの国は

今にネコや犬やヒトの脳を培養器に入れてそこに、無数の微小電極を入れて
生体ニューラルネットによるAI装置が作られるようになるかもしれない。
そうして死んだ人間の脳を生かし続けておいて、そこから記憶を取り出す
というようなことも未来では可能になるのかもしれない。
死んだ人の脳から、スイス銀行の預金の口座番号や暗証番号を取り出す
サービスとか、殺害された被害者の脳から殺害犯人の殺害時の状況を
取り出したり、死刑になった人間から犯行時の記憶を取り出したり、
用途はいろいろ、人生いろいろ。しかし一部機関でだけそのような
記憶の取り出しが可能だと、本当とは違う捏造が行われて、不都合な
真実は隠されたり歪められたりするかもしれず、それが真実とされて
しまうかもしれないから、技術は諸刃の剣だ。
Spring−8がヒ素殺人事件で裁判官の目を眩ますために悪用されたように。

記憶はどこに宿るのか
筋肉かもしれない
アカシックレコードにリーチしてるのかも

Why Japan is building its own version of ChatGPT
nature, 14 September 2023
https://www.nature.com/articles/d41586-023-02868-z

こういうのでネーチャーの論文が1本稼げる人もいるんだね。

なんで映像特化のGPUでAI？と思ったら
GPUのほうがコア数が多くて並列計算が得意って性質がAIによく合ってたからか
富岳って小型PCをより集めたタイプだからGPUと同じようなことはできるでしょ

>>38
今のPCやワークステーションだと、NVIDIAのGPUを積んでいるものは
積んでいないものに比べて、AIのライブラリである
tensorflowの実行速度が5～100倍は違うんだよ
あるいは全く動かない事すらある

でもPCと違ってスパコンはマルチCPUだから、GPUと「ほぼ」同じようなことは出来るからなあ

https://www.exa-corp.co.jp/technews/download/EVF2021_2-3.pdf
ちょっと設定は変わるよね
その分だけ技術者が追加で学ばないといかん

horovodというライブラリでtensorflowをラップすると
富岳などで使えるって仕様か

で、この企業では富岳と同じような並列計算を、
しかしずっとずっとずっと低性能でしか出来ない
貧岳という、ラズパイ4枚が動くマルチコンピュータ＋データ通信し合うシステムを作って
富岳に自作モジュールを移す前のテストに使っていると

それに対して、国産で余計な事すんじゃねーよさっさとNVIDIAに100%魂を預けろ！！！
というのが>>1記事だ

ARMの安価なCPUで300個くらいのマルチコアで国産ワークステーションとか
作る企業が出来てもいいのかもね
LINUXが動いてて

https://qiita.com/hara2dev/items/d226d7c06e3785a3f589
mesh-tensorflowという並列計算できるライブラリもあるが
これはいきなりだと富岳では動かず
前にシェルスクリプトで環境構築してやる必要がある、と

いやぁ
やっぱり科学技術計算のIT技術と
サーバー構築、Web利用のIT技術って
壁があるって事だよなあ
>>1記事著者の谷井将人氏はそこを知らんかったと

でも、今の時代

「えーっと入札の結果～社から人材を派遣してもらいます」
「弊社の人材はPCおよびワークステーションでのtensorflowおよびpytorchおよびtransfomerの
仕様経験が5年有ります」
で入ったと思ったら、GPUは使えないわググって出て来たmesh-tensorflowは使えないわで
半年でクビ！なんて事になるわけでｗ

科学系数値計算のできる人材はちゃんと登録して囲い込まないとダメって事だな

富岳での3D深層学習シミュレーションのためのライブラリを
日本のIT企業が作って
tensorfowを富岳で動かした時より19倍速くなった、なんてニュースもある

>>11
＞日本の弱点はソフトウェアだ

まあ、日本で独自に富岳用に作って解決したものもあるんだなｗ

で、それが進んで来ると今度はガラパゴスと叩かれると

ひたすら規模の拡大を目指すのは、主砲の口径を大きくすれば無敵の戦艦ができるというのと同じような発想。
スケーリング則とかは、予算獲得の正当化手段。Linpackなどと同じ匂いがする。

日本はソフトが弱いというより国自体が未だに価値を見出していない
>>42
みたいなソフト作っても国は支援しないんだから後が続かないのが致命的だよ

再エネとかMRJとかハードには数百億ポンと出すのにソフトウェアの新規事業育成なんて
やる気がねえんだから産業界もそれ相応の対応しか出来ねえわな

マイナンバーとかE-Taxとか既存の図体だけがデカい企業を潤してるだけだしな

Nvidiaは会社の8割はソフト開発関係。つまり圧倒的にソフト主体の会社。
GPUの設計をする人は居るが、製造は外部に丸投げ。
AIや機械学習でNvidiaが先を行っているのは、アプリの性能を出す為の
ソフトウエアの利用環境の整備がいま一番進んでいるのがNvidiaに
対するものだから。デファクトスタンダードになっているので、
海外の先進の研究所や大学での研究でNvidiaの利用環境で新しい
アプリが作られ、それをまた前提にしてアプリが作られ、という
具合に物事がNvidia中心に回ってしまっている。他のCPUやGPU
向けにNvidia前提で書かれたたとえソースコードで提供されている
アプリがあったとしても、それを書き直したり性能をチューニング
したり、動作が正しいかを検証するのには時間と手間がかかるし、
Nvidiaの事情もよく知っている人が作業しなければならない。
進化の早い半年経つと様子が変わっていたりするような分野では
そのような問題を解くための本質とは直接関係のないハードの
相違による利用環境の違いを摺り合わせているのに時間をとられたら
競争に負ける。みながそう思い込んでNvidiaの方ばかりを向いて
アプリを積み上げて行くから、当分その傾向は続く（慣性の法則）し、
ぼったくり価格で売られていると思っても買うしか無い。
実際ハードの値段にはそれの利用環境を開発し整備するための
人的コストが上乗せされなければやってられないから、
それも値段に入って来る。単なるハードの性能の値段ではない。

>>22
日本ではない、朝鮮電話。

9月 25, 2023
中国を恐れる米国、中東へのエヌビディアGPUの販売をブロック
HPCwire Japan
https://www.hpcwire.jp/archives/78377

疎な行列ってかテンソルを高速に演算できりゃ良いってか
それだけみりゃ、FEM向けとかと変わらないっちゃ変わらないが

ちょっと違うのは、飽和演算じゅうよーで
高精度のFP64とかもいらなくて
いっその事、FP8でいい！って言う
ある意味、極端な概算なんだよな

そー言う意味では、超高精度な計算を追求し続けた、従来型の科学演算向けコンピュータには不利って側面はある

低精度だと、ロス関数の最小化の反復がなかなかうまく下がって行かなくて、
ガタンガタンと変なスパイクが生じたりしてしまうことが良くある。
精度を増すとすーっと下がるのに。だからうまく行くときはいいが
ダメな時はダメみたいな結果論になってしまう。うまく行けば成功だみたいな。

>>40
ほほぅ、、、

>>38
GPUの何が良いかってのは価格だけど

元々、画像処理、と言うかゲーム向けだったから、と言うアレな理由だからね

つまり、ゲームとかの画像処理なら
ぶっちゃけ32bit処理じゃなくてもヨクネ？
24bitとかでヨクネ？
いや、16bit処理でも、ぶっちゃけゲーム画面は大きく崩れなくね？って言う手抜き…じゃない
合理的理由で、低精度の積和演算器を大量に載せてる事で処理が速いんだよね
だから、低精度でも構わないAI…ニューラルネットワーク演算が速い、と言うw

今のはAI向けに8bitまで精度落として、さらに高速化してるしね
精度が低いと弊害もあるけど

勿論、科学演算向けGPUファミリはFP64なんかも処理出来る様になってる訳だけど

いまはソースコードのやりとりがお手軽にできるし、論文あるいはプレプリントも
オープンアクセスだったりネットワークの速度で即座に手に入るし、調べ物を
するのにサーチエンジンがあるから、物事の進化、情報の拡散が実に早いな。
ハードの世代進化もかつては5−6年ごととか短くても数年ごとだったのに、
いまは半年に1世代ずつ少しずつ代わっていく。
昔のように、IBMメインフレームコンパチ・準拠のマシンを5−6年使い続けたり、
あるいはリプレースしても結局はIBM370互換のままだったりで20年30年続いたり、
DEC　VAX780が出たらそれをやはり5−6年（リース・レンタルのサイクル期間程度）
使ってその次もそのファミリーを使いみたいなソフトウェア環境が安定していると
いえば聞こえが良いが、停滞気味であったころと較べると、いまはOSがフリーで
ソースコード付きで誰でも自由にダウンロードできて、みたいな時代になって
まさに隔世の感がある。でもいい加減Cは亡びて欲しい。

>>52
その前に、もっと滅びて欲しいのがあるだろうが！

FORTRANとか！
FORTRANとか！
FORTRANとか！

FORTRAN（いまならFortran90とかFortran2013など）は数値の計算に特化して使う場合には、
ＣやＣ＋＋よりもシンプルで安全だよ。ただ、言語を知っている・書ける人が激減しているために、
絶滅危惧種ではあるのは確かなんだ。

Ｕｎｉｘ系のＯＳがカーネルの一番下層部分やデバイスドライバを別として
Ｃ言語を使うのを止めて、もっとより安全な言語を採用すればセキュティの
問題のかなりの割合が減るはずだが、既存のＣ言語で書かれたコードの蓄えが
あまりにも多いので、なかなかそうはならない。

OSのAPIが　C言語インタフェースになっているうちは、
危険なC言語はなかなか撲滅されないのだろうな。
性能本位なのかもしれないが。

C言語そのものは、プログラミングスタイルとして
プログラムは「プロセス」で動くとしていて、
マルチスレッド・マルチコアだとか、マルチプロセス・マルチノードは、
OSへのAPIを介在させて実現せねばならず面倒な感じがする。

>>54
元々虚数を扱う事を前提とした言語ってFortranだけだったしね
今はMatlabとかあるけどインタプリタで遅いし
実行速度と数値計算特化というニッチな使い方ではFortranはまだまだ有力候補だよ

GPUに関してはハードなんだから日本も勝算あったかもしらんが
どう使うか？を考える力が企業含めて弱いのでやっぱり駄目ですかね

GPUは科学演算においては安いけど用途を選ぶ、びみょーって扱いだったけど
AI…と言うか、ニューラルネットワークの計算において
ゲーム用途譲りの低精度の高速演算が有利に働いた
だからまぁ、運に恵まれた、とも言える

GPUを汎用的に使おうぜ！ってなってた時の評価なんて
FP32？FP64以上じゃなきゃ科学向けには使えないっしょ！って感じだったからね…

>>57
AIを作るにはボトムアップ方式で賢いプログラムを作る必要があるだとか、トップダウン方式で脳を解明する必要があるだとか言われてた時代に、突然AlphaGOがで囲碁プロに勝ったのが始まりかな
bit精度より、多入力多出力のニューラル・ネットワークを多層組み合わせるだけで人に勝てるとはね

>>54
>Ｕｎｉｘ系のＯＳがカーネルの一番下層部分やデバイスドライバを別として
>.Ｃ言語を使うのを止めて、もっとより安全な言語を採用すればセキュティの
>問題のかなりの割合が減るはずだが、既存のＣ言語で書かれたコードの蓄えが
>あまりにも多いので、なかなかそうはならない。

ほとんどのセキュリティ問題は特権モードで動くカーネルやデバイスドライバで起きるし、カーネルの上層だってメモ
リ管理がいいかげんなそこらの言語は使えずポインタだらけになるし、ユーザーアプリを乗っ取ってDDOSに使うにし
たって対象はメジャーなアプリで一点ものの数値計算プログラムなんて誰も相手にしないのに、お前馬鹿だなあ

富岳ってそんなに使われてないの？

ベンチマークの性能は良いんだがな。

11
>>　4
GPUはVRAM帯域が実際には名目値よりも遅い
更にPCIe介するため、メモリ容量が正義な計算では遅い、構造・流体解析とか

13
見るべきは、ここなんだよな

メモリ容量 141GB
メモリ帯域幅 4.8TB/s

これだけの帯域でCPU/GPUがメモリを介して蜜結合になってるって、LINPACK番長ではありえないわけだ
けど、実用的な多くの問題は相互結合網がボトルネックになるから
___

数理計算用のスパコン(更にベクトル型とスカラー型を組み合わせる)と
GPUメインの深層学習＆transformer計算スパコンと
量子コンピュータという
3タイプのスパコンが出来るのか

さてこれを上手に組み合わせて科学技術＆情報計算を最適に行うという
技術も開発しないといけないのかどうか

サム・アルトマン解任騒動で
文章生成AIが数学に対して弱い面の改善手法に関して意見が紛糾していたなんて書いてあったなあ
その目星が付いたのが収まった原因の1つだとも

文章生成AIを含む対話型AIが「数学計算の質問に対しては文章生成AIでは正答しにくいのでスパコンやmathematicaやsympyに任せる」
という判断をしてくれればいい、って話にはずっと前からなっていた