【ＩＴ】TOP500国内1位のAIスパコン、計算ノード内部を初披露 ［10/19］

　産業技術総合研究所は、「CEATEC JAPAN 2018」（2018年10月16〜19日、幕張メッセ）で、AI（人工知能）やビッグデータ処理向けスーパーコンピュータ（スパコン）「人工知能処理向け大規模・省電力クラウド基盤（AI Bridging Cloud Infrastructure、以下ABCI）」を利用した機械学習技術などについて展示を行った。

　ABCIは富士通が開発を担当し、2018年8月から本格運用を開始した。2018年6月に発表されたスーパーコンピュータ性能ランキングの1つである「TOP500」では、世界5位、国内1位を獲得している。今回の展示では、ABCIの計算ノード内部も公開され、国内初披露となった。

■LINPACKピーク性能は19.88PFLOPS

　ABCIは、演算を実行する「高性能計算システム」と足回りの役割を担う「大容量ストレージシステム」で構成する。

　高性能計算システムは、計算ノードとして富士通製サーバ「PRIMERGY CX2570 M4」を採用し、1088台の計算ノードを集積する。システム全体のメインメモリは476テビバイト（TiB）。理論ピーク性能は、FP16（16ビット浮動小数点）で550PFLOPS、FP64で37.2PFLOPSとし、TOP500でベンチマークとして用いられるLINPACKでは19.88PFLOPSを達成した。

　計算ノード1台の構成として、CPUはIntel Xeon Gold 6148を2基（システム合計で2176基）、GPUはNVIDIA Tesla V100を4基（同4352基）、メインメモリはDDR4-2666規格で384ギビバイト（GiB）、ローカルストレージはNVMe（Non-Volatile Memory Express）接続のIntel SSD DC P4600（容量1.6Tバイトモデル）を搭載する。各計算ノード間と大容量ストレージシステムのインターコネクトには、InfiniBandを用いる。

　CPUとGPUの冷却では水冷と空冷を併用。「計算ノード内に3系統設置した冷却ラインで、インレット側が30℃、アウトレット側が40℃の温水により直接水冷を行っている。システムの負荷によって、各ノード内に流れる冷却水の流量を調整しており、最小で毎分2L、最大で毎分6Lとなる」（産総研担当者）。

　暖められた冷却水は、計算ラック上部に設置されたCDU（冷却水循環装置）とFCU（ファンコイルユニット）で熱交換され、発生した熱気は屋外設置されたパッシブ冷却塔とアクティブチラーにより冷却する。この冷却システムにより、ABCIの平均PUE（電力使用効率）は1.1以下となった。

■豊富なソフトウェアスタックを用意し、コンテナエンジンもサポート

　産総研の担当者は「ABCIは単なるスパコンセンターではない。AIサービスを提供するプラットフォームの役割も担っている」と語る。ABCIを利用したAI開発を加速させるため、AI開発においてデファクトスタンダードとなったソフトウェアをABCIでは広く採用し、ソフトウェアスタックを構成した。

　ディープラーニング（深層学習）フレームワークでは、Caffe、Caffe2、TensorFlow、Torch、PyTorch、Chainerなど多種にわたりサポート。開発環境、コンパイラもPythonを始め、GCC、Ruby、R、Javaなどを取りそろえ、もちろんCUDA SDKも用意されている。

　特に、DockerとHPC分野で利用が拡大しているSingularityのコンテナエンジン2種をサポートしたことにより開発時の利便性を大きく高めたという。「技術の進歩が著しく速いAI分野では、OSやディープラーニングフレームワークのバージョン管理が課題となる。コンテナサポートによって、ユーザーは希望する計算環境が簡単に整備できるようになった」とした。

続きはソースで

■ABCIの計算ノードである富士通製サーバ「PRIMERGY CX2570 M4」の内部
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image01.jpg

■2基のIntel Xeon Gold 6148とメインメモリ　右：水冷ヒートシンクが外されたNVIDIA Tesla V100
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image06.jpg
■左：水冷ヒートシンク　右：冷却システムの概要
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image07.jpg
■サポートするソフトウェア
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image06.jpg
■ABCIの選べる資源タイプ
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image07.jpg

http://monoist.atmarkit.co.jp/mn/articles/1810/19/news039.html

>>1

富士通はインテルのFPGA内蔵型Xeonサーバーを販売するといった広報の記憶があったが確かではない

>>1

Intel hands first Optane DIMM to Google, where it'll collect dust until a supporting CPU arrives
https://www.theregister.co.uk/2018/08/10/optane_dimm_ceremonially_ships_but_lacks_any_xeon_support/

optane dimmも出荷はされているようだが対応CPUが未出荷らしい

＞ギビバイト (gibibyte) とはコンピュータの容量や記憶装置の大きさをあらわす情報の単位の一つ。GiBと略記される。

1 GiB = 230 B = 1,073,741,824 B

本来SI接頭辞の109を表すギガを使ったギガバイトは1,000,000,000バイトという意味であるが、230バイトの意味で使われることがあった。
混乱を避けるためIECが決めた二進接頭辞がギビであり、ギビバイト = 230バイトである。230バイトという意味ではこの呼び名がすすめられる。
ギガバイトと違い10億バイトという意味で使えない。

＾が抜けて意味不明になってしまったな

こんな単位初めて見たわ

230バイトにどんな意味があるんだよ。

ギビて誤植じゃないんだ

ギビバイト WiKi
https://ja.m.wikipedia.org/wiki/%E3%82%AE%E3%83%93%E3%83%90%E3%82%A4%E3%83%88

1 GiB = 2**30 B = 1,073,741,824 B
本来SI接頭辞の10**9を表すギガを使ったギガバイトは1,000,000,000バイトという意味であるが、2**30バイトの意味で使われることがあった。
混乱を避けるためIECが決めた二進接頭辞がギビであり、ギビバイト = 2**30バイトである。2**30バイトという意味ではこの呼び名がすすめられる。ギガバイトと違い10億バイトという意味で使えない。

――-注
n**x は、n の x 畳を表す。

用語的にはGB系をSI接頭辞、GiBを2進接頭辞と呼ぶらしい。
以下が違いの全て。
1GB = 1000MB = 10^9Byte
1GiB = 1024MiB = 2^30Byte

1000毎に単位が変わるのがGBで、
1024毎に単位が変わるのがGiBとなる。

計算式
以下の要領でやれば良い。一度Byteまで値を戻した後、1000または1024で割りなおす。Excelで計算式でも作っておくと良い。

αGB→βGiB変換：β=(α*1000*1000*1000)/(1024*1024*1024)
αGiB→βGB変換：β=(α*1024*1024*1024)/(1000*1000*10200)