システムの概要

研究用計算基盤ERFaは、ベクトル計算ノード群、仮想化基盤(汎用CPUノード群/GPUノード群/大容量メモリノード)、大容量共有ファイルシステムで構成されています。計算資源およびストレージは研究課題ごとに割り当てられ、すべての計算ノードから共通のファイルシステムを利用することができます。従来のバッチジョブ投入型の利用形態として、ベクトル計算ノード群およびスカラ計算ノード群を利用できます。さらに、仮想化基盤上の仮想マシンを研究プロジェクト単位の計算環境としても提供しています。

ベクトル計算ノード群

ベクトル計算ノード群(写真・右)は、ベクトルホスト(VH)である「NEC製SX-Aurora TSUBASA C403-8」16ノードで構成され、全球気候シミュレーションモデル、大規模大気環境シミュレーションモデル等を効率よく高速に実行するためのベクトルエンジン(VE)と大容量メモリ等の基盤を提供しています(表1)。旧システムに比べてVE数は半分になりましたが、1つのVE当たりのコア数が2倍となったため、全体の性能としては旧システムとほぼ同等のものを提供しています。

写真:【右】ベクトル計算ノード群(NEC製SX-Aurora TSUBASA C403-8)、【左】大容量ファイルシステム(DDN製 ES400NVX2、総容量18PB)、ともに2026年3月より稼働

写真:【右】ベクトル計算ノード群(NEC製SX-Aurora TSUBASA C403-8)、【左】大容量ファイルシステム(DDN製 ES400NVX2、総容量18PB)、ともに2026年3月より稼働

表1:ベクトル計算ノード群の性能
総ノード(VH)数 16
総VE数 128 (VH当たり8VE)
総コア数 2048(VE当たり16コア)
最大ベクトル演算性能
628.48 TFLOPS
(VEあたり4.9 TFLOPS)
総主記憶容量 12 TiB(VEあたり96 GiB)
ノード間通信性能 InfiniBand NDR 200 Gb/秒(双方向)× 2
ベクトルエンジン機種 Type 30A

仮想化基盤とプロジェクトVM

仮想化基盤は、HPEのProLiantシリーズの汎用CPUノード群、GPUノード群、大容量メモリノードで構成されます(表2)。仮想化基盤上では、用途に応じて計算環境としてソフトウェア的に定義されたVM(Virtual Machine:仮想マシン)を稼働させます。スカラ計算ノード群は、バッチジョブ型の計算環境と標準的なアプリケーションを提供するVMとして構築されています。プロジェクトVMは、研究プロジェクトの研究者が自ら計算環境を設計・開発・運用できるVM環境として提供されます。VMの実行環境を異なるノード群で切り替えることで、GPUを活用したAI・機械学習等のデータ駆動型研究や、大容量メモリを活用した大規模データ解析、巨大行列計算などが可能となります。これらの仮想化基盤に構築されるVMは、仮想化技術によりプロジェクト単位で隔離された環境として動くように設計されています。なお一部のVMは、ベクトル計算ノード群、スカラ計算ノード群、プロジェクトVMのログインノードとしても提供されています。

表2:仮想化基盤の物理ノード構成
用途 機種 理論演算性能   CPU メモリ GPU
汎用CPUノード群
(ログインノード、
スカラ計算機ノード群、
プロジェクトVM)
HPE ProLiant 
DL360 Gen11
62.2
TFLOPS
ノード
当たり
128コア 256 GiB なし
8ノード
合計
1,024コア 2,048 GiB なし
GPUノード群
(プロジェクトVM)
HPE ProLiant
DL380a Gen11
638.9
TFLOPS
(CPU+GPU)
ノード
当たり
128コア 1,024 GiB NVIDIA H100 NVL
(メモリ94 GB)
× 4基
5ノード
合計
640コア 5,120 GiB 20基
大容量メモリノード
(プロジェクトVM)
HPE ProLiant
DL360 Gen11
7.7
TFLOPS
1ノード 128コア 2,048 GiB なし