ORNLのコンピュータシステムをつなぐ「Scalable I/O Network」

「SION(Scalable I/O Network)」は4台の288ポートのCISCO 7024D InfiniBandスイッチを中心とするファットツリーネットワークである。

図9に示すように、オークリッジ国立研究所(ORNL)の基幹ネットワークとして、Jaguar XT4部分、Jaguar XT5部分や可視化出力を行うLensシステムやEnd-to-endクラスタのEwok、アプリケーション レディネス クラスタのSmokyなどのORNLの他のコンピュータシステム、フェーズ1とフェーズ2のSpiderストレージなどを接続している。SIONのバイセクションバンド幅は889GB/sを超える。

  • Jaguar

    図9 ORNLのSIONインフラストラクチャ。CISCOの7024D InfiniBandスイッチを使うORNLの基幹ネットワーク

共用のSpiderファイルシステム

そして、図9に見られるように、Jaguar計算ノード群に「Spider」と呼ぶLustreベースのファイルシステムがSION経由で接続されている。図10にみられるように、LustreのObject Storage Server(OSS)は192台のDellの2ソケットサーバで構成されており、OSSはSIONネットワークに接続されている。ORNLの各種の計算資源がSIONで接続されており、それに共用ファイルのSpiderがつながっているので、どのシステムからもどのファイルにもアクセスできるシステムになっている。

また、OSSは48台のDDN社のS2A9900ストレージコントローラに接続されており、その先に13,440本の1TBのHDDが接続されている。これがLustreのオブジェクトストレージで、RAID6でのディスクの容量は10PBを超える。このストレージは240GB/sを超えるディスクバンド幅を持っている。

これらのOSSサーバはSIONに接続されており、OSSあたり1.25GB/sを超えるアクセスバンド幅をもっている。

  • Jaguar

    図10 Spider並列ファイルシステム

このSpiderストレージやSIONネットワークは、Jaguar専用ではなく、オークリッジ国立研究所の計算センター全体で共用されているインフラストラクチャである。

(次回は6月18日の掲載予定です)