増加する構造化データや非構造化データから価値を抽出し、物事の本質を見抜くことは、今やさまざまな組織にとって欠かせないスキルだ。特にIoTをはじめとした、クラウドアプリケーションによって今までになくデータが増加しており、超巨大規模の効率的なビッグデータインフラストラクチャを実現する新技術が求められている。
また、サンディスクが企業のITリーダーを対象に行った調査(本稿で提供するPDFにて、より詳細な調査結果を確認可能)でも、フラッシュの採用は初期段階だが、多くの企業がデータセンターにフラッシュを導入しているという結果が出た。
なおサンディスクは、フラッシュストレージを主力とするフュージョンアイオーを2014年に買収し、高付加価値のストレージソリューションを提供している企業だ。サンディスクというとSDカードといったフラッシュメモリメーカーのイメージが強いが、こうしたあらゆるソリューションを提供する業界のリーダー的存在でもある。
そこで注目されているのが、超巨大規模のHadoopの導入に理想的な同社の「SanDisk InfiniFlash」システムだ。同システムは高いパフォーマンスと大容量を両立する”オールフラッシュ ストレージアレイ”で、従来のHDDによるHadoopインフラストラクチャと比較すると、次のようなメリットがある。
- 最大5倍の密度によって、必要となる物理ラックのスペースを最小化
- 最大50倍のパフォーマンスによって、応答を高速化
- 最大5倍の電力効率によって、電力コストと冷却コストの両方を削減
- 最大4倍の信頼性によって、ダウンタイムと運用コストを削減
SanDisk InfiniFlashシステムとは?
 |
たった3Uで最大512TBの高パフォーマンス フラッシュ ストレージを提供するSanDisk InfiniFlash |
さらに、SanDisk InfiniFlashは、大きな拡張性とサービス品質(QoS)を提供する高密度JBOF(Just a Bunch Of Flash)オールフラッシュ ストレージ システムで、大規模のHadoop導入に最適な次のような特徴を持っている。
- 3ラック ユニット(3U)のみの専有で、最大64枚の8TB InfiniFlashカードによる512TBの大容量
- HDDベースのアプローチよりもスケーラブルな7GB/秒と780K IOPSのスループットを備えたパフォーマンス
- すべてをホットスワップ可能な運用の効率性と柔軟性、低電力消費(平均480W)、平均故障間隔(MTBF)150万時間以上の高い信頼性
大規模なHadoopの導入には、独自のニーズに合わせた革新的なインフラストラクチャを設計できる柔軟性が必要だ。その点SanDisk InfiniFlashシステムは、モデルを選択できるため、柔軟な導入が可能となる。
フラッシュのパフォーマンスと納得できるTCO
サンディスクはフラッシュで高速化したHadoopアーキテクチャのコスト効率を評価するため、3つのソリューション アーキテクチャを従来型HDDベースの3つのレプリカがあるHadoopと比較して、TCOを評価する分析を行った(本稿で提供するPDFにて、より詳細な分析結果を確認可能)。その結果、従来型のHDDベースのHadoopと比較した場合、納得のいくTCOの実現を確認できた。しかも、3つのフラッシュで高速化したアーキテクチャすべてが、パフォーマンスを増加させるだけでなく、フラッシュの能力によって従来型のHadoop導入で発生していた多くの問題を解決している。
また、標準のHDDベースのHadoopと、フラッシュで高速化した3つのソリューション アーキテクチャのそれぞれで、200PBのHadoopクラスターを動作させるために必要なラック数を比較すると、ラック数が劇的に減少することが確認できた(本稿で提供するPDFにて、より詳細な分析結果を確認可能)。InfiniFlashの記録密度と低い電力プロファイルによって、データセンターのスペース、電力、冷却を大きく節約することができるのだ。
本稿で提供するPDFでは、巨大化するデータによって市場や技術が変わってきている現状と、SanDisk InfiniFlashシステムについて、より詳しい情報が提供されている。また、冒頭で説明した「フラッシュに関する調査レポート」も提供しているので、企業のITリーダーの方や市場動向把握などをされたい方には、ぜひダウンロードして確認していただきたい。
SanDisk InfiniFlash を活用した
高速Hadoopインフラストラクチャの導入目次
はじめに
超巨大規模でのHadoopの導入
大規模Hadoopでの問題
転換点を迎えるHadoop技術
InfiniFlash システム
InfiniFlash テクノロジー
Hadoop用のInfiniFlash モデルの選択
ソフトウェア階層
Hadoop導入用のフラッシュベースのソリューション アーキテクチャ
データ階層を持つ従来型の均等なHDFS
InfiniFlash をプライマリとして使用するHadoopオブジェクト ストア
消失訂正符号処理を備えたオールフラッシュ オブジェクト ストア
フラッシュのパフォーマンスと納得のいくTCO
まとめ
(マイナビニュース広告企画 : 提供 サンディスク)
[PR]提供：ホワイトペーパー