11月7日、東京都目黒区の目黒雅叙園において、ビッグデータをテーマにした技術カンファレンス「Cloudera World Tokyo 2013」が開催された。

Cloudera Worldでは、30以上のセッションにより、ビッグデータを支える技術をさまざまな角度から解説。Hadoopディストリビュータとして第一線で活躍するClouderaらしく、細部にまで踏み込んだ説明でユーザー企業に対してビッグデータ対応の検討材料を提示した。

本稿では、同カンファレンスの中から基調講演に登壇した米Cloudera CTO、Amr Awadallah氏の講演を取り上げ、簡単に紹介しよう。

日本法人 代表取締役のジュセッペ小林氏

米Cloudera CEOのTom Reilly氏は、ビデオメッセージで登場

Enterprise Data Hub、例えるならデジカメに対するスマホ

米Cloudera CTO、Amr Awadallah氏

Hadoop技術の第一人者とし知られるAwadallah氏が講演を通じて強調したのは、ビッグデータ時代に適した新たな分析基盤アーキテクチャの重要性である。

氏は、ETLの専用端末を置き、DWH、レポーティングツールへと流す従来のアーキテクチャを取り上げ、次のような問題を指摘した。

「スケールが容易でないうえ、スキーマの変更には時間を要するためアジリティ(俊敏性)に欠ける。さらにデータは1年～2年程度でアーカイブしなければならないケースが多く、分析対象に含められる期間に限界がある。加えて、データがサイロ化した異種システムをつなぐのは簡単ではなく、可視化できる範囲も限られる」

従来のアーキテクチャ

こうした問題を解消できる技術としてAwadallah氏が紹介したのが、Hadoopをベースとした分散処理環境である。氏は、新たなアーキテクチャについて「Enterprise Data Hub(EDH)」というキーワードを適用。従来型の「Enterprise Data Warehouse(EDW)」と比較し、そのメリットを「デジタル一眼レフとカメラ付きスマートフォンのようなものだ」と表現した。

「デジタル一眼レフは、クオリティの高い写真を撮るには適した機材。ただし、最近ではスマートフォンのカメラも進化していて、デジタル一眼レフとまではいかないにしても、高精細な画像が撮れる。しかも、スマートフォンなら、カメラ以外の用途でも幅広く活用できる。EDWとEDHはこれに似たような関係。特定の目的で固定的な分析を行うならEDWの方が速いかもしれないが、EDHでも、それに近いパフォーマンスが出せるうえ、新しいデータソースを追加したり、新しい観点で分析したりといったことが可能。そのうえ、最新のCloudera Enterprise 5を使えば、新たなアプリケーションを追加することもできる」

ビッグデータ時代のアーキテクチャ。Cloudera部分がHadoopベースの分散処理環境

Cloudera Enterprise 5は、10月29日に米国で開催された「Strata Conference + Hadoop World 2013」において発表されたばかり。新機能としては以下のものがあるという。

Cloudera Enterprise 5の主な新機能

さらにAwadallah氏は、Amazon Web ServicesやIBM Softlayerをはじめ、さまざまなパブリッククラウドに対応していることも強調。"スマートフォン"たる汎用性の高さを来場者にアピールした。

Cloudera Enterprise 5ではパブリッククラウドとの接続を拡張

氏は最後に、「ビッグデータは、20年に一度の大きな技術。データドリブンの組織へと変わらなければ、環境変化の速さに追い付いていけない。ビジネスにITが浸透しはじめた20年前、対応が遅れた企業は次々と業績を落としていったが、今、ビッグデータに対応しなければ、同じ事態に陥る可能性がある」と警鐘を鳴らし、ユーザー企業に真剣に検討を進めるよう促して講演を終えた。