ビッグデータ活用に必須の「技術」と「企業文化」とは何か?

企業が扱うべきデータの「量」と「種類」が急速に増加し、その生成や処理のための「スピード」が加速していくという「ビッグデータ」のトレンドの下、情報システムはどうすればビジネス上の新たな価値を生み出すことができるのだろうか。そのために、必要な要素とは何なのだろうか。

今回、ビジネスアナリティクス分野のソフトウェア専業メーカーであり、近年ではビッグデータを視野に入れた製品の機能強化にも積極的に取り組んでいるSAS Institute Japanのマーケティング本部長である北川裕康氏に「ビッグデータに取り組む企業に必要な要素」について話を伺った。

「革命的」な分析処理を可能にした技術

「ビッグデータ時代に起こるシステム面での変化において、特に大きな意味を持つのが『処理の高速化』と『扱えるデータ量の多さ』だ」と北川氏は言う。

「最新の技術を活用することで、必要な結果を得るまでの時間を革命的に短縮できるようになった。これは、従来は不可能だった次元のデータ活用が、現在の技術では可能になっていることを意味する。また、『その企業が保有できるキャパシティを超えた量』のデータを活用できるようにすることで、新たな可能性が生まれてくる」(北川氏)

扱うデータの「量の増加」と「スピードへの要請」にこたえるため、近年、多くの技術が登場し、市場に投入されてきた。

例えばハードウェア面では、CPU処理能力の向上、メモリ速度の高速化、それらを結びつけるシステムバスの広帯域化などがある。また、ネットワークやストレージにおいても、大容量化、高速化は進んでおり、システムを構成する各レイヤのハードウェアモジュールは確実に進歩を遂げている。標準化されたモジュールで構成されているシステムであれば、同じ投資によって得られる処理能力は年々高くなっている状況だ。

ハードウェア能力の向上、処理能力当たりのコスト低下は、ビッグデータ活用のための重要な要素の1つだ。しかし、1つのノードの処理能力が極限まで上がったところで、やはり扱えるデータの量やスピードには限界がある。データ活用の側面で劇的に大規模かつ高速な処理を可能にしたのは、OSやミドルウェアを含むソフト面での進化によるところが大きい。北川氏は「特に分散並列処理に関する技術がカギになっている」と話す。

ビッグデータに関連した技術として、「MapReduce」や「Hadoop」が取り上げられることが多い。これらはいずれも大量のデータを複数のノードに分散して処理を行い、結果をとりまとめるためのフレームワークとして注目を集めているものである。

複数の計算ノードを連携させ、大規模な計算を高速に実行しようという並列分散処理の考え方自体は決して新しいものではない。以前より「ハイパフォーマンスコンピューティング(HPC)」として、大規模なシミュレーションや科学技術計算の分野では、多く利用されていた。しかし、実際にそれを実現するとなると、ソフトウェア上の調整など、多くの手間がかかっていたのも事実だ。

近年、ミドルウェアの進歩によって、こうした並列分散処理を活用するための仕組みが利用しやすくなったことは重要なポイントだ。ミドルウェアが分散処理にまつわる煩雑な手続きを隠し、単一ノードを使うのと同じ程度の簡単さで、多ノードのリソースを活用することができるのである。

さらに64ビットOSの普及やメモリの低価格化によって、必要なデータをすべてメモリ上に展開して高速な処理を行う「インメモリデータベース」「インメモリアナリティクス」などが実現しやすくなっている点も大きい。1ノード当たり数テラバイト搭載できる高速なメモリの領域を活用し、さらにそれらを並列に動作させることによって、処理性能を「革命的」と言えるまでに高めることが可能になっているのである。

技術よりも重要な「分析の企業文化」

ビッグデータを活用するための技術的な条件が市場に整いつつある一方で、企業としてビッグデータを武器とするにはより重要な要件があると北川氏は言う。それは「分析に取り組む企業文化」だ。

「ビッグデータへと進む前に、現在社内にあるデータをいかに活用できるかを課題にすべき企業も多いのではないだろうか。全社レベルでのデータ統合のフェーズを終え、レポーティングをメインにしたビジネスインテリジェンスを導入している企業であれば、そこからアナリティクス、データマイニングへと活用方法をより深めていくことができる。分析すべきデータ量を増やすのは、その次の段階となるはずだ」(北川氏)

「業種にもよるが、日本企業では、レポーティングがメインのビジネスインテリジェンスから一歩進んだアナリティクスを日々の業務で活用していく文化がまだ根付いていない印象がある」と北川氏は語る。実際に、欧米では多くの企業にデータ分析を専門に担当する責任者が置かれ、業務プロセスや意思決定の過程に、分析が組み込まれていることが当たり前になっているという。

トーマス・ダベンポートとジェーン・ハリスは、その著書『分析力を武器とする企業－強さを支える新しい戦略の科学』の中で、企業の「分析力」の成熟度を5段階に分類している。最も成熟度が低い第1段階は、「分析に関して、上級管理職が限られた関心しか示さない」状態であり、そこから「業務部門単位での局所的な活用」「上級経営幹部の賛同とリソースの調整」「全社的な分析力の拡充を会社の最優先事項に」といった段階をたどって、最終的に「全社的な分析の活用と継続的な改善」が実現されるという。

この分類をもとに、まずは、自社がデータを分析するというテーマに対し、どの段階にあるのかを調査してみるのはどうだろうか。

「以前からデータマイニングはマーケティング部門にとって夢の技術だったが、実現できているのは、一部の先進的な企業だけではないだろうか。ほとんどの日本企業におけるBIは、レポーティングにとどまっており、より深いアナリティクスの段階には進んでいないように感じられる。トランザクションを処理するシステムは業務の効率を上げるが、分析のためのシステムは競争力を生む。これまで、数十時間かかっていたような分析が数分で実現できる技術があり、その結果を業務に生かす体制を作ることができれば、予測のヒット率を上げ、実際の利益を目に見えるレベルで引き上げることも十分可能なはずだ」(北川氏)

これまで「経験」や「カン」を頼りに業務や経営を行ってきた企業に、「分析」を根付かせることは決して容易な課題ではない。しかし、ビジネスの環境がかつてないスピードで変化するなか、「経験」と「カン」だけでは生き残りが難しくなったと感じている経営者やマネージャーも多いはずだ。確かに「経験」と「カン」も重要な要素には違いない。しかし、それらにデータをもとにした「分析」が裏付けを与えることにより、より精度の高い意思決定が可能となるのではないだろうか。

その環境を実現するための技術的な要素は、すでに出揃いつつある。まずは、自社の「データ分析」がどの段階にあるのかを知り、その成熟度を高めつつ、社内の体制や文化の中に根付かせていく。ビッグデータが競争力を生む時代を迎えるにあたり、それこそが企業にとって、今、最も重要な課題になるのではないだろうか。