NECは9月19日、複雑かつ高度な分析においても高い処理速度を維持しながら、高い拡張性を有したビッグデータのリアルタイム処理技術を開発したと発表した。

一般に、ビッグデータを瞬時に分析するには、複合イベント処理技術(Complex Event Processing: CEP)が多く用いられている。しかし同処理技術では、ルール間の関連性や依存関係により、サーバ間で無駄な通信が発生して処理速度が1/10以下に低下するなどとされてきた。

新技術のシステム構成

今回、同社が開発した新技術は、処理ルールをサーバに自動で配置することで、データの種類・量が変動しても、サーバなどの計算リソースを効率的に利用して、高速処理を実現するというもの。サーバが増減しても処理ルールを自動で再配置できるため、一般に困難とされていた拡張性の高い(スケールアウト型)ビッグデータ処理基盤を実現する。

具体的には、並列配置した各サーバに、ユーザがあらかじめ作成した処理ルールを最適配置する(アルゴリズム)技術を開発した。処理ルール間に関連性や依存関係がある場合は同一サーバに配置するとともに、各サーバの負荷を均一化する。処理を局所化することにより、サーバ間の通信・連携を減少させ、負荷分散を行う。

また、配置した処理ルールに基づいて、発生したイベントを適切なサーバへ転送する技術を開発し、これにより、サーバやネットワークの処理負荷を低減するとともに、将来のデータ増にともなうシステム拡張にも対応する。

同社では、新技術の評価のため、16台(システムとして10台、負荷発生器として6台)のサーバで10万通りの処理ルールを設定し、毎秒270万件のイベントが発生するシステムに適用し、リアルタイム処理が可能であることを実証した。仮に、店舗やクーポンの情報を携帯電話に提供するサービスを想定した場合、ユーザー5,000万人に対して、20秒に一回、10万件の店舗からユーザーの属性にあった情報を配信可能な能力に相当するという。

今後、同社は新技術を機器間通信を利用した新サービスを実現するM2Mソリューション「CONNEXIVE」の機能として、2012年度中に提供する予定だ。