NECは10月8日、ビッグデータの分析を高速化する分散処理技術を開発したことを発表した。
現在、ビッグデータの分析は、Apache Software Foundationが開発・公開しているオープンソースの分散処理基盤「Hadoop」を主とした分散処理基盤を用いることが一般的になっている。しかし、従来のHadoopでは、データから規則性やパターンなどを抽出する機械学習などの複雑な処理を高速に実行することが難しかった。
このたび同社が開発した分散処理技術は、機械学習で頻繁に用いられる繰り返し演算や行列演算を、信頼性を保ったまま高速化することができる。同社はこの技術によって、ビッグデータの機械学習をHadoopで実行する際、従来の10倍以上の速度で処理することが可能になり、これまで1週間以上かかっていたような分析も1日で終えられるとしている。
同技術では、分散処理手法であるMapReduceに関するデータの受け渡しをハードディスクではなくメモリで行う手法や、サーバー故障時にも処理を継続できるように処理の途中の状態をハードディスクに保存する手法などが用いられ、高速化と信頼性を両立しているという。