富士通研、ビッグデータから必要なデータを収集する分散処理技術

富士通研究所は3月13日、ネットワークを中継するゲートウェイを介してクラウドに収集される大量のデータを効率的に収集する分散処理技術の開発に成功したと発表した。

現在、ヒトの現在地や健康状態、モノの稼働状況など、実世界のさまざまなデータを大量にクラウドに収集して活用するクラウドサービスが拡大しており、データ収集に伴う通信量の増加が課題となっている。

富士通研究所は、クラウド上の処理の一部をゲートウェイに最適に分散配置するアルゴリズムを新たに開発し、この技術によってゲートウェイ上でデータ処理を行いビッグデータから必要なデータを効率的にクラウドに収集することで、通信量を従来の約100分の1に削減することが可能としている。

例えば、企業で消費電力を可視化する場合、事業所単位で集められる分電盤や電源タップからの収集された生データは、本社に対しては会社単位の集計データに加工して提示される必要がある。そこで、各事業所のゲートウェイでこれらの集計処理を事前に行い、集計結果だけをクラウドに送ることで、送信データ量を抑えることができる。また、クラウドに送らなかった生データは、必要になった時に初めてクラウドで圧縮して送信することで、生データを個別に送るよりもデータ量を削減できる。

今回、開発された技術は「分散処理運用フレームワーク技術」と「集約キーによる処理フローの分割と最適配備候補の抽出技術」。

分散処理運用フレームワーク技術は、実行先のゲートウェイを自動的に見つけ、処理プログラムの配備・実行を支援する運用フレームワークを開発し、新しいネットワークトポロジーをフレームワークに再定義することで、そのネットワークトポロジーに応じたゲートウェイ配備に再構成することができるため、最適な分散処理を実現する。

集約キーによる処理フローの分割と最適配備候補の抽出技術は、各処理がデータをグルーピングする際の分類キー(集約キー)と、それぞれの値とセンサーとの論理関係をもとに、処理単位とその処理が対象とするセンサー群を抽出し、処理単位ごとの最適な実行先のゲートウェイを効率的に見つけ出す方法を開発した。