富士通研究所は4月8日、クラウドサービスやモバイルアプリケーションなどで利用するさまざまな通信環境に適用可能なデータ転送高速化技術を開発したと発表した。

近年、クラウドサービスやモバイル端末の普及により、さまざまな通信環境でネットワークを経由するアプリケーションが利用されている。会社やデータセンターの拠点間において、例えば、ファイル転送やファイル共有、バックアップ、モバイル端末からクラウドへのデータ送受信などが日常的に行なわれている。このようなデータ送受信に対し、回線増強や専用ハードウェアを導入せずにデータ転送を高速化し、回線コストの増加を避けたいという要望が増えている。

富士通研究所では、データ転送を高速化する方法として高速なプロトコルの研究開発を行ってきた。これはネットワークの遅延やパケットロス率が大きいなど、回線の帯域を使い切っていない場合には有効な手法だが、回線が細く帯域を使い切っている場合には回線を増強する必要があった。

回線を増強せずにデータ転送を高速化するためには、転送データのサイズを削減する方法が有効で、一度送信したデータを送信側と受信側の双方で保存しておき、2度目からは同じデータを送らない重複除去技術、およびデータ圧縮技術の2つの手法がある。重複除去や圧縮の技術は、ストレージシステムや転送高速化の専用ハードウェアなどに実装され、データ転送量を削減し、実効データ転送速度を高速化することが可能である。しかし、これらの技術をモバイル端末などに適用するソフトウェアで実現するには、課題があった。

その課題とは2つあり、1つが重複除去では一度送信したデータを双方がストレージに保存しておく必要があるが、モバイル端末のストレージなどでは容量が限られ実現が難しいこと。もう1つが、一般的なモバイル端末に搭載されたCPUで、重複除去、圧縮処理を行うのは負荷が高く、通信全体の処理に時間がかかってしまうことである。

重複除去・圧縮の概要

そこで今回、重複除去と圧縮による転送データ量の削減をソフトウェアで実現し、モバイル端末でも実効データ転送速度を向上できるデータ転送高速化技術を開発した。

具体的には、まずネットワーク上を流れるデータの中で統計的に出現頻度の高いデータだけを選択し、優先的に保存する技術を開発した。これにより、高い重複除去性能を維持したまま、出現頻度の低いデータがストレージに保存されることを低減できるため、ストレージ容量の少ないモバイル端末にも適用が可能になる。同社の社内実験では、モバイル端末側のストレージに保存する重複データ量を最大で約80%削減できることを確認したという。

省メモリ化技術

また、圧縮処理のCPU利用率を、最大で従来の約1/4まで削減できるデータ圧縮技術を開発した。データ内に繰り返し出現するデータパターンを探索する際に、パターンが見つからないときは、まばらな間隔で探索を行い、パターンが見つかったときには、その前後のデータを細かく探索することにより、データ全体を効率良く探索し、圧縮処理の時間を大幅に短縮している。

さらに、転送データの重複除去・圧縮処理は、転送するデータのサイズが小さく、内容も毎回異なるような状況で利用すると、データ転送速度が低下する場合がある。効果の有無は、送信データサイズ、ネットワークの利用可能な帯域、端末のCPU性能などに依存するため、これらに関する情報を定期的に収集することで高速化効果を予測し、その結果から重複除去や圧縮処理の実施有無を判定する技術を開発した。これにより、システム運用管理者が適用環境ごとに設定を調整する必要がなく、運用性を向上させている。

今回開発した技術を用いることで、今後、ますます普及が見込まれるクラウドや仮想環境、モバイル環境において、さまざまな通信アプリケーションを快適に利用することが期待できる。また、ソフトウェアとして実現することで、既存のサーバやOS上に搭載可能で、ノートPC、タブレット端末、スマートフォンなどのモバイル端末でも利用可能な技術となっている。

例えば、営業の顧客訪問などの利用シーンでは、A社向け営業資料をA社訪問時に事務所からダウンロードした後で、B社向けに一部が編集されている資料を再度事務所からダウンロードする場合に重複するデータが除去され、ダウンロード速度を高速化できる。利用可能帯域が10Mbpsの回線で行った実験では、最大で約10倍の高速化を確認したという。

利用シーン

今後、2014年度中の実用化を目指して実証実験を進める。また、データセンターから広域ネットワーク、エンドユーザが使用するスマートデバイスのすべての領域における体感品質の向上の実現に寄与していくとコメントしている。