オブジェクトストレージの歴史とバックグラウンド

オブジェクトストレージとは

オブジェクトストレージとは何か、なぜ急に多くの人が話題にするようになったのでしょうか？今日、世界で保存されている全てのデータ約80%がオブジェクトストレージに保存されている、パブリッククラウドもプライベートクラウドもすべてのクラウドがオブジェクトストレージを使用しているところで、最近ストレージがソフトウェアで定義されている、などと聞いたことがありませんか？本連載ではオブジェクトストレージに関する基礎的な知識を紹介していきます。

今回は「オブジェクトストレージとは一体何なのか、どこから来たのか」について見ていきたいと思います。ストレージの進化の中で、オブジェクトストレージは第3章と言われています。第1章では、ストレージをサーバから切り離したことでSAN(Storage Area Network)が主流になりました。

その後、第2章では文書やフォルダを同時に共有・編集して共同作業を行う必要性から、ファイルシステムが主流になりました。この「階層型」ストレージは、ネットワーク接続型ストレージ(NAS)システムの基礎となる方式でした。そして1984年には、サン・マイクロシステムズ社がネットワーク・ファイル・システム(NFS)を発表しました。

そして、第3章はオブジェクトストレージ時代となります。1980年代にカーネギーメロン大学とカリフォルニア大学バークレー校で行われた研究が、1990年代後半までに「オブジェクトストレージ」システムの実用化につながりました。

これはまさに、携帯電話を使用している消費者がデジタル写真やビデオを撮影し、保存する必要のあるデータ量が劇的に増加し、その多くが無期限に保存されるようになった頃のことです。SANやNASのような技術では、このような非構造型データの急激な増加に対応することはできませんでした。

オブジェクトストレージには、この新しいジャンル(デジタル写真、ビデオなど)のデータに適合する多くの特徴がありました。オブジェクトストレージの高い拡張性は、大容量で構造化されていないファイルでよりよく機能し、容量がTB(テラバイト)からPB(ペタバイト)になるにつれて、従来のストレージ技術では拡張性だけでなくパフォーマンスにも根本的な問題を抱えていました。

従来の技術では、容量が大きくなるにつれてパフォーマンスを制限するボトルネックが発生していましたが、オブジェクトストレージは簡単に拡張できるだけでなく、ストレージノードが増え、容量が大きくなるにつれて実際のパフォーマンスが向上していきました。

そして2000年代半ばには、基本的なストレージのバックボーンとしてオブジェクトストレージが採用され始め、採用したすべてのパブリッククラウドで、これらの利点が明確に認識されるようになりました。

Amazon S3の出現

しかし、これらの明らかな利点にもかかわらず、オブジェクトストレージがエンタープライズで主流になるまでには、さらに10年の歳月がかかりました。では、なぜこのようなことが起こったのでしょうか？

これは、新しいミレニアム時代におけるデータの成長のパターンを観察することで簡単に説明できます。例えば、2010年代初頭にはソーシャルメディアの成長により、画像や動画を保存するというニーズを生み出しました。さらに、バイオサイエンスや遺伝学の研究などの特定の分野では、過去には考えられなかったようなデータの保存が必要になります。

例えば、IoT技術により、メーカーは安価なデバイスで1日にテラバイトのデータを生成することが可能になりました。そして、ほとんどの企業が生成していたデータ量は、電子メール、録音された音声やビデオセッション、トレーニング資料などの非構造化データを中心に、急速に増加していました。

これらの企業データは、集中管理され、バックアップされ、多くの場合、複数のコピーが必要となっていました。これらすべてが、わずか20年前には想像もできなかったようなデータの爆発的な増加につながりました。

この成長のもう1つの重要な要素は、Amazon S3(Amazon Simple Storage Service)の出現でした。企業がクラウドやアプリケーション間で簡単に通信できるようになり、この頃にはS3 APIが世界共通の方法でストレージを扱うための世界標準になっていました。

そして、ついにソフトウェア定義ストレージがコモディティハードウェア上でエンタープライズグレードのストレージを可能にしたため、この20年間でストレージの単位コストは桁違いに低下しました。

例えば、Amazon S3のコストは2006年から2016年の間に80%低下し、その後も低下し続けていますが、オンプレミスのS3ソリューションはその数分の1のコストで同じことができます。企業は今、過去には考えられなかったようなデータ集約型の新しいアプリケーションを立ち上げたり、以前はコストのために常に削除されていた貴重なデータを無期限に保存し始めたりすることができるのです。

要約すると、オブジェクトストレージ自体の簡単な歴史は3つのサブチャプターで見ることができます。第1章は、構造化されていないデータを効率的に保存するための無名でありながら強力な技術の開発と限定的な展開です。

第2章では、Amazon Web ServiceやMicrosoft Azureなどのパブリッククラウドが基本的なアーカイブプラットフォームとしてオブジェクトストレージを採用し始めました。

第3章は大企業が非構造化データを保存し、バックアップするために大規模なオブジェクトストレージ採用をしたことで、非構造化データを保存するための需要が増えてきました。

オブジェクトストレージは事実上無限の拡張性があり、コモディティハードウェアと同様の経済的な利点を提供し、ほとんどのアプリケーションからアクセスすることができます。これは、多くの人が「オブジェクトストレージはストレージの歴史の中で最後のチャプターになり得るのか」という、まだ答えの出ていない質問につながります。