ニコニコのプライマリストレージとしても活躍 - エンジニア集団ドワンゴはなぜ「CLOUDIAN HYPERSTORE」を採用したのか

高度な技術に支えられたエンターテインメント事業

ドワンゴは、1994年に米国で始まった「DWANGO」サービスを前身として、ネットワークゲームの企画・開発・運用等のサービスを提供する目的で1997年に正式に設立された。以後、さまざまなコンテンツサービスの開発・提供を経て、著名な「ニコニコ動画」サービスを2006年に開始。

現在は、動画・画像配信やネット放送を中心とした「niconico」サービスを中核として、エンターテインメント分野で幅広く事業を展開している。モバイル向けには「着うた」やアニメ配信のほか、2018年11月にリリースされた“一生歩けるRPG”をうたうゲームアプリ「テクテクテクテク」が話題となっている。他にも、バーチャルキャラクターで生放送を行う「Virtual Cast」にも注目だ。

また、コンテンツサービスだけでなく、毎年大勢の参加者で盛り上がるライブイベント「ニコニコ超会議」や、人工生命観察プロジェクト「ARTILIFE」など、さまざまな分野で先進的な事業を展開しているのも同社の特徴である。

こうしたサービスを支えるのが、同社 ICTサービス本部 Dwango Cloud Service部 Datastoreセクション セクションマネージャの加藤俊弥氏をはじめとした、数百人のエンジニア集団だ。データセンター環境のバックエンドから、アプリケーションなどのフロントエンドにいたるまで、隙間なく技術・スキルを保有しているという。

• ドワンゴ ICTサービス本部 Dwango Cloud Service部 Datastoreセクション セクションマネージャ 加藤俊弥氏

「当社はフットワークが軽く、新しいサービスを展開するスピードも非常に早いのが特徴です。コストを抑えるためのプライベートクラウド、予測できない成長を支えるためのパブリッククラウドまで、適材適所で活用できるように心がけています」（加藤氏）

データ管理の効率性と利便性をオブジェクトストレージで両立

ドワンゴのビジネスは、言うまでもなくデータが極めて重要である。PBクラスの動画や画像などのコンテンツを抱え、サービスを提供するためのデータベースやAPI、Webなど、多種多様なデータを保有している。

加藤氏の所属するチームでは、ストレージインフラの構築・運用を主に行いつつ、社内のデータマネジメント・ビッグデータ分析を担当しているチームと協力している。加藤氏自身も、50～60台ものストレージデバイスを管理しているという。

「今やコンテンツは増々リッチになり、データ容量は増えることはあっても減ることはありません。特に、私たちのコンテンツサービスはロングテールになることが多く、数年前の動画がSNSで話題となって、アクセスが急増するということもあります。そのためコストを抑えつつ、快適に利用できるストレージサービスを提供することに注力しています」（加藤氏）

そんなドワンゴでは、このストレージに関わるコストに課題を抱えていた。以前より、サービスごとにストレージを構築・運用していたため、いわゆるサイロ化が進んで利用効率が悪化していたのだ。これらを集約し、統合的に管理する方法を検討していた。

まず、IAサーバーとSSDを組み合わせて統合ストレージを自前で設計構築してみたが、運用負荷が高いことから諦めざるを得なかった。より効率がよく、堅牢で、利便性の高いストレージが必要と考え、注目したのがオブジェクトストレージ技術である。

問題は、はじめに統合管理を必要としていたのが、イラスト画像やサムネイル画像、ニュースコンテンツの写真などの大量の小さなデータで、せいぜい数十TB程度のサイズであることだった。一般的なオブジェクトストレージソリューションは数百TB以上のデータを扱うために開発されており、このニーズには適さなかったのだ。

「そこで白羽の矢を立てたのが、クラウディアンの『CLOUDIAN HYPERSTORE』です。この製品であれば、当社が抱える課題を解決できると考えました。自社開発という選択肢もありましたが、数TBからスモールスタートが可能であり、ベース技術のApache Cassandraも小さなファイルを扱いやすいという特徴にメリットを感じました。そして、Amazon S3 APIにおいて単なる“互換”ではなく“100％ネイティブS3 API”であることが最大のポイントです。プロトコル変換レイヤーが存在しないためシンプルな構成で、かつ、将来的に新たなS3 APIが出てもすぐに対応できうるというのは、非常に魅力的でした」（加藤氏）

オールフラッシュとHYPERSTOREでオブジェクトストレージの常識を覆す

一般的には、低速でも非常に安価に大容量を実現できるのがオブジェクトストレージ技術の特徴である。しかしHYPERSTOREは、ブロックストレージと同等のパフォーマンスを発揮できるという特徴がある。さらにドワンゴでは、オールフラッシュ構成を採用し、高性能なハードウェアを組み合わせて、プライマリストレージとして活用する道を見いだした。

「もちろん事前に、シビアなテストを実施しました。もはや“やりすぎ”とも言える負荷テストを繰り返し、オブジェクトストレージでもSSDのパフォーマンスを最大限に発揮させられることを確認することができたのです」（加藤氏）

また、技術力に富んだドワンゴといえども、導入当初は不安があったという。しかし、クラウディアンの技術トレーニングを受け、コミュニケーションの円滑化を図ることでその不安を徐々に解消していった。

「クラウディアンのサポートによって導入がスムーズに進み、安定的な運用を実現できました。また、HYPERSTOREに採用されているコンポーネントを見れば技術力・選定眼の高さが感じられますし、私たちの細かな問い合わせに対しても迅速かつ的確な回答をしてくれます。クラウディアンは、我々のようなエンジニアとしては非常に安心できるメーカーです」（加藤氏）

ドワンゴでは、HYPERSTOREを用いたオブジェクトストレージ環境を、ニコニコ静画のイラスト画像やニコニコ生放送のサムネイル画像、ニコニコニュースの画像などを格納する「プライマリストレージ」として採用した。また、開発部門などが一時的に利用する共用ストレージとしても、便利に活用しているという。

加藤氏は、HYPERSTOREの採用によって、「ストレージの運用負荷・コストは大きく低減できた」と評価する。開発部門に対しても「S3 SDKを使って」と案内するだけでよく、管理側の手間がかからないことが大きな要因だ。社内ではHYPERSTORE のPR活動をしなくとも自然に利用が広がり、徐々に使用量も増え、サイロ化からの脱却が進んでいるそうだ。

新しいニーズに応える、新しいストレージ技術へ期待

ドワンゴのサービスが、今後どのように変化・進化していくのか、加藤氏も「誰も想像できない」と述べる。今後もコンテンツは増えていくだろうし、まったく新しいサービスが登場する可能性もある。

しかし、データが肥大化・多様化していくことは想像に難くない。加藤氏は、HYPERSTOREに格納するデータも1～2年のうちに少なくとも倍程度に増えると予測しており、それに応じて拡張していく計画だ。

「今後のデータ量増加を見据え徐々にスケールアウトしていく予定です。HYPERSTOREはこうした拡張性に富んでいる点もメリットのひとつだと思います。また、今後の当社の未知なる事業拡大とともに、新しいニーズが登場したら的確に応えられるよう、クラウディアンには常に最新のストレージ技術を追求してほしいですね。より柔軟なキャパシティプランニングをとるためにも、利便性・管理性が高いストレージの“プロ”として、“進化”を続けてほしいと考えています」（加藤氏）

• HYPERSTORE導入の支援を行ったクラウディアンの松井良祐氏（左）と石田徹氏（右）

[PR]提供：クラウディアン