従来式のクラウドにあった、データ分析基盤運用の限界。Microsoft Azure とマイクロソフトの サポートによってこの限界を打破したエクシング の取り組みとは

データから洞察を得て 新しい音楽エンタテインメントを生み出し続ける

エクシングの社名は、"未知 (X) へ挑戦し続ける (ing) = XING " を由来としています。その名の通り、同社は中核事業の通信カラオケ サービス「JOYSOUND」だけでなく、カラオケ・ソーシャルメディア「うたスキ」、モバイル エンタテインメント事業など、多方面から数々の音楽エンタテインメントを世に提供しています。

失敗を恐れて既存事業に固執し続けていては、企業としての発展は見込めません。しかし、残念ながら旧態依然とした事業経営を継続する企業は少なくありません。こうした中、エクシングが新たな音楽エンタテインメントを数多く生み出せている背景には、どのような理由があるのでしょうか。株式会社エクシング システム統括部 部長の内藤 芳信 氏は、同社の企業風土に触れながらこのように語ります。

「経営側から命じられたことを遂行するのではなく、各部門が経営意識を持って事業を回していく、そうした風土が当社にはあります。例えば、一般の IT 部門は既存のシステムを安定して提供することが第一に求められます。もちろんこれも重要ですが、私たちは何よりも新しい音楽コンテンツを開発することを重視しています。今どのような音楽ニーズがあるのか、どんな仕組みがあればそこに応えられるかを IT 部門も検討する、そして事業部門を巻き込みながら新しい音楽エンタテインメントを創造していく。こうした風土の存在が、『みるハコ』や『楽器カラオケ』といった新たな音楽エンタテインメントを世に生み出せている理由でしょう」(内藤 氏)。

同氏が触れた「みるハコ」は、音楽ライブやミュージカル、アニメなどの長編映像や、数千曲ものミュージック ビデオをカラオケ ルームで楽しめるというサービスです。2019 年冬には、カラオケルームでのライブ・ビューイングも本格展開することが予定されています。また、「楽器カラオケ」では画面に表示される譜面を見ながらカラオケ機器に接続した楽器で演奏を楽しむことができます。

• 「みるハコ」(上) と「楽器カラオケ」(下)。こうしたイノベーティブなサービスの存在は、カラオケ店舗側にとって「JOYSOUND」の機器を導入する大きな理由となる

先の 2 つのサービスは、"カラオケ = 歌うところ" という世のイメージを覆す点で共通しています。「私たちは当社で蓄積している膨大な情報を基にして音楽ニーズの動向を捉えています。細かな分析手法はお話できませんが、お客様の今の音楽ニーズやライフ スタイルの変化をデータから見定めた結果生まれたのが、先述した新しい音楽エンタテインメントです。」内藤 氏はこう述べ、エクシングが整備しているデータ分析基盤について言及します。

エクシングの用意しているデータ分析基盤では、全国のカラオケ店舗に設置された数十万台の端末で収集される膨大な歌唱履歴など、多種多様なデータを蓄積しています。2014 年に構築し、膨大なデータを分析することによって、音楽ニーズの移り変わりやライフ スタイルの変遷を捉えることが可能となりました。このデータ分析基盤は、前述した新たなサービス企画だけでなく、サービスの反響分析や機器設置の商談など、あらゆるユーザー、様々な場で活用されています。

しかし、時代の変化を捉えるのに必要な "蓄積し続ける" という特徴を背景に、従来利用してきたデータ分析基盤にはある限界が訪れていたと言います。株式会社エクシング システム統括部 第二事業システムG の神谷 友樹 氏は、このように説明します。

「保持する期間を定めずに "蓄積し続ける" ことが、新たな音楽エンタテインメントを生み出すための原資になります。当然ここでは、データの肥大化という課題と向き合わなければなりません。情報関連経費は湯水のごとく湧く訳ではありませんし、データが肥大化すれば性能も劣化します。性能とコストの両面をクリアしながらデータの蓄積を継続していく、このために、私たちは現在、Microsoft Azure を利用して従来環境からのリプレース作業を進めています」(神谷 氏)。

Azure Databricks とAzure SQL Data Warehouse でコストと性能を両立したデータ分析基盤を構築

エクシングではこれまで、Amazon Web Services および同クラウドが備える DWH サービスの下、データ分析基盤を利用していました。オンプレミスの基幹システムから集計用の DWH へデータを送信し、ここで加工されたデータを参照用の DWH に送って蓄積する。集計と参照で DWHを切り分けてリソースを増減させることが可能なこの設計は、一見すると理想的な仕組みにも見えます。

ですが、株式会社エクシング システム統括部 第二事業システムGの赤木 大祐 氏は、従来環境はクラウドの持つスケーラビリティを最大現活用するような仕組みではなかったとし、こう詳細を述べます。

「集計と参照のワーク ロードの混在は、全体の性能悪化を引き起こします。両環境の切り分けは不可欠でしたが、ここで 1 つ問題がありました。従来利用していたクラウド サービスは、処理リソースと容量が一体となった形でプラン化されているということです。集計用の DWH は月に数億レコードにも上るデータを蓄積して加工・集計するため TB 級の容量が必要となるのですが、更新にかかる時間を気にしない場合は性能はそれほど必要としません。一方、参照用の DWH は BI ツール から複数の参照ワーク ロードが同時に走る可能性があり、ユーザーのレスポンスに直結するため、それを担保できる性能が必要です。しかしながら集計済みのデータしか保有しないため、容量は少なくてよいのです。どちらの要件も満たすには、集計・参照の両環境を上位プランで揃えなければなりません。しかし、コスト的にこれは叶いませんでした。結果として "運用でカバー "という形を採らざるを得ず、このためにユーザーの利便性に多大な影響が出ていました」(赤木 氏)。

エクシングでは従来、参照側の DWH は上位プランを利用し、集計側はバッチ処理が走る時だけ一時的に下位プランを起動するという、文字通り "運用でカバー " する形を採っていました。しかし、DWH の立ち上げだけで数時間を要する規模にまでデータ量が肥大化したために、処理リソースが制限されていることもあって BI ツールへのデータ反映が大きく遅延していたといいます。また、運用が複雑化するために定常運用の工数も肥大化していました。

処理リソースと容量が一体化されているクラウドは、データ分析基盤を維持する上で限界があるのではないか。こうした疑問を抱きつつあった中、マイクロソフトの開催するセミナーに参加したことがクラウドの限界を打破するきっかけとなったと神谷 氏は述べます。

「データ分析を主題としたセミナーでしたが、そこで Azure SQL DataWarehouse ならば処理リソースと容量を切り分けてプランを組むことができることをまず知りました。これだけでも当時感じていた限界意識を無くすには十分だったのですが、特に感銘を受けたのは、並列分散処理を行う Apache Spark ベースの Azure Databricks を利用すれば、RDB の仕組み無しに加工・集計処理を切り出せるという点でした。2014 年にデータ分析基盤を整備して以降、『こういった情報も欲しい』というリクエストを理由に 1 回あたりの集計データが増えていましたから、並列分散処理によって集計の性能を担保できる点には大きな魅力を感じました」(神谷 氏)。

マイクロソフトのサポートが、エクシングのチャレンジを支える

神谷 氏は、セミナーに参加するまでは並列分散処理という選択肢自体が存在していなかったと振り返ります。それ故に、自社のスキル セットに無い新たな技術をデータ分析基盤に取り入れることは、エクシングにとって大きなチャレンジだったと言います。

ですが、神谷 氏は、マイクロソフトが提供する手厚いサポートを理由に、このチャレンジを進めることを決断したと語ります。

「セミナー後、マイクロソフトに相談したところ、すぐに "あるべきアーキテクチャ " について一緒に議論する場を提供いただきました。その後、POC (概念実証 ) を実施したところ、従来環境と比べてコストを減らしながら、性能は倍以上高められるという結果が得らえました。もちろん、こうしたサービスとしての有用性もリプレースを決めた理由ですが、何より決め手となったのは、Spark や Python といった私たちのスキル セットに無い技術を、トレーニングや独自のマニュアル作成、サポートなどの側面からマイクロソフトが補完してくれるという点です。マイクロソフトとならば過不足なく新しい技術を取り入れられる、この手応えが同社との会話の中で得られました」(神谷 氏)。

これに続けて内藤 氏と赤木 氏は、現在移行作業を進めているデータ分析基盤のアーキテクチャ設計に触れながら、リプレースで見通している効果について説明します。

「まずオンプレミス上にある各種データを非構造化データのまま Azure Blob Storage に一度貯めます。その後、Azure Databricks で成形した構造化データを Azure Blob Storage に格納する。このデータを基に、アドホック分析を行うユーザー向けには全データを Azure SQL Data Warehouse へ蓄積し、サービス担当者や営業といったレポート参照ユーザーには必要なデータを再度 Azure Databricks で集計する、そしてこれを BI ツール で参照するという設計を採っています。アーキテクチャ自体は複雑ですが、ジョブのオーケストレーションは Azure Data Factory で一元管理できますので、運用を大幅に簡素化できると期待しています。また、POC ベースですが、Azure Databricks の 8node 設定でも、旧DHW サービス の SSD プランと比べて大幅に性能が向上する見通しです」(赤木 氏)。

「ノードを増やせば処理性能はもっと高められますから、集計部分の性能はこれから先も担保し続けられるでしょう。また、処理リソースと容量を切り分けてスケールできる点も魅力です。数十億の歌唱履歴ログでテストを行いましたが、そこでは特定の条件下においては従来環境から 3 分の 2 程度、処理時間を短縮できる結果が出ています。もう 1 つメリットだと感じるのは、ユーザーごとにレポートやアドホックといった形でデータの出し方を変えることができる点です。従来環境では赤木が述べたような切り分けができませんでしたから、当社におけるデータ活用の在り方やその可能性は大きく広がると考えています」(内藤 氏)。

• 現在移行作業が進められているデータ分析基盤のアーキテクチャ図。Azure Data Factory の統合ランタイム機能を利用することで、Azure 上だけでなくオンプレミスの DB やファイルサーバーも含めて、ジョブ実行を一元管理可能。神谷 氏は「定常運用に要するリソースは劇的に削減されるはずです。そこで得られるリソースを、新たな企画、開発に割り当てていきたいですね。」と笑顔をみせた

新たな音楽エンタテインメントの創発を、マイクロソフトとともに

従来利用してきたクラウドも、Azure Databricks のように特定ジョブを実行するサービスは提供していました。加工や集計処理をここへ切り出せば、同じような成果が得られたかもしれません。

ですが、内藤 氏は、「私たちが何よりも求めたのは、一緒になって最適なシステムの在り方を考えてくれるサポートでした。今回の取り組みを経て、これはマイクロソフトだからこそ提供できるものだと考えています。2018 年末にプロジェクトをスタートしてからわずか半年後には本番稼働を予定しています。早期に、"新しい技術の実装" を伴うリプレースが進められていることは、手厚いサポートあっての成果でしょう。」と、マイクロソフトのサービスを高く評価しました。

続けて神谷 氏は、リプレース後は定常運用の工数が大きく削減されるだろうと言及。ここで得られるリソースを活用し、経営を加速させる IT 施策を数多く進めていきたいと語りました。

「カラオケの機器では音声や映像などのデータを収集することも可能です。AI によってこれを分析すれば、これまでは考えつかなかった機能や音楽エンタテインメントを生み出していくことができるはずです。Azure Databricks は AI 関連のライブラリも充実しています。もちろん、音声や映像などの大容量のデータをどう取り扱うかは大きな課題ですが、マイクロソフトとも相談しながら、こういった新たな取り組みを数多く進めていきたいですね」(神谷 氏)。

独力では困難だった "新しい技術の実装" を、Microsoft Azure の下、マイクロソフトと協同して実現したエクシング。この取り組み自体が、エクシングの DNA ともいえる "未知へ挑戦し続ける" の表れだといえるでしょう。ライフ スタイルの多様化が進むこれからの社会にあっても、同社はきっと高い価値を顧客へ提供し続けてくれるに違いありません。

[PR]提供：日本マイクロソフト