パネルデータ提供・分析システムのアーキテクチャをSnowflakeで刷新、顧客のマーケティング活動を強力に支援できる仕組みを構築

• 株式会社インテージテクノスフィア 川口真氏

市場調査・マーケティングリサーチの国内リーダー企業インテージは、顧客に提供しているパネルデータ提供・分析システムのアーキテクチャを、Snowflakeを使って刷新した。これまでよりも高速で多角的にデータ分析を実施できるようになり、顧客はパネルデータをより高度に活用できるようになった。

課題：市場調査・マーケティングリサーチのトップ企業が抱えた課題

1960年に創業した市場調査・マーケティングリサーチのパイオニアとして、多くの企業にサービスを提供しているインテージグループ。市場調査やリサーチに加え、ヘルスケア領域でのマーケティング支援やビジネスインテリジェンス事業も行い、国内トップに位置する業界リーダー企業だ。

そのインテージグループでマーケティングシステムやデータ分析システムを開発しグループ企業や顧客企業向けにサービスとして提供しているのがインテージテクノスフィアだ。マーケティングやデータ分析を行うためにITシステムは不可欠な要素であり、ITシステムをいかに高度化させるかがビジネスの成否を大きく左右する。

インテージテクノスフィアの川口真氏は「お客様がマーケティング活動を迅速に正確に行うためには、正確なパネルデータの分析結果をいかに迅速に提供できるかが重要です。ITシステムに対しても、お客様のビジネス環境が激しく変化する中で、常に新しい価値を提供し続けることが求められます」とデータ分析のためのシステム基盤の重要性を指摘する。

インテージテクノスフィアでは、顧客向けのパネルデータ提供・分析システムやデータ分析システムを独自に開発することで日々変化する顧客ニーズに迅速に対応している。また、顧客に新たな価値を提供するためにシステムのアップグレードにも定期的に取り組んでいる。そんな同社が、パネルデータ提供・分析システムの大規模アップグレードにあたって採用したのがクラウドデータウェアハウス(DHW)・データプラットフォームのSnowflakeだ。

「パネルデータを提供・分析するシステムは、インテージグループにとってビジネスの要となる最重要プロダクトの1つです。Snowflakeはそのシステムを構成する重要な基盤として、我々のビジネスとお客様のビジネスを支えてくれています」(川口氏)

解決策：パネルデータ提供システムのパフォーマンスとスケーラビリティを解決

インテージテクノスフィアがSnowflakeを採用するに至った背景には、大規模アップグレードにあたって直面したさまざまな技術課題があった。パネルデータ提供・分析システムは、顧客の分析ニーズに応じて多角的な分析を高速に行うことが求められる。このニーズに対応するため、インテージテクノスフィアは分析のためのエンジンを含めてすべて内製していた。

「一般的にデータ分析にはDWHやETLツール、BIツールが利用されますが、当社の場合は、複雑な分析条件にすばやく対応し、より高速にレポートを作成できるようにするため、DWHを用いずに直接データを処理するという仕組みを採用していました。今後、処理するデータ量が増え、分析の条件も複雑化していくと、データ分析基盤をスケールさせる必要があります。そこで、大規模更改にあわせて、独自のアーキテクチャから、DWHを利用した一般的なシステムアーキテクチャへと刷新することを決めました」(川口氏)

そこで課題となったのが、一般的なDWHではインテージテクノスフィアが内製したエンジンほどのパフォーマンスが出せなかったことだ。定評のあったクラウドDWHを採用してチューニングを施したものの、大量のパネルデータを一度に処理する場合は性能要件が満たせなかった。

「単発の分析なら問題ないレベルで処理できるところまでチューニングできたのですが、パネルデータは日々更新されるため、数千件という規模のレポートをほぼリアルタイムに処理していかなければなりません。当時利用していたDWHでは、ピーク時に性能要件が満たせませんでした。また、どうスケールさせるかやどうコストを最適化するかも課題でした」(川口氏)

基盤刷新そのものが頓挫してしまいかねない状況だったのだ。そんななかで出会ったのがSnowflakeだった。とあるITイベントで新しいDWHサービスが登場し欧米で人気が出ていることを知った。当時は日本法人が設立されていなかったため、直接米国本社にコンタクトをとり、検証とサポートを依頼した。「実際に触れてみて衝撃を受けました」と川口氏は振り返る。

結果：アンリミテッドパフォーマンスとニアゼロマネジメントを高く評価

Snowflakeは、独自開発のエンジンやほかのクラウドDWHと比べて、多くの優位点があった。まずはパフォーマンスだ。どのようなDWHでも、データを格納してからクエリーを発行し、その結果をうけてチューニングしていくという作業が基本となる。ところがSnowflakeの場合、クエリーを発行しただけで、予想を遥かに超えるスピードで結果が返ってきた。

「最初は間違いだと思い、次に試してみて『なんだこれは』と驚きました。複雑な条件でピークタイムに処理を走らせても問題がでない。『アンリミテッドパフォーマンス』というキーワードをうたっていて、当初は半信半疑だったのですが、実際に自分の目でみて『これは本物だ』と確信しました」(川口氏)

Snowflakeのメリットは、パフォーマンスだけにとどまらないこともわかった。拡張性やコストの面で注目したのは、コンピュートとストレージを分離したアーキテクチャだ。一般的なクラウドDWHでは、コンピューティング要件を追求するとストレージも同時に拡張されることが多く、ムダなコストが発生しやすい。Snowflakeは、コンピューティング要件とストレージ要件それぞれにあわせてスケールアウトが可能だ。データ量よりも性能要件が厳しいインテージテクノスフィアのような環境に最適だった。

「1つのストレージにデータを集約して、多岐にわたる分析条件ごとにコンピュートだけをスケールさせることができます。ビジネスの展開を踏まえながら、多様な使い方ができるようになります」(川口氏)

運用面でも気づきがあった。Snowflakeは「ニアゼロマネジメント」を標榜しており、運用管理の手間を大幅に削減できることが特徴だ。キャパシティ計画やサイジング、データベース設計といったデータベース管理者が必要とするスキルの多くが不要になり、クエリーや分析といった本来業務に集中できるようになる。また、災害対策やセキュリティ対策、アップグレード作業もSnowflakeにまかせることができる。

未来：クローンやタイムトラベルを活用、新たな付加価値を提供していく

インテージテクノスフィアでは、DWH基盤にSnowflakeを採用した新しいパネルデータ提供・分析システムを2021年に公開する予定だ。現在は開発を終え、テストリリースとして最終的なテストを行っている段階にある。

川口氏はSnowflakeの導入効果について「当社のテストケースでは、ほかのDWHと比較して2〜5倍程度の性能向上がみられました。要件や構成は当社システムとして特殊かもしれませんが、本番リリースに向けて確かな効果を確認しています。コストについてもほかのDWHと比較して3分の2程度で済むと想定しています」と話す。

運用管理面では「クローン」や「タイムトラベル」といった機能を最大限に活用している。クローンはデータをゼロコピーで瞬時に複製して利用できるようにする機能で、タイムトラベルは過去のある時点のデータをいつでも参照できる機能だ。

「データはどんどん最新に塗り替わっていくのですが、その処理の一部で効果的にクローン機能を利用しています。また運用でも検証したいデータがあったときに、本番データをクローンしてすぐに確認することができます。タイムトラベルは何かトラブルがあったときに過去に戻ったり、最新のデータと比較したりするときに使います。これら機能は、ほかのDWHにないSnowflakeならではの魅力です」(川口氏)

パネルデータ提供システムの基盤として採用されたSnowflakeだが、今後は、2つの方向性でさらなる活用を検討しているという。1つは社内での展開だ。インテージグループでは事業部門ごとにDWHが乱立している状態にあり、それらをSnowflakeの「セキュアデータシェアリング」機能を使って集約できないかを検討している。もう1つは、顧客向けのデータエクスチェンジ基盤だ。現在はWebシステム上からレポートをダウンロードするかたちでサービスを提供しているが、Snowflakeを基盤とし顧客が直接アクセスできるプライベートデータエクスチェンジなどの利用も検討している。

川口氏は「新たな付加価値を提供するための基盤としてSnowflakeを活用していきます。また、ユーザーとしてだけでなく、セールスパートナーとして国内での普及に取り組んでいくことも検討しているところです」と今後を展望する。業界のリーダーとしてさらに加速するインテージグループのビジネスをSnowflakeは今後も支えていく。

[PR]提供：Snowflake