[対談] ビッグデータ分析基盤の導入から運用まで、失敗から学ぶ成功への道

様々なIT機器やソフトウェアから日々大量に生み出されるログ。これらを収集して解析を行えば、セキュリティの向上やシステムの改善、そして新しいビジネスの創出など、企業活動に役立てることができるはず。

しかし、いざログ解析を実施しようとしても、データ分析基盤の導入と構築、そして運用に課題を感じている企業は多い。

• Splunk Services Japanセールスエンジニアリング本部シニアパートナーセールスエンジニア 塚本政彦氏(右) CTCテクノロジー マネージドサービス第2本部 データマネージドサービス第2部データMS課 岡本新一氏(左)

本記事では、データ分析基盤として全世界9,000以上の導入実績を持つSplunkのパートナーセールスエンジニアである塚本政彦氏と、Splunkが日本に上陸して以来のパートナーであるCTCテクノロジーの岡本新一氏に、Splunkが持つ魅力とデータ分析基盤活用のコツを語っていただく。

ビッグデータ分析基盤の失敗要因と成功要因とは

データ分析基盤の「選定」と「導入」で失敗する要因にはどのようなものがありますか？

岡本氏
「データ分析基盤を導入したけどうまく活用できていない」というケースは多いと感じています。多くの分析ツールは、それなりに作りこみが必要です。そして、「製品の選定を曖昧にしたまま導入してしまい、結果運用コストが予想以上に掛かってしまう」そんな事例をいくつか見てきました。

塚本氏
データは、分析をすればするほど価値を生み出します。ですから、導入した後に自分が分析をしやすいようにカスタマイズしていくべきです。データに関する質問はSplunkで答えを出すことができます。お客様のあらゆる質問をSplunkに問いかけ、使いやすいサーチ文やダッシュボードを作っていくことが、成功につながっていくのだと思います。

岡本氏
例えば「ログ管理データの収集や可視化を実現したい！」という要望を出してくれるお客様ほど、成功しているように感じています。特にSplunkはカスタマイズしやすく、多様な機能を追加することも可能なので、お客様からの要望に対応しやすいです。

塚本氏
従来のデータ分析基盤の導入では、データ分析の目的を予め明確にし、そのために必要なスキーマを設計するところから入る必要があります。そうなると、実際に運用を開始して分析に価値が出てくるまでかなりの時間がかかってしまいます。

今日のビジネススピードに対応するには、素早いタイムトゥバリューが重要です。設計に時間がかかっているうちに、要件も変化しますし、新しい要件も出てきます。完璧なデータモデルができるまで待たずに、まずはいくつかのケースで分析をはじめ、変化に対して柔軟に対応できるようにしておくことが必要だと思います。

岡本氏
それこそ、まさにSplunkが持つ特徴ですよね。導入するフェーズと機能を拡張するフェーズが別々で実行できるので提案もしやすいです。実は、私たちのお客様は企業規模や業務内容の関係で、大規模なデータ分析基盤を導入しようとすると準備段階だけでもかなりの時間を要してしまいます。ですがSplunkであれば、まずは、ログ解析の基盤として導入して、データを溜め込み機が熱したら次の新たな運用を目指す、そんな提案ができるのです。

データ分析基盤の「構築」段階でよくある失敗にはどのようなものがありますか？

岡本氏
よくあるケースとしては、必要なデータを取り込めていないなどがあります。今は、様々な機器がいろんなログを生み出しているので、見落としてしまったり、構築ミスで取り込めていなかったりということも少なくありません。

そのため、構築する側にはソフトウェアだけではなくハードウェアについての知識も必要です。私たちCTCテクノロジーは様々な製品を取り扱っていて、それぞれに精通している社内の技術者もいます。その知識の幅と深さについては、Splunkの方々にも負けない自信があります。

塚本氏
Splunkは非常に奥が深くて、単純に導入するだけなら簡単ではありますが、Splunkと連携するハードウェアやソフトウェアの知識があれば、より幅の広い展開が期待できます。特にCTCテクノロジーさんは、お客様と関係が近く、新しいものを含め様々なプロダクトを取り扱われていますので、Splunkと合わせた活用方法やソリューションを幅広くご提案できるものと期待しています。

岡本氏
新しくてよいものを提案していくという風土があるのは確かですね。もちろん、「お客様の要望に応じて」ですが。

Splunkが実現したデータ分析基盤の運用例

データ分析基盤の「運用」を成功させるためのコツはありますか？

塚本氏
これは、先ほど話した内容にも通じるのですが、運用についても積極的に質問や相談をしてくるお客様ほど、成功しているように感じています。

岡本氏
それは私も全面的に同意します。以前、セキュリティ用のダッシュボードとして運用していたお客様から、インフラ用のダッシュボードを作りたいというご相談がありました。 ハードウェアのログは、機種やメーカーによっていろんな種類と形式があります。

また、何か異常が発生したときに、原因を探るためにログの内容を検索したいと思っても、そのためにはログをLinuxのシステムに取り込んでファイルを一つひとつ開いて確認しなければなりません。これでは、原因を見つけるまでに数日かかってしまう可能性があります。ですが、ログをSplunkに取り込めば、すべてのログファイルの内容を一瞬で検索できてしまいます。

「こんなことできないか」と相談をしていただければ、当然ですが、私たちは実現に向けて動きます。

Splunkを導入してデータ分析基盤を成功に導いた事例があれば教えてください

塚本氏
面白い事例として、ドバイ空港では、手荷物検査を行うセキュリティゲートの待ち行列の長さを分析しています。３Dカメラなどで得た列の長さの情報をリアルタイムにSplunkに投入することで、列が長い場合に追加のゲートを開けたり、他の様々なデータと相関させて、空港オペレーションの改善につなげたりしています。また、トイレの使用状況のデータを基に清掃スケジュールを最適化するなど、空港全体のさまざまなところでSplunkが活用されています。

もう一つ、興味深い事例を紹介します。アメリカのドミノピザでは、サーバー運用のためにSplunkを導入していました。すると、マーケティングの方から「クーポンを配布した際、いくら値引きをしたら反応が上がるのかをリアルタイムで計測したい」という要望が上がり、IT運用のダッシュボードの横にマーケティング用のダッシュボードを作ることになりました。Splunkでは、このような横展開が簡単にできるのです。

岡本氏
私の印象に残っている事例としては、ECサイトがセキュリティ目的で導入したケースです。以前は、WAF（Web Application Firewall）のログを機器ごとにWebアプリケーションで別々に確認をしていたのですが、非常に不便で統計も表示できないので、すべてのログを一元的に表示させるためにSplunkを提案することになりました。実は、そのWAFを構築したのは当社のメンバーだったので、機器ごとにログが出せないかをすべてヒアリングをして、カスタマイズした上でダッシュボードに表示するようにしました。

この事例は、CTCテクノロジー全体で、構築から運用まで進められた案件として強く記憶に残っています。

これまで、収集していなかった統計情報を分析した結果、あまり意識していなかった海外からもアクセスされていることが判明するなど、新たな発見があったそうです。

塚本氏
Splunkではよく、調査、監視、分析、そして実行と、4段階の成熟度モデルについてお話ししています。 Splunkをはじめて導入されたお客様は、Splunkをトラブルの事後対応や、インシデントレポートの作成などの「調査」に活用されます。この段階でもSplunkの価値は十分に感じていただけると思いますが、Splunkの活用とともに、再発防止のためにシステムを「監視」したい、原因を深く「分析」したい、データの分析結果に基づいて「実行」したい、という要望がでてきます。

お客様の成熟度は、このステップに沿って上がっていきますが、その際に、CTCテクノロジーさんのように経験のあるパートナーからのアドバイスがあれば、Splunkに対するお客様の理解も進み、高度なデータ活用体制を最短で実現できるのではないかと思います。

岡本氏
塚本さんのおっしゃる通りで、Splunkは使うだけなら本当に簡単です。ただ、「上手に」使うためにはそれなりの知識と技術が必要なのも事実です。

そのためCTCテクノロジーでは、Splunkについての教育や運用も支援するサービスを提供しています。

データ分析基盤成功のコツは「スモールから育ててビッグに運用」

データ分析基盤の構築や運用に頭を悩ませている方にメッセージをお願いします。

塚本氏
ビックデータの基盤を作ろうとすると、ついつい壮大な計画を立てがちになります。ですが、壮大になればなるほど、調整に時間が取られコストもかさみ、実現性が低くなります。ビッグデータ分析基盤だからと言って、最初からビッグである必要はありません。

小さな目的から徐々に育てていって、色々と運用した結果ビッグになる。その方が、タイムトゥーバリューが向上します。

岡本氏
塚本さんがおっしゃることは私もひしひしと感じています。

実は、私がSplunkに詳しくなったのは、自宅で操作方法の確認をするために使用していました。

使用していくうちに、ちょっとした実験もできるようになりました。そうやって触っていけば、Splunkにも詳しくなって、やりたいこと、試したいことが出てくるはずです。

ちなみに、Splunkはダウンロードすると、標準で 60日間 500MBバイトまでの無償トライアルがついてきます。

まずはどんな形でもいいので、データ分析基盤に触ってみてください。 個人的には、Splunkが定期的に行っているハンズオンセミナーへの参加をおすすめします。

[PR]提供：CTCテクノロジー