スマートフォンをはじめとするモバイルデバイスの増加やSNS利用の広がり、IoTの普及など、世の中に生成されるデジタルデータは膨大化しています。そして、企業が蓄積するデータも日々増加しており、同時にデジタルトランスフォーメーション(DX)の機運が高まっている昨今では、「ビッグデータ」や「データドリブン」などの言葉が浸透し、膨大なデータの利活用がビジネスの成長のカギとなっています。そして、多くの企業ではこれらのデータをビジネスや業務改革にどのように活用していくかを課題としています。
なかでも、データ分析を行う場合、「データの量が多すぎて分析に時間がかかる」「抽出や加工に想定以上の手間がかかる」「専門家がいないため、どうデータ分析を進めるべきか分からない」といった課題が浮き彫りとなっています。
こうした課題を対処するには、適切なデータ分析基盤の構築が必要です。本稿では、データ分析基盤とはなにか、なぜ必要とされるのか、構築時に押さえておくべきポイント、について分かりやすく解説します。
データ分析を効率的・有効的に行うために必要な「データ分析基盤」
データ分析基盤とは、蓄積された多種多様な大量のデータを一貫して整理、統合し、分析をスムーズに行うためのプラットフォームです。Excelなどのスプレッドシート上にあるデータだけを分析する場合は、プラットフォームを考慮する必要はないでしょう。しかし、大量かつ多様なビッグデータをビジネスで活用する際には、多角的にデータを分析する必要があるため、膨大な時間と手間が必要になります。本格的なデータ分析をゼロから行うにあたっては、一般的には次のようなステップが存在します。
1. データを集める・蓄積する
分析の対象となるデータを1つの場所に集約して統合します。
2. データを加工する
溜めておいたデータを分析に有効な形式になるよう加工を施します。
3. データを分析、可視化する
加工したデータをもとに分析を行い、グラフなどに表して可視化します。
こうした作業はそれぞれの段階ごとに個別のツールを用いて行うこともできますが、それでは効率がよくありません。そこでデータ分析「ツール」のように、単一の機能を提供するのでなく、分析に必要な一連の機能をカバーして提供する「プラットフォーム」が必要です。
昨今では、データ分析の機運が業種を問わずに高まっていますが、一方で企業内にてデータが散在してしまう「データのサイロ化」に悩む企業も多く見られます。業務へのデジタル活用が進み、データを生み出す複数のシステムが導入されているものの、システムがバラバラであるために、統合的なデータ分析ができない状態です。そこで、複数のデータを集約した単一のプラットフォームとしてデータ分析基盤の存在が有効なのです。
データ分析基盤を構築すべき3つの理由
企業はなぜデータ分析基盤を構築するべきなのでしょうか。データ分析基盤のメリットを踏まえて、ここでは以下の3つの理由を紹介します。
1. スピーディに分析できる
データ分析そのものは、すでに多くの企業が行っているでしょう。しかし、その業務負荷とスピードに課題を感じる企業は少なくありません。
たとえば、業務システムからcsvファイルなどをダウンロードしてExcelなどに集約し、そこから手作業またはマクロを用いて加工し、可視化・分析を行う作業は、ごく一般的に見られるデータ分析の方法です。しかし、このプロセスは当然ながら多くの工数がかかります。
そこでデータ分析基盤を構築すれば、こうしたデータの収集・加工・分析・可視化という一連の流れを効率的に実施でき、データ分析をスピーディに実施することが可能です。また膨大なデータを扱う場合は、そもそもExcelなどのファイルでは負荷がかかって処理速度が遅くなってしまうことがありますが、データ分析基盤があればそうしたパフォーマンスの問題も解消できます。
2. 分析の品質が上がる
データ分析を特定の個人が手作業で行うプロセスには、データ品質低下のリスクがあります。たとえば、担当者によってデータの集計方法や加工方法が違う、また集計ミスによって結果が異なってしまう、担当者ごとに別のデータを使っているなど、さまざまな理由から作業者によって統一性のない情報が生成される可能性もあります。統一性が欠如していれば、分析用に作成した複数のデータを横串で正しく分析することもできなくなってしまいます。
そこで、データ分析基盤を構築して一元的な管理を実現すれば、このような分散化を防ぎ、データを一元化的に管理できます。結果として、組織横断的に同一の条件で分析できるようになり、分析データの質が向上します。
3. 誰でもデータを分析・抽出できる
データ分析には、先述した収集から加工といった分析前の業務が複雑であるために、特定の担当者に業務が属人化してしまうケースがあります。また分析においても、データサイエンスや機械学習など専門的な知識を必要とする場合、業務は特定の担当者に依存してしまうでしょう。
データ分析基盤を導入すれば、こうした課題を解消することができます。複雑な処理はプラットフォーム側が提供する機能で吸収してくれるため、一定の操作さえ覚えれば、ほしい分析結果はスキルや知識に依存せずに得られます。データ分析の業務属人化を防止できるほか、新たに分析業務を行う人を育成する際もそのリードタイムを短縮できます。
もちろん、本当に高度なデータ分析はデータサイエンティストのような人材が求められます。しかし、データ分析基盤があれば、定型業務は他の人材が担い、高度なスキルが求められるものは専門人材が担うというような役割分担が可能になります。
データ分析基盤構築のポイント
このように、さまざまなメリットがあるデータ分析基盤を実際にどのように構築すればよいのでしょうか。ここでは必要なプロセス、注意するべきポイントについて説明します。
最初に実施するべきことは、自社に蓄積され、分析に使おうとしているデータを客観的に評価すること、つまりデータアセスメントを行うことです。データ分析によって何を実現したいのかという目的を踏まえ、必要なデータは存在しているのか、またデータの品質は十分なのかという点を確認する必要があります。データは、ものによっては慎重な取り扱いが求められる場合もあるでしょう。その際に、データ取り扱いやセキュリティのポリシーなども検討しなければなりません。
データ分析基盤に限らず、データベースを扱う際に欠かせないのがデータスキーマの定義です。これはデータベースの構造を表した設計図のようなものです。データをどのように分析するかによって、データがどのように格納されるかが変わってきます。データ分析の要件が頻繁に変わることが予想される場合に、スキーマもその構造を途中で変更する可能性があり得ますので、それを前提にシステムを選択しておくことが重要です。
データ分析基盤の設計にあたっては、データの流れを正しく設計することが重要です。たとえば、データの一部を変更する場合について考えてみましょう。このとき、アプリケーションまでさかのぼってデータを修正可能な設計にしてしまうと、データ変更の影響範囲が把握しづらいうえに誤りが生じやすくなります。また誤りによって生じたトラブルの復旧が遅れる原因にもなります。
実際にデータ分析基盤を稼働させるために、どのITインフラを選定するかも重要です。オンプレミス、クラウドどちらで構築するかを考える必要もありますが、これは次回のコラムで詳しく解説します。なお、データ分析基盤のシステムを構築するには、自社で独自に開発するのではなくITベンダーが提供している製品を利用するのが現実的でしょう。もちろん、製品を導入するだけではすぐに使えないので、自社で使っているアプリケーションと接続したりデータを移行したりする作業が必要になります。
データ分析基盤もクラウドシフト
昨今では、ビジネスのスピードがグローバルで加速しており、企業はビジネスの変化へ素早く対応を行っていく必要があります。そのためにも、意思決定に必要な情報をタイムリーかつスピーディに提供できるデータ分析基盤の役割は大きいでしょう。
データ分析基盤のスピーディな展開を考える際に注目しておきたいトレンドが、世界的に広がるクラウドシフトの動きです。最近では大手クラウドサービス事業者もデータ分析基盤として活用できるさまざまなソリューションを提供しており、クラウドでデータ分析基盤を構築しやすくなってきています。
どのようなITインフラが適切かどうかは企業によって異なりますが、迅速性と柔軟性を確保するうえでも、オンプレミス上で自社にてハードウェアやソフトウェアを用意して運用・保守を行う負担を考慮すると、ITベンダーが提供するクラウドサービスを活用するという選択肢に注目が集まっています。ぜひ選択肢の1つとして考えておくと良いでしょう。
今回はデータ分析基盤が必要とされる背景から構築時のポイントなどについて触れました。次回は、クラウドの有効性という観点を踏まえたデータ分析基盤構築の考え方を紹介します。
関連リンク
[PR]提供:Snowflake