ベネッセコーポレーションが、オンプレミスからクラウドに移行したサービスのモダナイゼーションとクラウドネイティブ化を本格化させています。その代表的な事例の 1 つが、協働学習・一斉学習・個別学習に対応した小中学校向けタブレット学習支援サービスの「ミライシード」の PaaS 化です。IaaS 環境で構築していたストレージを Microsoft Azure (以下、Azure)が提供するストレージサービス「Azure NetApp Files」(以下、ANF)に移行し、ディスク容量の増大やパフォーマンス劣化などの課題を解消しながら、サービス全体のクラウドネイティブ化を推し進めています。ANF を採用した背景から、アーキテクチャ変更のメリット、今後の展望までを紹介します。
全国の小中学校で利用される「ミライシード」のクラウドネイティブ化に取り組む
一人ひとりの「Benesse =よく生きる」を実現するために、人々の向上意欲と課題解決を生涯にわたって支援することを目指し、ライフステージに沿った幅広いサービスを展開するベネッセグループ。代表的なサービスとして、乳幼児向けの「こどもちゃれんじ」、小中高向け「進研ゼミ」、学校・社会人向け「マナビジョン」「Udemy」、妊娠・出産・子育てに関する情報を提供する「たまひよ」、高齢者向けホーム「アリア」「グラニー & グランダ」などが知られています。
同社は DX( デジタルトランスフォーメーション)の取り組みも積極的で、2025 年までの中期経営計画の中核戦略として位置づけ、専門人材による組織基盤「Digital Innovation Partners(DIP)」の設立や、共創への投資ファシリティ「Digital Innovation Fund (DIF)」の設立など、重要な経営基盤として DX 推進体制を構築しています。
そうした DX やデジタル活用の最新事例の 1 つにベネッセコーポレーションが展開する「ミライシード」があります。ミライシードは、協働学習・一斉学習・個別学習に対応した小中学校向けタブレット学習支援ソフトです。ドリル学習や授業での意見共有などの活用、生徒一人ひとりのデータ蓄積から効果検証まで、学校教育で必要なプログラムをオールインワンで提供することが特徴です。GIGA スクール構想による学校教育のデジタル化に伴い、全国 9000 校( 2023 年 4 月時点)の小中学校で活用されています。
ベネッセグループにおけるデジタル活用とミライシードの取り組みについて、株式会社ベネッセコーポレーション DIP インフラソリューション部 テクノロジー支援課 課長 大塚 武 氏はこう話します。
「DX 推進と並行して内製化とオンプレミスシステムのクラウド移行を進めています。すでにベネッセグループが提供する多くのネットワークサービスが Azure で提供されています。ですが、クラウド移行したとはいえサーバーをそのまま IaaS に移行するケースがほとんどで、PaaS 化やサーバーレス、クラウドネイティブ化の取り組みはこれからという状況です。そのような状況下で、本格的な PaaS 化の事例となったのがミライシードのストレージ移行でした。Azure 上で NFS として構成していたストレージ群をモダナイズしながら、スケーラビリティの確保、運用効率の向上、パフォーマンスの改善、可用性の向上を目指しました」(大塚 氏)。
前倒しされた GIGA スクール構想でデータ量が急増、運用負荷や性能劣化が懸念事項に
ベネッセグループが提供するさまざまなシステムの開発と運用は、東京都多摩市と岡山県岡山市高柳の 2 拠点が連携して行っています。エンジニアも 2 拠点に分散しながら、それぞれ開発や運用に携わっており、ミライシードの開発運用の主な拠点は高柳となります。
「ミライシードは 2014 年からサービスを開始し、もともとは学校にサーバーを設置して提供する形態でした。その後、ASP (Application Service Provider)形態での提供が始まり、さらにインフラ全体を Azure の IaaS へ移行しながら発展してきました。しかし、コロナ禍に端を発した GIGA スクール構想の前倒しにより、利用する小中学校の数は当初の予定より早く増えていきました。これにより、システムの安定化や運用の省力化・自動化を加速させる必要に迫られることになったのです」(大塚 氏)。
ミライシードが抱えていた最も大きな問題は、データ量の急増です。ミライシードのシステム運用チームをリードするフロントエンドエンジニアリング部 システム運用チームリーダの須増 昌昭 氏はこう話します。
「GIGA スクール構想の実施にあわせて、データ量が急増しました。2020年頃のデータ総量は 8 TB でしたが、3 ヵ月ごとに 16 TB、32 TB と倍増していくような状況でした。ミライシードで利用するデータは、教材やマスターとなるデータ、生徒が作成するテキスト、画像、映像など多種多様です。最初はデータ量の増加に対して、ストレージ容量を拡張していくことで対応していましたが、データ量の増加があまりに早く対応が困難になっていました」(須増 氏)。
また、性能劣化も大きな懸念でした。ミライシードはユーザー生成コンテンツが多いサービスで、ユーザーの動作によってネットワークトラフィック、ネットワーク帯域、ストレージ I/O、レイテンシーなどへの要求が非常に高いという特徴があります。ミライシードのインフラ構築チームをリードする DIP インフラソリューション部 インフラチームリーダ 吉國 綾祐 氏はこう話します。
「生成されるコンテンツが増えることで性能劣化が起こりやすくなっていました。そこでボトルネックになりやすかったストレージを PaaS 化することで性能劣化を防ぐことを検討しました。PaaS 化により運用負担を減らすこともできる一方で、一般的なクラウドが提供する NFS (Network File System)サービスでは、ミライシードが求める性能を満たせないのでは……、との懸念もありました。加えて、小中学校向けシステムなので毎朝の始業時に日本全国で一斉にピークを迎えることや、NFS が単一障害点(SPoF : Single Point of Failure)になっていることを理由にサービスが停止するリスクもありました。パフォーマンスに加え、信頼性や可用性を如何に確保するかも課題でした」(吉國 氏)。
運用コストとパフォーマンスを重視し、ストレージに Azure NetApp Files を採用
このようなストレージの拡張性、IaaS の運用負担、パフォーマンスの劣化、PaaS としての可用性や信頼性などの課題を解消できるサービスとして採用したのが ANF でした。
「当初検討していた ANF 以外の選択肢としては、オブジェクトストレージサービスである Azure Blob Storage の利用や、ファイルストレージサービスである Azure Files の Premium サービスの利用があります。Blob はコスト面では有利だったものの、ミライシードの要求性能を満たすことが難しく、Azure Files はデータ量が増大していくとコスト負担が増える計算でした。そんななか、コスト面でもパフォーマンス面でも圧倒的に有利なサービスとしてマイクロソフトから提案されたのが ANF でした」(大塚 氏)。
採用にあたっては、性能評価に加え、既存のアーキテクチャを PaaS 化することでどのような効果が得られるかなどについても綿密に検証したといいます。ミライシードの共通ストレージは、Azure の Linux 仮想マシン環境(IaaS)の NFS で構築され、「面」と呼ばれるグループごとにマウントして利用するという構成です。ストレージへのアクセスはすべて Java で構築したアプリケーションから行われ、複数の学校を複数の面に分散してアクセスさせることでパフォーマンスを担保していました。また、データ容量が増えたときは面ごとにディスクを追加し、LVM (Logical Volume Manager)で大規模ストレージを構成することで拡張性や運用性を担保していました。
「当時、ストレージを構成するサーバーは 約 200 インスタンスで、1 つの面あたり 30 ~ 50 TB のディスク容量がありました。データの総容量は全 6 面で約 300 TB、ファイル数は面あたり数億個に達する規模です。検証にあたっては、毎秒 1 万トランザクション(1 万 TPS)のスループットを要求性能の 1 つに設定し、この要求性能を満たすような IOPS や帯域、レイテンシーなどを多角的に評価しました。また、今後増大していくデータを運用するためには、スケーラビリティ、パフォーマンス、可用性、セキュリティなどを十分に担保する必要もあります。さらに、限られた期間で移行しながら、サービス停止時間をいかに短くするかも重要でした。これらついて 2 ヵ月かけて検証・評価していったのです」(須増 氏)。
徹底した性能検証を実施、大規模環境に最適なストレージサービスであることを確認
検証の結果わかったのは、ANF はデータ量やファイル数が膨大になった場合でもパフォーマンス劣化が起こりにくいことでした。
「カタログ値が高いだけでは実運用できるかどうかは確信が持てませんでした。そこで実際に業務で使っているのと同じ環境をつくり、実運用に耐えられるかどうかを検証しました。するとカタログ値通りのパフォーマンスを実現できることはもちろん、同時アクセスが多い環境ほどパフォーマンスが向上しやすいことがわかりました。ANF は、膨大なファイルを運用していた我々の環境にこそ最適なサービスだと確信を持ちました」(須増 氏)。
検証中の負荷テストでは ANF に含まれていた未知の不具合にも遭遇したといいます。
「性能試験を繰り返し実施するため、1 回のテストの完了後、テストで作成された数億のファイルを次のテストのために一気にすべて消すという作業を実施していたところ、あるタイミングでサービスがハングアップする事象が頻発しました。通常の運用ではありえない作業だったこともあり、それまで見つかっていないバグだったそうです。我々の負荷テストがきっかけとなってサービス本体の改修につながりました。マイクロソフトには、バグの報告や修正などを含めて非常にスムーズに対応いただきました。バグの改修も 1 週間しかかかりませんでした」(大塚 氏)。
開発や運用に対するサポートが充実していたことが決め手となり、信頼感を持って ANF を採用することができたといいます。
「マイクロソフトには、サービスの検討段階から、ANF の導入や設定、検証作業、運用が始まってからの各種問い合わせに対して丁寧に対応いただきました。サポートリクエストを上げると迅速に対応していただけることが驚きでした。本来 1 日かかるような作業を 2 時間ほどで実施していただいたこともあります。迅速で丁寧なサポートがなければストレージの PaaS 化は難しかったと思います」(吉國 氏)。
ANF の導入は 2022 年 6 月からスタートし、2022 年 12 月から移行作業が本格化しました。移行作業は、1 面分のデータを約 3 週間かけてファイル同期ツールである rsync を使って移行するというスケジュールで、夜間に少しずつデータを移行しながら最後に差分を調整することで、サービス停止時間を最小限にしました。こうして、全 6 面の移行が 2023 年 2 月に完了しました。
Azure NetApp Files がミライシードにもたらした 3 つのメリットとは
ANF を用いたストレージの PaaS 化で得られたメリットは、大きく 3 つあります。1 つは、増大しつづけるデータ容量とパフォーマンス劣化への対応です。
「ANF は、データ容量を 1 TB単位で増減できるので、ビジネス状況にあわせた柔軟な拡張が可能です。従来の NFS では、一度ディスクを追加すると削減することも難しかったですが、必要に応じて容量を細かく増減できるようになりました。性能については、これまでは性能の改善を行なう場合、NFS だけでなく OS レベルでのチューニングや設計の見直しが必要でしたが、ANF は、SLA で性能が担保されていることに加え、QoS 設定を変えるだけで性能の調整も簡単に実施できるようになりました」(吉國 氏)。
また、運用負荷の削減と、効率的な運用体制が確立できたこともメリットだと須増 氏は話します。
「Linux 仮想マシン環境では、ディスク増設はもちろん、容量設計、パフォーマンスチューニング、OS のセキュリティパッチの適用など、IaaS の管理が大きな負担になっていました。ディスク増設の際にはデータのコピー作業のために会社に泊まり込むこともありました。ANF 移行後は、PaaS としてサービスを利用するため OS やシステムのメンテナンス作業のほとんどが不要になりました。たとえば、ストレージの容量増加に数時間かかっていた作業は、数分で済むようになりました。NFS を構築する場合、IaaS だと、1 ヵ月程度かかっていた作業が PaaS だと 1 週間程度で実施できるようになりました。運用面での効果も大きく、Azure Monitor を使って ANF の稼働状況を監視することで、これまでよりも効率の良いサービス監視が可能になりました」(須増 氏)。
そして、クラウドネイティブアプリケーションへの足がかりができたことを大塚 氏は 3 つ目のメリットとして強調します。
「ミライシードはもともとオンプレミスで構築されたシステムをクラウドにリフト & シフトし、その後、継続的な改善をしながらサービスを運用しておりましたが、GIGA スクール構想などをきっかけに急激に増加したトラフィックやユースケースの変化への対応が大きな課題となりました。ストレージの容量不足やパフォーマンス劣化もそうした課題の 1 つと考えています。今回、サービスのボトルネックになりやすかったストレージを PaaS 化したことで、そのほかの機能も PaaS 化するための道筋をつけることができました。今は、Java アプリケーションや AP サーバーのコンテナ化やマイクロサービス化を進めながら、サービスの全体のクラウドネイティブな構成にモダナイズしていくつもりです」(大塚 氏)。
アプリケーションのクラウドネイティブ化と IaC に向けた取り組み加速
今後は、ミライシードにあるほかのサービスの PaaS 化、クラウドネイティブ化を推進することに加え、ANF の活用を進めていきたいと吉國 氏は展望します。
「Azure NetApp Files のメリットを確認できたため、ほかのシステムでも利用できないか検討を進めていきます。また、新規のインフラ構築として Azure の PaaS サービスを活用するとともに、インフラ構築やインフラ運用のあり方を見直していくことも始めています。たとえば、ANF の監視運用で取り入れている Azure Monitorは 5 分単位でログを収集しています。このたった 5 分でもサービスに発生しているリアルタイムな障害に気づけないケースもあります。そこで Azure Monitor だけに頼るのではなくほかのモニタリングツールなどと連携させながら、リアルタイムでの障害検知やパフォーマンス改善といった信頼性向上の取り組みを進めていく予定です」(吉國 氏)。
さらに、インフラ構築と運用管理を一体的に実施する取り組みについても「アプリケーションがクラウドネイティブ化すると、DevOps の取り組みをあわせて実施していくことが重要になります。そこでまずは、IaC(Infrastructure as Code : インフラのコード化)に向けて、これまで GUI ベースで管理していたインフラ構築や運用管理の仕組みから Azure CLI や PowerShell を使ったコマンドラインベースでの仕組みへの変更を段階的に進めています。またサービスの管理だけでなく、Azure リソースのコスト管理やコストダウンに向けた提案を行うなど、よりビジネスに貢献するインフラ構築・運用のあり方を模索していこうとしています」と吉國 氏は抱負を語りました。
最後に、大塚 氏はミライシードに蓄積されている膨大なログデータの活用を検討しているとし、ベネッセグループ全体における今後のビジョンを次のように語ります。
「アプリケーションのモダナイズやインフラの自動化が進んでいけば、Azure のネイティブサービスとの連携性も高まっていきます。ミライシードに蓄積されたログデータを分析してユーザーの課題をインフラ面から解決するだけでなく、新しいサービスに活かすことができると考えています。また、ミライシードに限らず、私たちが目指す『よく生きる』の実現に向け、教育や介護といったあらゆる分野のサービス拡充や、そのための DX を推 進していきます。マイクロソフトには、インフラ構築・運用の支援はもちろん、システムの付加価値向上やオペレーションの改善、クラウドネイティブや DevOps の推進など、開発・運用におけるモダナイゼーションを支援いただきたいと考えています」(大塚 氏)。
ミライシードのストレージを ANF によって PaaS 化した今回の取り組みは、ベネッセグループにおけるクラウドネイティブ化や新しいビジネス展開に向けた最初の一歩ともいえます。マイクロソフトは同社の DX および「よく生きる」の実現をサポートしつづけます。
[PR]提供:日本マイクロソフト