「なんでもやる」DMM.comが、冷却とクラウド型管理でやったこと

ジャンルや規模を問わず、未来を感じさせる新たなビジネスに挑戦し続ける合同会社DMM.comでは、5,000台に及ぶ大規模仮想化基盤をオンプレミス環境上に構築し、各事業部門向けにITインフラを提供している。

この自社サービス基盤の構築・運用を担うITインフラ本部 インフラ部 IaaS開発グループでは、仮想化基盤のパフォーマンス不足が課題となっていたお客様向けのあるサービスのシステム刷新に着手した。

ネットワーク遅延の少ない1ソケットサーバーで高性能なCPUを採用し、クラウドベースの管理サービスも利用できる日本ヒューレット・パッカード（HPE）の「HPE ProLiant DL325 Gen11」を導入し、2023年9月から本番稼働を開始している。

本プロジェクトでは、まずCPUを決めてからサーバー選定を行ったというが、それはどのような意図によるものだったのだろうか?

高い処理性能を要求するサービスの仮想化基盤刷新プロジェクトが始動、CPUを軸にサーバー選定を進める

「なんでもやる」ことを企業としての生存戦略に掲げ、動画配信や電子書籍などのエンターテインメント分野をはじめ、ゲーム、Eコマース、ヘルスケア、教育、金融、地方創生といった多様な領域で事業を展開する合同会社DMM.com。60以上に及ぶ同社のサービスを支えるのは、パブリッククラウドやオンプレミス 上に構築された仮想化基盤だ。

同社が手がける事業のなかでも特に長い歴史を持つサービスの一つでは、DX化の波に乗り、パブリッククラウドにシステムを移行した。しかし、必要なCPUリソースやデータ転送量が多いサービスだったこともあり、費用面での負担が想定以上に増えてしまった。

その後、事業部門の意向もありオンプレミスの社内仮想化基盤に回帰したものの、汎用向けに構築された基盤のため性能が足りず、今度はパフォーマンス面での課題が顕在化した。このためサーバーのリプレースタイミングに合わせて仮想化基盤の刷新を決定し、サーバーの選定に着手した。

DMM.com ITインフラ本部 インフラ部 IaaS開発グループの持永 裕太 氏は、プロジェクトの概要とサーバー選定にあたっての要件定義について、次のように語る。

• 合同会社DMM.com
  ITインフラ本部 インフラ部 IaaS開発グループ
  持永 裕太 氏

「今回、仮想化基盤の刷新を行ったのは、サーバー上で動画のエンコードや配信をリアルタイムで行うサービスになります。純粋なCPU性能に比例してアプリケーションのパフォーマンスが向上するようなミドルウェアを使っていたことや、動画配信を行う都合上、ネットワークのレイテンシに敏感だったこともあり、高い処理能力を持つCPUを1ソケットで利用することを前提に、サーバー製品の選定を進めていきました」（持永氏）

チームリーダーとして今回の取り組みに携わった、DMM.com ITインフラ本部 インフラ部 IaaS開発グループの高橋 尚史 氏も「本プロジェクトでは、先にCPUを決めてからサーバーベンダーを選定するという流れで進めていきました」と説明。

「今回のワークロードはかなり重たく、その要件に合致するCPUとして、当時の最新モデルで、多コアかつ高クロックの第4世代AMD EPYC™ プロセッサーが最適と判断しました」と話す。

64コア AMD EPYC™ を搭載し、先進的な液冷システムとクラウド型管理サービスも備える「HPE ProLiant DL325 Gen11」を採用

第4世代 AMD EPYC™プロセッサーの搭載を前提にサーバー製品の選定を進めるにあたっては、サーバーの発熱量や消費電力をいかに抑えるかが重要となった。どれだけ高性能なプロセッサーであっても、十分に冷却できる仕組みがなくては、その実力を最大限に発揮することは難しい。

安定したパフォーマンスを担保するには水冷（液冷）システムの導入が有効な選択肢となる。とはいえ、データセンターに外部機器が必要な液冷システムを導入するのはハードルが高いと持永氏は語る。

「一般的なデータセンターでは外部機器が必要な液冷システムを導入できないケースが少なくありません。2Uのサーバーならば空冷でも対応できるのですが、今回は従来のシステムと同様に、1Uのサーバーで構築したいと考えており、十分な冷却性能を備えた1U/1ソケットのサーバー製品が選定候補となりました」（持永氏）

こうした条件に合致する製品として同社が着目したのが、HPEの新世代サーバーとなる「HPE ProLiant DL325 Gen11」だ。長い歴史を誇り、グローバルで活用され続けているHPE ProLiantブランドの最新モデルで、第4世代 AMD EPYC™ プロセッサーを採用。高い処理性能が求められるインフラ向けの機能が充実しており、従来の2ソケットサーバーと同等以上の性能を発揮する1U/1ソケットサーバーとして注目を集めている。中でも、外部装置を必要としないハイブリッド型の筐体内冷却方式「HPEスマートリキッドクーリング」を導入しているのが大きな特徴で、液冷システムを容易に利用できることが採用を決めた要因の一つと持永氏は語る。

「今回は64コアの第4世代 AMD EPYC™ プロセッサーを搭載したモデルを選定しましたが、HPEスマートリキッドクーリング機能のおかげで、外部機器が必要な液冷システムを導入することなく、既存のデータセンター内に高性能な仮想化基盤を構築することができました。この機能がなければ、2Uのサーバーを導入しなければならず、ラックスペースの削減という意味でも大きなメリットが得られたと感じています」（持永氏）

また同社では、外部のSIerや協力会社をほとんど使わず、内製かつ少人数で仮想化基盤の構築・運用を行っている。このため、本プロジェクトにおいても運用・管理の効率化は非常に重要な要素になったと高橋氏。HPE ProLiant DL325 Gen11の導入メリットとして、クラウド型の管理サービス「HPE GreenLake for Compute Ops Management」（以下COM）が利用できることを挙げる。

• 合同会社DMM.com
  ITインフラ本部 インフラ部 IaaS開発グループ
  チームリーダー
  高橋 尚史 氏

「少人数で仮想化基盤の運用・管理を行う体制を維持するためには、クラウド型の管理ツール・ソリューションが必須です。当社では汎用の大規模仮想化基盤でもHPEのサーバー製品を採用しており、HPE InfoSight for Serversをはじめ、ほかのベンダーが提供する運用サービスなども使ってきましたが、それらと比較してCOMは非常に使いやすい印象を受けました。BIOS設定のプロファイルや、特定環境向けのプリセットなども充実しており、さらにVMwareのライフサイクル管理製品である「VMware vSphere Lifecycle Manager」との連携にも対応しています。これにより、ハードウェア（サーバー）から仮想化基盤までのレイヤーを一元的に管理できるようになっています」（高橋氏）

持永氏もシステム全体の統合的なシステム運用・管理を可能とするCOMを高く評価する。

「これまでサーバー1台1台に対してファームウェアのアップデートを行ってきたものが、COMでベースラインを設定して、サーバーグループに割り当てるだけで、すべてのサーバーのファームウェアを最新バージョンに保てるようになりました。運用時もvCenter Serverからワンクリックするだけで、ハイパーバイザーのアップデートからハードウェアのファームウェア更新までをまとめて実行できます。サービスへの影響も一切なく、自動ですべてが完了するので、運用・管理の負荷は大幅に軽減されました」（持永氏）

パフォーマンス2倍で筐体温度は10℃低下、運用工数を 8割削減し開発業務に専念、 COM導入により多くのメリットを享受

従来と同じ1Uサーバーで、外部機器が必要な液冷システムの追加が不要なこともあり、HPE ProLiant DL325 Gen11による仮想化基盤の構築はスムーズに進み、2023年9月より本格稼働を開始。すでに多くの効果が現れている。

20コアCPU×2ソケット構成の既存システムから、64コアを搭載しクロック数も1.5倍の第4世代 AMD EPYC™ プロセッサーを搭載したHPE ProLiant DL325 Gen11に変わったことで、インフラのパフォーマンスは実測値で約2倍に向上。さらにHPEスマートリキッドクーリングによって冷却効率は大幅に向上しており、64コアの高性能プロセッサーを採用しながら、従来の環境と比べて稼働中の筐体温度は約10℃も低い実測結果が出ているという。

「2ソケットで運用していた既存環境よりも筐体温度が抑えられており、非常に安定して稼働しています。消費電力もわずかですが低くなっており、パフォーマンスが2倍になったことを考えると、電力効率は格段に向上していると思います」（持永氏）

パフォーマンスの向上はサービス品質にも大きな影響を与えており、リソースに余裕を持たせることで安定的なサービス提供を実現した。

本プロジェクトの対象となったサービスでは、不定期のキャンペーン実施時にユーザーが急増してリソースが不足するという問題に悩まされており、これまではパブリッククラウド側のインスタンスに振り分けることで対応してきた。

新たな仮想化基盤では十分なパフォーマンスを担保できるためクラウドリソースを使う必要がなくなり、インフラコストの抑制、すなわちサービスの収益性向上にもつながっている。

また運用・管理面においても、前述したとおりCOMを使った一元管理の効果は非常に大きく、リモートワークで仮想化基盤全体を管理できる体制を確立した。

多くの作業が自動化されたことで、専門スキルを持たないサーバーの監視・運用チームにも任せられるようになったと持永氏は語り、更新漏れや設定間違えといった人的ミスも大幅に軽減できているとCOMの導入効果を高く評価する。

実際、COMを含めたさまざまな自動化の取り組みにより、運用に費やしていた時間を大幅に削減し、さらなる自動化やビジネスに貢献する開発業務に割く時間を増やす好循環を生み出せているという。

変化を楽しみ最新技術を積極的に活用、テックカンパニー化を目指すDMM.comが“これからの仮想化基盤”を提示する

本プロジェクトの成果を踏まえ、DMM.comでは柔軟かつ適切なインフラ環境の構築・運用に向けて、今後も第4世代 AMD EPYC™ プロセッサーとHPE ProLiantの効果的な活用を模索していくという。高橋氏は、HPE ProLiantで利用できるCOMの活用を拡大していきたいと今後の展望を語る。

「繰り返しになりますが、少人数かつ内製でインフラの構築・運用を維持していくためには、クラウド型の管理ツールが不可欠です。今後のサーバー選定においては、性能や価格だけでなく、管理ツールの有無も重要な要素になると思います。今回の取り組みでCOMの有用性は確認できたので、汎用の大規模仮想化基盤も含め、既存のHPE ProLiant製品についてもCOMで管理していく方向で考えています。もちろん、今回のプロジェクトと同様にCPU負荷の高いサービスをリリースする際には、AMD EPYC™、HPE ProLiantは見逃せない選択となるはずです」（高橋氏）

「変化を楽しもう EVER-CHANGING」のメッセージを掲げて、テックカンパニー化を推進するDMM.com。その事業を支える仮想化基盤においても、先進的な技術が積極的に採用されていくことは間違いない。サービスに合わせて最適なITインフラ構築を目指す同社の取り組みと、最新技術を惜しみなく投入し、1U/1ソケットサーバーの高性能化を実現したHPEの製品群には、今後も注視していく必要がありそうだ。

[PR]提供：日本ヒューレット・パッカード