サイレント障害

仮想化技術がITシステム基盤の標準として広く活用されるようになりました。サーバの仮想化にはじまり、ネットワークの仮想化、最近ではストレージへの仮想化技術の適用も進んでいます。

仮想化は、ハードウェアを抽象化して管理するため、リソースの調達や展開がとても速くできることが魅力です。サーバの立ち上げから展開までは数時間しかかかりませんし、最近は、ネットワークの設定変更も気軽にできるようになりました。

ただ一方で、IT担当者が頭を悩ませるシーンも格段に増えました。なかでも多いのが「システムのなかで何が起こっているかよくわからない」というものです。障害が発生しているのに障害に気づかない「サイレント障害」が頻発しているのです。

ある企業では、運用しているWebサービスのパフォーマンスが低下する現象に見舞われました。ITインフラ基盤は仮想化されていて、サーバやネットワーク、ストレージが統合管理されています。仮想化基盤の管理ソフトを見ても、機器に異常は見られませんし、サーバも正常に動作しているように見えました。しかし、ユーザーからは「遅いのでなんとかしてくれ」といったクレームが殺到したのです。

数ヵ月かけて原因を調査したところ、ロードバランサのファームウェアに不具合があることがわかりました。特定の条件下では一定以上のセッションが破棄されるようになっていたのです。しかし、基盤の管理ソフトからは、仮想化されたサーバやロードバランサは問題なく稼働しており、また、設定の閾値を超えなかったためにアラートが発せられることもありませんでした。

この企業では、ロードバランサのファームウェアをアップデートすることで問題を解決することができました。ただ、実際には「数ヵ月調査してもわからないまま」ということも多いのが現実です。なかには、原因がすぐにわからなければ基盤の更改までサイレント障害に対応しないという判断をするケースすらあります。その場合は、ビジネス機会の損失も覚悟しなければなりません。

この企業の場合、解決の糸口になったのは、ハードウェア監視やサーバ監視といったコンポーネントだけの監視に加えて、サポートサービス業者の技術支援を受けながらネットワークのフローやアプリケーションのトランザクションまで含めた監視を新たに導入したことです。現在は、パフォーマンス劣化でユーザー体験が落ちたら、すぐにそれを察知できる仕組みを整えています。

ITシステム基盤が複雑化するなか、サイレント障害は増える一方です。「見えないものを見えるようにしておく」ことで、ビジネスを首尾よく進めていきたいところです。

[PR]提供：シーティーシー・テクノロジー