新しいセキュリティ対策ソフトの性能テストで「ウイルスバスター2011 クラウド」の総合力をチェック!

セキュリティ対策ソフトの性能を評価するための性能テストは、これまでも数多く存在した。しかし、ここにきて大きく変貌しつつある。本稿は、トレンドマイクロのセキュリティエバンジェリストの染谷征良氏に取材を行い、最新の性能テストやウイルスバスターの評価を紹介する。まず、この数年で大きく変化してきているウイルスなどの脅威について、再確認してみたい。10年前は、その目的が愉快犯や自己顕示欲に基づくものがほとんどであった。また、当時はウイルスや不正プログラムの数も1日数件～十件、月に数十～数百といったレベルであった。しかし、最近では、月に150万以上もの検出があり、1.5秒に1つという割合で、新しい脅威が発生している(図2)。

また、感染経路も92%がWeb経由となっている。正規のWebサイトに不正なコードが埋め込まれたり、迷惑メールに仕込まれたURLなどから、不正なWebサイトに誘導され、ウイルスに感染してしまう。

その目的も金銭や個人情報の奪取という、明確な悪意があることも変化の1つである。そして、個人から組織へと変貌している。さらに、悪意を持った攻撃者らは、自分らのウイルスがセキュリティ対策ソフトに検出されないようにと、様々な工夫をこらしている。あらかじめセキュリティ対策ソフトで、検出されないことを確認してから攻撃に使用する。また、組織犯罪グループ向けに、ウイルスの検出が可能か不可能かをチェックするようなWebサイトすら存在する。そのため、ウイルスを作成するサイクルも短くなり、爆発的な増加の原因の1つとなっている。インターネット経由の攻撃が増加している原因は、インターネットが非常に一般的になっており、利便性が高いことも理由となっている。また、脆弱性の悪用もインターネットを経由することで簡単に行われている。

セキュリティ対策ソフトも進化が求められる

このような状況に対し、セキュリティ対策ソフトもその対策方法が大きく変化してきている。これまでは、ウイルスの手配書となるパターンファイルを使い、そのファイルがウイルスであるかどうかを判定してきた。しかし、複雑化する脅威に対し、複数の手段を講ずるようになっていた。たとえばトレンドマイクロの製品では、パーソナルファイアウォール、不正侵入防御、挙動監視(HIPS)、Webレピュテーションなどが搭載され、パターンファイル以外の技術が組み込まれている。増大する脅威に対し、パターンファイルだけでは、もはや安全を守ることは、不可能といっても過言ではない。

さて、上述のように脅威も変化し、セキュリティ対策ソフトも進化している。まずは、従来の性能テストを振り返ってみたい。90年代から検出率が1つの性能として利用された。パターンファイルによる防御であったので、いかにウイルスを見つけだすか？そこに注目したのである。しかし、検出率という数字がどのように導き出され、どのような意味を持つのか？意外と知られることは少なかった。実際には、以下のように行われていた。

• クローズドのテスト環境(インターネットに接続されていない)
• HDDに保存されたサンプルをパターンファイルにより、1回の手動検索のみで評価

実際のサンプルには、Wild Listと呼ばれる過去1カ月に検出したウイルスリスト(数百程度)、もしくは数万に上るウイルスリストの2種類が使われることが一般的である。まずここで問題がある。1.5秒で新種が作られる現在で、1カ月前のウイルスを検知することに大きな意味があるのか？という議論だ。そして、後者のサンプルでも、かつてはユーザーが直面しないようなウイルスや起動しない不完全なウイルスが含まれることも少なくなかったが、最近はこのようなサンプルは排除される傾向にあると染谷氏は言う。

また、テスト環境についても、現状と乖離した部分がある。上述のように感染経路の92%インターネットであるのに、クローズドな環境で意味があるのか？すでにHDDにサンプルを保存する、つまりはウイルスがPCに侵入した状態で検出を行っても、それは決して防御とはいえないのではないかという指摘である。

90年代、パターンファイルによる検出のみがウイルス対策であった頃は、検知率は確かに、性能の目安であったことは間違いない。しかし、増大し凶悪化するウイルス、それに合わせ進化するセキュリティ対策ソフト、この状況に旧来の検出率だけでは、防御力としての評価にはなりえなくなっている。つまり、旧来の性能テストでの「検知率」では、今求められる「本当の防御力の高さ」はわからないというわけである。

実際のユーザーの行動をシミュレートするテスト

では、実際にセキュリティ対策ソフトはどのように、ウイルスを防御しているのであろうか。ウイルスバスターを例に、その流れを見てみよう。

第一段階:ユーザーがWebサイトにアクセスする
第二段階:ファイルをPCにダウンロードする
第三段階:ダウンロードしたファイルを実行する

ウイルスバスターは、Webレピュテーション技術によって第一段階で危険なWebサイトを遮断する。危険なWebサイトを閲覧しなければ、ウイルスの感染もありえない。次の第二段階では、スタティックにウイルス検索を行う。これまでのパターンファイルによる検索である。この2つのチェックで、既知の脅威であればほぼ防ぐことが可能である。もし、ダウンロードしたファイルがここまでのチェックをすりぬけたとしたら、かなりの可能性で未知の脅威の可能性が高い。

そこでウイルスバスター2011 クラウドは、不正変更の監視機能（挙動監視、ふるまい検知などとも呼ばれる）で、ファイルがウイルス特有の活動をしていないかをチェックする。これにより、たとえ未知のウイルスからもPCを守ることができる。トレンドマイクロでは「防御力」とは、セキュリティ対策ソフトの様々な技術を用い、脅威の侵入をいかにして防ぐかにある、としているとのことだ。検出率は、あくまでも侵入されてしまったウイルスを発見する指標となる。この違いを理解すべきであろう。

防御力を評価する性能テスト

2008年にようやく、AMTSO（Anti-Malware Testing Standard Organization）というワーキンググループの設立によってユーザーにとって価値があり、ベンダーにも公平な性能テストの模索が始まった。これまでに、第三者テスト機関によって11の「防御力」を評価する性能テストが行われている。その中の1つが、2010年9月に第三者機関のNSS Labsによるテストで、エンドユーザー向けのセキュリティ対策ソフトを対象に、以下のように行われた。

• 11日間、6時間ごとに実際のインターネット環境に接続
• ウイルスを伴う不正なWebサイト1122箇所をテスト対象

まずは、総合防御力であるが、2つの要素から構成される。1つめは侵入レイヤーで、不正なWebサイトをアクセスした際、ファイルダウンロード時にいかにウイルスの侵入を防ぐことができたかを評価するものである。2つめが、感染レイヤーで、ダウンロードしたファイルの実行時にウイルスを防御できたかをみるものだ。実存する不正なWebサイトを使うことで、ユーザーが実際に直面しうる最新の脅威を使ったテストとなる。前述の「実際のユーザーの行動をシミュレートしてみる」の第一、第二と第三段階になる。そこでもふれたように、いかに危険なWebサイトを事前に防ぐか、アクセスしたとしてもいかにウイルスを侵入させないか、もし侵入させてしまっても、その後の検知能力でいかにして感染を防ぐかといった防御力を評価するものとなる。結果は、図6のようになった。

ウイルスバスター2011 クラウドの初期防御力の高さが、総合防御力の1位に繋がったといえる。これは、Webレピュテーション技術がいかに危険なWebサイトを確実にブロックしているかを示すものだ。

長期間のテストから導き出される評価

NSS Labsのテストでは、以下のような項目もテストされる。

1. ゼロディでの防御力
2. 時間軸での防御力の変遷
3. 新しい脅威への対応速度

最新の脅威が出てきたその時点でどれだけ対応できたか、11日間にわたり、安定的に高い防御力を維持できているか、そして未知の脅威への対応速度などか試される。検出率のように1回しか行われないテストでは、計測できない要素である。すべてを紹介することはできないが、この3番目にある新しい脅威への対応速度について触れておこう。ブロックできなかった新しい脅威に対して、どの程度の時間内で対応できたかを評価するものである(図7)。

こちらでも、ウイルスバスター2011 クラウドが、好成績をあげた。これは、ウイルスバスターのスマートプロテクションネットワークがリアルタイムに脅威分析を行っていることが、理由の1つだ。未知の脅威が発見されてから、実際の対応を行うまでは、無防備な状態となる。その危険な時間をいかに少なくするかが問われているのだ。染谷氏は、これらの結果は、セキュリティベンダーの脅威への情報収集能力、対応能力を示すものでもあるとの自負を見せる。

トレンドマイクロでは、世界中にあるラボとスマートプロテクションネットワークの一機能であるスマートフィードバックによって世界中のトレンドマイクロユーザーがセンサーとなって、つねに未知の脅威への検知と対応を行っている。脅威は世界中からやってくる。その一方で、それぞれの地域に特化した攻撃も行われている。トレンドマイクロでは、それらにも迅速に対応している。この点は、これまでの検出率には決して現れてこなかった評価である。最後に、すべてのテスト結果を集計したものが、図8である。この手法においては2期連続で、ウイルスバスターが1位となった。今後、セキュリティ対策ソフトの防御力を測るものとして、このようなテストの普及が進むと考えられる。ユーザーにとってもわかりやすい指標があることで、製品選択の有効な基準になるであろう。