McAfee Avert Labs Blog
Are Comparative Tests of AV Products Useful?」より
June 16,2010 Posted by Igor Muttik

 マルウエア対策製品の比較調査が有効に機能するためには、正確なこと、総合的であること、客観的であることが必要だ。

 残念ながら、優れたテストを実施することは容易でない。簡単だと思う人もいるかもしれないが、実際は難しい。自動車のテストを例に取ろう。自動車には、信頼性の高いものもあれば、燃費の悪いものや、しっかりしたハンドルの操作感を持つものなどがある。ただし商品として販売される自動車には、人間をA地点からB地点へ運ぶという用途はどれも同じである。こうした自動車のテストが簡単だと感じるだろうか。考慮すべき項目は膨大で、安全性、エンジンの出力、信頼性、積載量、燃費、色、大きさ、シートの形、メーカーのブランド、外装、仕上げの品質など実に多様だ。この説明でテストの難しさが理解できただろう。もっとも、マルウエア対策製品は自動車ほど複雑でないはずだ。いや、もしかしたら同じように複雑かもしれない。マルウエアがA地点からB地点へ移動する際に使う手段はたくさんある。そのため、マルウエアの伝染を妨げる技術も以下のように膨大になる。

  • 既知のマルウエアを対象とする静的スキャン
  • 既知のマルウエアの知られていない亜種を対象とする系統認識
  • ビヘイビア(行動)分析
  • ドメインおよびURLのブラックリストとレピュテーション(評判)
  • クラウド技術を使った保護策
  • 頻繁な情報更新
  • スパム対策
  • 仮想化とエミュレーション
  • 対象とするプログラムの評判
  • サンドボックス化
  • ブラックリスト化
  • ホワイトリスト化
  • セキュリティポリシー
  • 侵入防止技術
  • その他

 かつてマルウエア対策製品は、上記した技術のうち三つか四つを採用していれば十分、という時代が長く続いていた。ところが現在は、出会うマルウエアの数が増え(そうなった原因は、マルウエア対策製品が優れた検出能力で旧式マルウエアの行動を阻止するため、悪人たちが新型の開発を迫られたことにもある)、対策製品のベンダーが押し寄せるマルウエアに対抗するには、より多くの技術を導入せざるを得なくなった。その結果、マルウエア対策製品テストの難易度が大きく上昇した。第一に、全体的な傾向として以前より複雑になった。第二に、製品によって採用している技術の組み合わせが様々で、同じ方法でテストが行えないこともある。例えば古き良き時代のテストだと、特定の時期以降に現れたマルウエアをサンプルに使って試験する場合、テスト対象製品をその時期の状態に「凍結」させる必要があった。何年ものあいだ実施されていたこのようなテストは、クラウド環境で保護データベースが随時更新される製品には適用できない(クラウド環境はテストする側の管理下にないため、凍結することが不可能なのだ)。

 製品の複雑さが高まった場合、テストをそれに対応させるには時間と手間がかかる。自動車の例に戻ると、自動車をぶつけてテストするための衝突試験施設を立ち上げることになったと考えれば理解できるだろう。マルウエア対策製品も同様だ。テストの担当者は製品を取り上げ、マルウエアの衝突からパソコンをうまく守れるかどうか調べることになる。

 幸いにもテストの助けになる情報が存在する(この情報は、比較テストの善し悪しを知りたいユーザーにも役立つ)。セキュリティ製品向けテストの専門家(マルウエア対策製品のテスト機関やベンダー、報道/出版メディア、学術機関)で構成された非営利組織、Anti-Malware Testing Standards Organization(AMTSO)が、Webサイト(www.amtso.org)で2種類のドキュメントを公開してくれた(関連記事:セキュリティ製品のテスト手法を標準化する団体「AMTSO」が発足)。

(1)「AMTSO Whole Product Testing Guidelines」:マルウエアの伝染(配布元のA地点からB地点、つまりパソコンへの移動)を阻止できる製品化かどうか総合的に検証する方法を紹介する。ここで重要なことは一つしかない。何らかの段階でマルウエアの活動を止めることだ。そのためには、どのような技術を使ってもよい(誰も知らない全く新しい技術でも構わない)

(2)「AMTSO Performance Testing Guidelines」:マルウエア対策製品の処理速度をうまくテストしようとすると、いくつも大きな落とし穴が待ち構えている。このドキュメントは、そうした注意点を詳しく説明する

 マルウエア対策製品を完璧にテストすることなど、まず不可能だろう。だからといって、テストの改良を諦めてよいことにはならない。今後もAMTSOは有用なドキュメントを公開し、信頼できる優れたテストを必要とするユーザーの期待に応えられるよう、少しずつ我々を前進させてくれる。


Copyrights (C) 2010 McAfee, Inc. All rights reserved.
本記事の内容は執筆時点のものであり,含まれている情報やリンクの正確性,完全性,妥当性について保証するものではありません。
◆この記事は,マカフィーの許可を得て,米国のセキュリティ・ラボであるMcAfee Avert Labsの研究員が執筆するブログMcAfee Avert Labs Blogの記事を抜粋して日本語化したものです。オリジナルの記事は,Are Comparative Tests of AV Products Useful?」でお読みいただけます。