ビッグデータを業務でどう活用するか。一つめのシナリオは「異変を察知する」である。
業務で発生する様々なイベントの記録を取得し、そこから「正常な状態」や「異常な状態」を示すパターンを見つけ出す。これらのパターンを使って、新たなイベントが発生した際に、異常がないかを判断する(図1)。
クレジットカード会社は、カード不正利用を検知する精度の向上にビッグデータを活用している。
米ビザは2009年、不正検知モデルの計算処理にHadoopを使い始めた。ビザをはじめとするカード会社は以前から、不正利用のパターンを使って不正を検出している。最近では、カード会員ごとに利用パターンを作って、より正確な不正の検知を目指している。
問題は、会員ごとにパターンを作成・維持しようとすると、膨大な計算量が必要になることだ。大手カード会社の場合、会員数は数千万~数億人に上る。
ビザはHadoopを導入した結果、数週間かかっていた全会員の利用モデル作成時間を13分に短縮できた。従来は1カ月に1回だった不正検知用パターンの更新を、1日に複数回できるようになり、精度も向上できたとする。
システムログから異変を察知
システムのログも重要な情報源だ。ログを解析したパターンから内部犯行といった不正を検出したり、サーバーの故障につながる不具合を検知したりできる。
米HPが昨年買収したセキュリティツール「ArcSight」を使うと、「ビルの入退館システム」「ネットワーク」「業務DB」といった複数のシステムログを分析して、「退社間近の社員が顧客DBにアクセスした」といったパターンを見つけ出せる。これを利用して内部犯罪の発見などに役立てる(図2)。ArcSightを採用する米国のある政府系機関は、20ペタバイトのログを分析しているという。
NECの「WebSAM Invariant Analyzer」は、監視項目や閾値をコンピュータが決めるシステム監視ツールだ。同ツールはサーバー使用率や通信トラフィック量といった、異なるサーバー間で連動して変化する数値を探し出し、数値間の関係をパターン化する。この関係に何らかの変化が生じた時に、ハードやソフトに異変が発生したと判断する。
「人間だと、監視の閾値を設定し忘れるケースがある。このツールなら、システム管理者が気付きにくい『サイレント障害』を確実に検出できる」(NEC OMCS事業本部の東健二事業本部長)。