システムダウンやシステム再構築プロジェクトの中断、不正アクセスによるサービス停止、機密情報の漏洩──。ビジネスにおける情報システムの重要度が高まった今、システムトラブルがビジネスに与えるダメージは計り知れない。それだけに、ユーザー企業のシステム部員やITベンダーの担当者は日々、トラブルを避けるための方策に頭を悩ませていることだろう。

 システムトラブルを回避するための“特効薬”などない。だがその手掛かりが、トラブルを経験した企業で見つかった。本誌コラム「動かないコンピュータ」に登場した事例がそうである。

 各社とも実際に痛い目に遭っているだけに、再発防止に向けて様々な工夫を凝らしている。失敗を教訓にした8社から、システム危機を回避するためのヒントを学ぼう。

(中井 奨)

◆システムダウンの後
◆サイバー攻撃の後
◆サービス炎上の後
◆危機回避、五つの心得


【無料】サンプル版を差し上げます 本記事は日経コンピュータ12月22日号からの抜粋です。そのため図や表が一部割愛されていることをあらかじめご了承ください。本「特集」の全文をお読みいただける【無料】サンプル版を差し上げます。お申込みはこちらでお受けしています。 なお本号のご購入はバックナンバーをご利用ください。

 「部長や部員が次々と辞め、残った4、5人がシステムのトラブル処理に追われる。システム部員は疲れ果て、危機を回避するための抜本的な手を打てない、という悪循環に陥っていた」。楽天証券の今井隆和取締役常務執行役員(CIO)は、コンサルティング会社から楽天証券に転じた2007年2月当時の状況を振り返る。

 システム部員を疲弊させていたのが、次から次へと発生するオンライン証券取引システムなどのシステム障害だった。楽天証券は、データベースサーバーの相次ぐトラブルやリスク管理体制の不備を指摘され、2005年11月から2009年3月にかけて、金融庁から業務改善命令を3度受けた。

 今井CIOは、システム部員のトラブル対応の進め方に問題があると見ていた。「穴が開いた部分だけをふさぐ、といった具合に対処療法にとどまっていた」(今井CIO)。

 今井CIOは、障害が頻発する状況を脱するには、システム部員が再発防止策を自ら事前に考え、行動に移すことが重要と考えた。当然、システムの開発や運用・保守は、プロであるITベンダーに任せる。ただし、「外部に頼るばかりではなく、我々がもっと当事者意識を持たなければならない」と今井CIOは反省した。

 今井CIOはまず、大小を問わず過去に発生したすべてのトラブルをデータベース化するよう、システム部員に指示。さらに、新たに発生したトラブルについては、A4用紙2枚のトラブルレポートとしてまとめることを義務付けた。このレポートには、トラブルの発生日時や、検知・対応者、最初に取った行動、復旧作業内容、復旧完了時間などを明記する。

 トラブルレポートの締め切りはトラブルが発生した当日、というルールにした。トラブルのデータベースには、2010年12月までに約500件のトラブルの対応記録が登録されている。

 これらトラブルに関する情報の分析結果を、楽天証券のシステム部員や協力会社であるITベンダーが、新規システムの開発プロジェクトで活用する。楽天証券は、トラブルレポートを参考に、システム成果物のテスト段階で用いるチェック項目を順次追加する。「チェック項目は増えており、新たに開発するシステムの品質が確実に高まっている」と、今井CIOは手応えを感じている。

 システム部員数も大幅に増やした。システム部員は約30人で、今井CIOが着任した当時の6倍にした。「人材が定着するなど部内が落ち着いた。システムの品質改善について、積極的な意見も出るようになった」(今井CIO)。

 ルール・体制面だけでなく、システムのバックアップ体制も見直す()。2010年12月末までに、データベースを三重化する。マスターデータベースと二つの予備のデータベースをリアルタイムに同期させるなどして、以前よりシステム障害時の復旧時間を短縮化させる。

図●楽天証券が2010 年末までに導入するデータベースのバックアップ体制
図●楽天証券が2010 年末までに導入するデータベースのバックアップ体制

続きは日経コンピュータ12月22日号をお読み下さい。この号のご購入はバックナンバーをご利用ください。