システムとネットを完全2重化，震災前日に“戻れる”体制を確立

　松下電器産業は2008年3月末，直下型地震を想定した全社システムの完全2重化を完了した。105の基幹システムを含む国内の約400システムを，2006年8月に関西圏に新設したデータ・センター「コーポレートデータセンター」（CDC）に集約。これまでメインで利用していたデータ・センターをバックアップ・センターとすることで，震災による事業停止を回避する体制を整えた。

　同社が想定する最悪の震災リスクは，本社を置く大阪一帯を貫く上町断層帯による直下型地震である。政府の中央防災会議が2008年にまとめた予測によると，最悪の場合，マグニチュード7.6，震度7の地震が発生する可能性があるという。新システム稼働前は，本社敷地内のデーター・センターに旧システムで利用するサーバーおよびデータを集約しており，事業の生命線が断層帯の近辺で稼働する格好だった。

データの出入り口の経路を完全2重化

写真1●松下電器産業のIT-BCP策定チーム。写真中央はコーポレート情報システム社コーポレートデータセンターの古田茂所長，写真左は松本太樹主任システムエンジニア，写真右は全社ネットワークチームの豊田剛主任システムエンジニア

　システムの完全2重化は，当然ながら構成要素のすべてに及ぶ。しかしそれらのデータを完全に同期させるのは，国内従業員約14万人を支える巨大システムでは不可能に近い。そこで「全社の事業継続計画BCPに沿い，システム面で守るべき要素を絞り込み，被災前日までのデータを基に迅速に復旧できる設計とした」（松下電器産業の情報システム部門を社内分社化したコーポレート情報システム社コーポレートデータセンターの古田茂所長）。

　ネットワークにおける2重化の目的は，社内および社外からのアクセス手段を確保すること。データー・センターの2重化を支えるネットワークは，ダーク・ファイバで直結した二つのデータ・センターを中心に，イントラネットとインターネットとの接続点を物理的に2重化する構成としている。

　イントラネットに対しては，二つのNTT局舎にデータ・センターをメッシュで接続。センターおよび局舎のいずれか1経路が残るようにした。インターネットへの接続も異なる事業者のサービスを採用。プロキシ・サーバーは大阪および東京の別センターに配置し，インターネットへの接続を確保する。

　社外からのリモート・アクセスに関しては，CDC以外にリモート・アクセス用のシステムを東京のデータ・センターに新設することでインターネットから社内システムに入る経路を2重化した。重要拠点のアクセス回線は，イーサネット専用線を2重化し，広域イーサネット/IP-VPNにつなぎ込んだ。

図1●松下電器産業のネットワーク構成 従業員の社内システム利用経路と顧客向けナビダイヤルの着信経路を2重化。それぞれ同時被災が無い施設やサービスを，自治体などが公表する災害リスク評価を基に選定して構築した。 [画像のクリックで拡大表示]

本番系を新センターに段階移設

　2重化作業の最中であっても，日々の業務は止められない。2005年4月にリスクマネジメント室を設置してから，完全2重化を終えるまで足かけ3年。途中予期せぬ障害が発生して，当初の計画を変更する場面にも直面した（図2）。特約店や量販店からの発注が停止する事態を招いたのだ。

図2●IT面における事業継続計画（BCP）策定・実施の経緯 全社規模のBCP策定と歩調を合わせて展開。国内事例をテスト・ケースとして2010年をめどに国内外の全システムの2重化を完了させる計画。 [画像のクリックで拡大表示]

　この障害の引き金となったのは，旧本番系の本社内データ・センターで発生した停電だった。停電時間はおよそ2時間。当然，この程度の時間であればUPSや自家発電によって問題は発生しない設計だった。ところが電力の中継系の故障で，容量が少ないUPSを電源としていた約100台のサーバーがダウン。約1000台のオープン系サーバー総数の10％に過ぎない障害だったが「システムは連携するもの。一部の停止が業務全体を止めた」（古田所長）。

　そこでBCPに関する計画を修正。堅ろう性を重視して選定した新設のデータ・センターを本番系とし，従来データ・センターをバックアップとする構成とした。このため，稼働するシステムを夏期や年末年始の長期休暇中に段階的に新設のデータ・センターに移設する作業が発生することとなった。

仮想化で2重化とコスト削減を両立

　データ・センター間およびその内部も，すべてのシステムが2重化されている。各センターは山側，海側と経路を分けたダーク・ファイバで計48Gビット/ 秒の帯域を確保。センター内は電源，サーバーそれぞれがすべて待機系を持つ構成だ（図3）。一方で「単純に2重化するだけではコスト高になる」（古田所長）と判断し，仮想化技術によるサーバー集約に踏み切った。同時に稼働させることによって負荷を分散することも検討したが，「両センターのデータ連携や運用コストの面で困難と判断した」（同氏）。

図3●データセンターの2重化構成 運営要員が被災を免れたセンターに最大5時間で駆けつけられる距離を維持。サーバーは物理的に集約したうえで2重化し，センター間は経路を山側/海側で分けたダーク・ファイバで接続している。 [画像のクリックで拡大表示]

　サーバーの2重化は，OSの仮想化技術を活用した。AIX搭載機については，LPARと呼ぶ機能で，1台のサーバーを複数のマシンに分割できる。Solaris搭載機では，Solarisが持つ仮想OS機能を使い複数のアプリケーションを統合した。WindowsおよびLinux系のサーバーは，VMwareを使い仮想サーバーでシステムを稼働させた。

　運用管理ソフトの集約も同時に実施した。システムごとにまちまちだった運用管理ソフトのベンダーを統一。管理性が高まったうえ，ライセンスの一本化によるコスト削減も実現した。