ゲームやニュース、小説、SNS(Social Networking Service)機能などを提供する携帯電話向け総合ポータルサイト「モバゲータウン」(以下モバゲー)。2009年夏にサービスインしたゲームが人気を集め、システム担当者としては『綱渡り』のような毎日が続いた。前回はアクセス増への対策を立てるまでの話をまとめた。今回は、対策を遂行するに当たって、特にネットワーク部分の増強策に対してどのような準備をしたのかを説明する。

 ポイントになるのは2点。1点目は、機器の性能を事前に正確につかむこと。2点目は、可能な限り無停止で機器の増強を行うことだ。順に説明しよう。

性能を確認するため本番環境でテスト

 前回も触れたが、メーカーが公表しているネットワーク機器のスペック(性能)を過信してはいけない。例えば「1Gビット/秒」というスペックが記載してあっても、測定条件によってその値は大きく変わる。モバゲーの場合、パケットサイズは小さく、パケット数が極めて多いという特性がある。

 以前、メーカーの公表値を過信して機器を導入したが、想定した性能が出ず苦労した経験がある。そのときの経験から、必ず事前に性能検証を行うようにしている。今回、ファイアウォールロードバランサーを上位機種に変更した。それを例に、性能検証をどのように行ったのかを説明する。

 検証は2段階で行った。第1段階は、前回説明したように機器の購入前に行うもの。メーカーから検証用の機器を借り、トラフィック環境を疑似的に発生させて性能を測定する。

 第2段階は、本番環境に一時的に導入して性能を測定する。第1段階でもモバゲーのトラフィック特性に近くなるようにしているが、テスト環境であり、全く同じ環境を再現しているわけではない。重要なのはピーク時にどの程度の性能が出せるかであり、それは実際に本番環境で使ってみないと分からないものだ。

 今回の増強策では、2009年11月25日にファイアウォールロードバランサーを本番導入する計画だった。その前に検証を済ませておくため、10月末に一時的に本番環境に機器を導入することにした。

 一日の中でのモバゲーのアクセスピークは21時~24時。そのときの性能を確認するのが主な目的である。その日は朝から作業を開始し、本番環境で問題なく動作することを確認。ピークの時間帯を迎えた。次の日には機器を本番環境から外してシステムを元に戻した。この検証では期待される性能を確認できた。

最小限のサービス停止でメンテナンスを行う準備

 モバゲーのようなコンシューマー向けのサイトでは、ユーザーはいつでもサービスを利用できることを望むもの。システム担当者からすれば、可能な限り無停止でのメンテナンスが求められるということだ。スケールアウト構成にしている機器を追加するケースなら稼働中の増強はそれほど難しくはないが、すべてがスケールアウト構成になっているわけではない。

 筆者らは機器を入れ替えたり、コンフィグレーションを変更したりする場合、綿密な手順書を作る。そうしなければ、ミスは必ず起こると考えているからだ。ネットワーク機器は複数本のケーブルを仮想的に1本に見せる技術が備わるほか、機器間をタスキがけでつなぐことで可用性を向上させる場合が多い。

写真1●間違わないようにケーブルにはタグを付ける
[画像のクリックで拡大表示]

 性能や信頼性を高めるのに有効な方法だが、こうしたケースの場合ケーブル数が多く物理的なメンテナンスは複雑さを増す。そうした中、ケーブルを挿すポートを間違えただけで、パケットループが発生しダウンしてしまう可能性すら考えられる。筆者らはケーブルを抜き差しする場合,必ずケーブル1本1本にタグを取り付けるようにしている(写真1)。

 事前に作る手順書は、作業ステップを複数に分け、ステップごとにステータスを確認するようにしている。また、どのステップにいても元の状態に戻す手順を用意しておく。

 ここで、具体的な例をお見せしよう。図1図2は、VLANの設定変更を行うために作成した手順書である。手順書を作ってそのレビューを行うだけでなく,手順書通りに実際に作業できるかを,疑似環境を作って実際に作業してみる。これだけの準備を行っても、作業当日は予期せぬ出来事が起こるものである。

図1●作業手順書の一部
[画像のクリックで拡大表示]
図2●作業手順書の別紙
[画像のクリックで拡大表示]

 今回の一連の増強策の実施においても、作業の途中でスイッチが異常に高負荷になり、ロードバランサーのフェイルオーバーが発生する事態に陥った。そのときの様子を、次回取り上げる。


茂岩 祐樹(しげいわ ゆうき)
ディー・エヌ・エー システム統括本部 IT基盤部 部長
1995年日本IBMに入社、ストレージ製品の技術支援に従事。1999年9月にDeNA(ディー・エヌ・エー)へ入社。現在は「モバゲータウン」などDeNAが提供するサービスのIT基盤(サーバー、ネットワーク、データベース、設備など)を計画・構築・運用している。DeNAホームページ