2013月5月に6000台、現在では1万3000台超――。楽天の多種多様なサービスを支える仮想マシンの台数だ。同社は2013年5月にITプラットフォームを全面刷新して、サーバーを集約したプライベートクラウドを構築した。
新しいプライベートクラウドでは、利用部門の要望を受けてから数十分で仮想マシンを提供する。「刷新前は利用部門にデリバリーするまで数週間かかっていた」（構築を担当したグローバルオペレーション部 ネットワーク管理グループ サブマネージャーの岩崎 磨氏、写真）というから、大きな改善だ。
「サービス展開の足を引っ張ると利用部門からクレームを受けていた」（岩崎氏）という、事業成長のボトルネックにもなりかねなかったITインフラが大変身したのだ。
一見すると、楽天だからこそできたことに思えるかもしれない。しかし、「基本的なコンセプトや構築の考え方は一般企業のプライベートクラウドに近い」。岩崎氏はそう説明する。日本を代表するIT企業の巨大インフラには、一般企業のプライベートクラウドにも役立つヒントが詰まっている。
止まらないECサイトへ3～4カ月の検証を実施
岩崎氏によると、楽天のプライベートクラウドのコンセプトは“堅く、安全に、少しアグレッシブに”というもの。「楽天は革新的なインフラ技術で競争するパブリッククラウド事業者ではない。ECサイトが止まらないように“堅く”作るというのが当初からの方向性だった」（岩崎氏）。
“堅く”構築する上で重視したのは検証だ。「候補となる複数の製品をデータセンターに置いて検証した。5～6人のチームで3～4カ月の時間をかけ、要件通りに動くかどうか確認していった」（岩崎氏）。検証の結果、ヴイエムウェアのサーバー仮想化ソフト「vSphere」を中心とした、サーバー仮想化環境の構築を決めた。大規模環境での実績が多いことも採用を後押しした。
仮想マシンのデリバリーを素早くするため、仮想マシンの作成、ロードバランサーの設定、IPアドレスとDNSの設定を自動化するツールを自作した。このツールはインフラエンジニアではなく、アプリケーションエンジニアが利用する。「シンプルなUIにしており、いくつかの項目を選択するだけで、仮想マシンをセルフサービスで準備できる」（岩崎氏）。
従来の環境では、アプリケーション部門がサーバーを必要とするたびに、インフラエンジニアが調達から設定まですべて作業する必要があった。プライベートクラウドでは一連の作業を自動化した上、インフラ部門が介在せずにアプリケーション部門だけで仮想マシンを準備できるようにした。これにより運用コストを従来の5分の1程度にまで削減した。
ネットワークは先進技術を導入
ネットワークには新技術を積極導入した。刷新直前の段階では、増設を繰り返したスイッチが1000台規模になっていた。あまりにも数が多く、インフラ部門にとって管理負荷が悩みになっていた。この悩みを解決するため、日本企業で初めて米Cisco Systemsの「FabricPath」技術を本格採用した。
FabricPathは標準技術「TRILL」をCiscoが独自に拡張したもの。スイッチ間のリンクを冗長化する技術となる。現在主流のリンク冗長化技術である「スパニングツリープロトコル（STP）」と違い、すべてのリンクにトラフィックを流せる。予備のリンクやスイッチを用意しておく必要はない。FabricPathの導入もあり、スイッチの台数は100台程度にまで減った。
さらに「ネットワークの障害がECサイトに与える影響を減らした」（岩崎氏）。FabricPathはSTPよりも障害時のリンク切り替え時間を短くできるのだ。「STPでは切り替えに数秒かかるが、FabricPathは数百ミリ秒で切り替えできる」（岩崎氏）。
楽天のプライベートクラウドは、枯れた技術一辺倒でも、新技術一辺倒でもない。十分な実績が必要な部分には実績ある技術を、既存技術で解決できない問題がある箇所には新技術を採用する。こうした考え方はどのような企業にとっても、ITインフラを構築する上で通ずるものだろう。
ITインフラSummit 2014では、楽天のサービスを支えるITプラットフォームの全体像と今後の展望を、構築を担当した岩崎氏が解説する。ぜひ、講演会場にお越しいただきたい。
