ヤフーは、ビッグデータの分析基盤を4000台のサーバーを使って構築した。ポータルサイト「Yahoo! JAPAN」から得た様々な情報を、分散処理ソフト「Hadoop」で分析し、レコメンデーションやターゲティング広告などに役立てる。サーバー間でやり取りする大量のトラフィックに耐えられるように、大規模イーサネットの構築技術「イーサネットファブリック」を導入。2014年2月より順次、サービス部門が利用を開始している()。

図●4000台のサーバーを接続したデータ分析基盤
イーサネットファブリックでHadoopのネット負荷に耐える
図●4000台のサーバーを接続したデータ分析基盤
[画像のクリックで拡大表示]

 検索やオークション、地図やニュース、不動産や旅行といったコンテンツを提供するYahoo! JAPAN。月間556億(2013年7~9月の平均)に及ぶページビューから生み出される広告ログや購買履歴には宝が眠っている。数千台のサーバーでデータ分析するが、実現の鍵はネットワークが握っていた。

 従来のL2/L3ネットワークで構築した分析基盤では、接続可能なサーバーは1500台が限界だった。4000台を目指した今回のプロジェクトでは、米ブロケード コミュニケーションズ システムズのスイッチ「VDX 8770」を採用し、イーサネットファブリック上にサーバーを構成した。「実際に4000台で組めるか、リロードやポート試験といった検証を行った結果、問題ないと判断した」(ヤフー システム統括本部 基盤システム開発本部 インフラ技術2部の村越健哉氏)。

 イーサネットファブリックに移行したことで、ネットワーク帯域の有効活用が可能になった。村越氏は「Hadoop間通信に加えてデータバックアップなど、サーバー間で生じる“東西トラフィック”が増えてきた。イーサネットファブリックなら、サーバーをスケールアウトしやすい」と語る。