米国サンフランシスコで2014年6月30日から7月2日まで開催されたSpark Summit 2014では、ストリーミング音楽配信サービス「Spotify(スポティファイ)」を提供する英Spotifyや米Yahoo!の台湾法人、韓国の通信事業者であるSKテレコムなどが「Spark」の利用事例を紹介した。これら一般セッションの内容を紹介しよう。
Spark Summit 2014では上記の3社以外にも、スペインの通信事業者であるTelefonicaや、動画配信プラットフォームのクラウドサービスを提供する米Ooyala(ウーヤラ)などが事例講演をしている(表1)。一般セッションではほかにも、Sparkの開発の中心である米Databricksや米カリフォルニア大学バークレー校の技術者が、Sparkの新機能や開発・運用ノウハウを紹介するセッションを実施した。
企業名 | Sparkを用いて実施した内容 |
---|---|
米Ooyala | 動画配信に関するアクセスログを「Spark Streaming」を使ってリアルタイム分析 |
英Spotify | 「協調フィルタリング」を使った音楽のレコメンデーション |
韓SKテレコム | 商用のMPP(マッシブ・パラレル・プロセッシング)型DB(データベース)のSparkへの置き換え。Spark Streamingを使ったリアルタイムデータ処理。 |
スペインTelefonica | サイバーセキュリティ対策のためのデータ分析 |
台Yahoo! Taiwan | ビジネスインテリジェンス(BI)と機械学習(レコメンデーション) |
Yahoo! TaiwanのWisely Chen氏によれば、同社はECサイトのアクセスログを分析対象とするビジネスインテリジェンス(BI)と、機械学習を使ったレコメンデーションという特性の異なる二つの処理を実行する統合データ処理基盤を、Sparkを使って構築したという。同社はこれまでは「Hadoop」の処理フレームワークである「MapReduce」を使用していた。
Yahoo! Taiwanでは従来のMapReduceからSparkに移行することによって、大幅な処理性能の向上が実現した。具体的にはBIでの「日次レポート処理」の処理性能は83%、機械学習での「学習処理」の処理性能は7.5倍、それぞれ高速化したと述べている。