• BPnet
  • ビジネス
  • IT
  • テクノロジー
  • 医療
  • 建設・不動産
  • TRENDY
  • WOMAN
  • ショッピング
  • 転職
  • ナショジオ
  • 日経電子版
  • PR

  • PR

  • PR

  • PR

  • PR

News & Trend

次世代Hadoop最有力候補の「Spark」、動き始めたエコシステム

進藤 智則=日経コンピュータ 2014/06/24 日経コンピュータ

 次世代Hadoopの有力なビッグデータ分析基盤として期待を集めているフレームワークがある。Apache Software Foundation(ASF)のオープンソースソフト(OSS)プロジェクトである「Spark」だ。インメモリー処理が特徴で、Hadoopにおける処理方式の一つである「MapReduce」を用いた場合と比べて最大で100倍以上、分析処理を高速化できる。

 Sparkは当初、研究用途として米University of California Berkeley(UCB)の研究組織「AMPLab」で誕生したものだが、2014年5月にはASFから「バージョン1.0」が公開された。研究用途のフェーズを脱し、企業が商用で使えるソフトを目指すことを宣言した形だ(関連記事:Hadoop超える機械学習向きのビッグデータ処理基盤、Spark 1.0が正式公開)。

 Sparkに注目し、その動向に詳しい企業の1社であるNTTデータ 基盤システム事業本部システム方式技術ビジネスユニット OSSプロフェッショナルサービス シニアエキスパートの濱野賢一朗氏は「バージョン1.0のリリースは、Sparkが『オモチャ』のような状態から脱したということ」と評する。

 Sparkの開発の中核を担う、UCB発のベンチャー企業である米Databricksは、著名ベンチャーキャピタルの米Andreessen Horowitzから約1400万ドル(約14億円)の資金を2013年に調達しており、Sparkの開発に突き進む姿勢を見せている。

動き出したSparkのエコシステム

 今回のバージョン1.0の投入を受けて、Sparkを取り巻く周辺のエコシステムも形成されつつある。Hadoop関連のベンダーやOSSプロジェクトなどが、こぞってSparkへの対応を強化しつつあるのだ。

 例えば、米Pivotalは自社のHadoopディストリビューション「Pivotal HD」上でのSparkの対応を2014年5月に表明(発表資料)。米MapR Technologiesも、自社のHadoopディストリビューション「MapR」をSparkに対応させると2014年4月に発表した(発表資料)。米Clouderaも、同社のHadoopディストリビューション「CDH」でSparkをサポートすると2013年10月に発表している(発表資料)。

 まさに全方位外交で、DatabricksはHadoopディストリビューションベンダーとパートナー関係を結びつつある。

ここから先はITpro会員(無料)の登録が必要です。

次ページ データ統合ソフトを手掛けるTalendも、新版の...
  • 1
  • 2
  • 3
  • 4
  • 5

あなたにお薦め

連載新着

連載目次を見る

今のおすすめ記事

ITpro SPECIALPR

What’s New!

経営

アプリケーション/DB/ミドルウエア

クラウド

運用管理

設計/開発

サーバー/ストレージ

ネットワーク/通信サービス

セキュリティ

もっと見る