Hadoopベンダー大手の米Clouderaは2016年11月8日、分散データ処理フレームワーク「Apache Spark」に関する市場調査の結果を公表した。7000件の回答を得て、「Spark利用者のうち64％が今後12カ月間で利用を拡大すると回答した」（アマ―・アワダラ共同設立者兼最高技術責任者）。新規利用については、ビッグデータプロジェクトの経験がある10人に4人が近々にSparkの導入を計画していると回答したという。調査は米Taneja Groupに委託して実施した。
Sparkのユースケースについては、利用者のうち55％がバッチ処理、44％がストリーム処理、33％がデータサイエンス、33％が機械学習に活用していた。クラウド上でSparkを使うという動きも明らかになった。「現在の利用者の23％がクラウド上でSparkを利用していた。将来的は36％に伸びる」（アワダラ氏）。
ディストリビューター別の利用率では、Spark利用者の57％がClouderaを使っているという結果だった。競合の利用率は、米Hortonworksが26％、Apacheからのダウンロードが22％、米Databricksが7％だった。アワダラ氏は「我々はHadoopからリーダーであり続け、最も早くSparkの商用サポートを開始した。さらに製品を提供する速さ、使いやすさ、セキュリティが評価されたと考えている」とアピールした。
日本MSと共同でパートナー拡大、第一弾は日立ソリューションズ
同時に、Cloudera日本法人と日本マイクロソフトが協業強化について発表した。共同でパートナー企業となるSIベンダーの拡大に取り組む。その第一弾として、日立ソリューションズがビッグデータ基盤「Cloudera Enterprise」をMicrosoft Azure上で動作させる実証実験を開始した。Cloudera EnterpriseはHadoopやSparkを含む、分散データ処理ソフトウエアの統合製品である。
Cloudera日本法人の朝枝浩毅チャネル＆アライアンス ディレクターは「単純な動作検証だけではない。日立ソリューションズの顧客である、データベースマーケティング企業のランドスケイプの実プロジェクトでPoC（概念実証）を実施する」と言う。
米Clouderaと米Microsoftはグローバルで既に協業している。デプロイ済み仮想マシンを販売する「Azure Marketplace」で、Cloudera Enterpriseを提供している。このほか、Cloudera Enterpriseの管理ツール「Cloudera Director」もAzureに対応済みだ。
MicrosoftもAzureを分散データ処理のインフラとして売り込みたい考え。日本マイクロソフトの新井真一郎マーケティング＆オペレーションズ クラウド＆エンタープライズビジネス本部 OSS戦略担当部長は「AzureのIaaSにおいて、大量のメモリーとローカルストレージ、超高速なネットワークを搭載した仮想マシンの提供を計画している」とHadoopやSparkに特化したインスタンスの拡充計画を明かした。
