• BPnet
  • ビジネス
  • IT
  • テクノロジー
  • 医療
  • 建設・不動産
  • TRENDY
  • WOMAN
  • ショッピング
  • 転職
  • ナショジオ
  • 日経電子版
  • PR

  • PR

  • PR

  • PR

  • PR

ITインフラReport

分散処理フレームワーク「Hadoop 2」(前編)

スケーラビリティーと信頼性を向上、他のフレームワークの同居が可能に

小沢 健史=日本電信電話、猿田 浩輔=NTTデータ、山下 真一=NTTデータ 2014/12/10 日経SYSTEMS
出典:日経SYSTEMS 2014年4月号pp.62-64
(記事は執筆時の情報に基づいており、現在では異なる場合があります)
目次一覧

 分散処理で大量データの高速アクセスを可能にする技術「MapReduce」。これを実装した「Hadoop」の利用が広まり、遂にバージョン2の正式版が登場した。バージョン2では、新たな仕組みである「YARN」の実装が要注目だ。Hadoopプロジェクトに貢献し、企業システムでの利用を進める筆者らが強化点を解説する。

 米GoogleのJeffrey Dean氏らが「MapReduce」を公開してからほぼ10年が経過した2013年10月、MapReduceをオープンソースソフトウエアとして実装した「Hadoop」のバージョン2(v2)が正式リリースとなった。このバージョンでは、極めて大きな変更がある。本稿では、MapReduceおよびHadoopの生まれた経緯と課題を振り返った上で、 バージョン2で強化された点を解説する。

MapReduceの仕組みと特徴

 MapReduceは、大量の生データを高速に処理するための分散処理フレームワークだ(図1)。データを抽出するMapフェーズ、抽出したデータを加工するReduceフェーズという段階を経て、必要なデータを得る。これにより、複数のマシンにまたがった並列処理が可能となる。

図1●MapReduceの概要
[画像のクリックで拡大表示]

ここから先はITpro会員(無料)の登録が必要です。

次ページ MapReduceの特徴を以下に示す。(1)デー...
  • 1
  • 2
  • 3
  • 4
  • 5

あなたにお薦め

連載新着

連載目次を見る

今のおすすめ記事

ITpro SPECIALPR

What’s New!

経営

アプリケーション/DB/ミドルウエア

クラウド

運用管理

設計/開発

サーバー/ストレージ

クライアント/OA機器

ネットワーク/通信サービス

セキュリティ

もっと見る