軽い！速い！ビッグデータ分析システムの作り方

データの見方を変えよう、意識すべき三つのポイント

　ビッグデータを分析する際、企業システムで扱うデータを組み合わせて分析することが多い。最後に、企業システムのデータをビッグデータ分析システムの対象に加えるときの注意点をまとめる。従来とは異なる視点や考え方が求められるという。

STEP3 データ分析

Redshift・BigQuery・Hadoopの構築ポイント解説

　ビッグデータの「分析処理」で注意が必要なのは、クエリーの処理時間だ。STEP2 データ保存で取り上げたデータストアのクエリー処理面を見ていくことになる。クラウドサービスとオンプレミスに分けて説明しよう。

STEP2 データ保存

数億件のデータとの戦い 分散処理が必須となる

　集めたデータは捨てずに蓄えることが求められ、項目の追加も発生する。分析するときは大量データを高速に取り出すことが必要になる。データ保存がビッグデータの最大の課題。クラウド利用は一つの解決策だ。

STEP1 データ収集

SQLは遅くなるケース多い 専用ソフトの機能が充実

　ビッグデータとして、アプリケーションやミドルウエアのログを収集する。これが、ビッグデータ分析システムの最初の関門だ。漏れなく楽に収集したエンジニアの取り組みを紹介しよう。

データ分析ニーズと分析システムの全体像

桁違いに多いデータを分析　RDBでは苦労することも

データ量が多すぎて事実上不可能だったデータ分析が可能になってきた。いわゆる「ビッグデータ」の分析で、本特集ではログ分析に絞る。ビッグデータ分析システムの姿は、従来の分析システムとは大きく異なる。

図解 主要プロダクト/サービス

　ビッグデータ分析に取り組む多くの現場で使われているのが、「Fluentd」「Hadoop」「Amazon Redshift」「Google BigQuery」「Treasure Data」である。これら主要プロダクト/サービスを図解しよう。

Treasure Data Platformの特徴と構造

スキーマレスで柔軟なモデル 必要な知識はSQLとJSON

　2011年に米国で創業したベンチャー企業が提供するビッグデータ向けクラウドサービス。現在80社以上の企業に利用され、データ量は月間5000億件ペースで増加しているという。Treasure Dataの田村氏がサービスの特徴と構造を解説する。