■本連載は、「解説編」と「提案編」で構成されています。初回が製品/サービスや技術、市場動向、発注時のポイントなどの解説です。2回目以降はベンダー各社による提案を個別にまとめてあります。
ここ数年、「ビッグデータ」という言葉をよく見かけるようになった。IT関連のイベントや展示会では、必ずと言っていいほど「ビッグデータ」がテーマの1つになっている。ビッグデータに関する書籍も多く、書店では目立つところに山積みされている。
背景にあるのは、センサー技術やインターネットなどの発達に伴って膨大な量のデータが蓄積されるようになってきたことと、それを素早く分析できるコンピューティング環境が整ってきたことである。例えばHadoopをはじめ、従来のデータウエアハウスやデータベース管理システムでは扱えないほどの大量データでも迅速に解析できる分散処理技術が登場してきた。
データ量の増え方は目覚しく、米IDCの最新の調査結果では、世界中で1年間に作成および複製されるデジタルデータ量は現在で2.8ゼタ（Z）バイト。これが2020年には40Zバイトに達するという。2年ごとに倍増するペースである。
期待高まるビッグデータの活用
これらは様々な種類のデータを含んでいる。当然、一見するとそれぞれは必ずしも直接的な関連がなさそうなものもある。ただ、それらを併せて分析することで、何らかの傾向を示す結果を導き出せるかもしれない。そこから新たな市場、ビジネスを生み出せる可能性もある。こうしたことから、各種のデータを記録し、分析するというビッグデータへの期待が高まり、多くの企業が注目している。
ひとくくりにビッグデータと言っても、実際のアプリケーションは多岐にわたる。比較的単純で分かりやすい例が、コンビニエンスストアなどの商品開発に向けた分析である。購入者の属性と購買動向を把握し、それに基づいて企画を練る。
例えば最近のコンビニでは、クレジットカードや電子マネー、ポイントカードを利用できる。これらの情報からは、購入者の性別・年齢・職業などと商品の売れ方を結び付けられる。新商品企画の際には、ターゲットとする年齢・職業の購入者にピンポイントにアンケートを送るなどすれば、開発に役立てられる。売れた商品の種類やその日時、販売した店舗（住居エリア）などと組み合わせて購買動向を分析すれば、消費者の行動も予測可能になるかもしれない。
似た領域では、インターネット広告なども分かりやすい例。ユーザーが検索した内容やメールでやり取りした内容などから、ユーザーの好みを分析し、興味を持ちそうな商品の広告やコンテンツを自動的に提示する。
また別の分野では、タクシーのプローブデータ（運行履歴）などがある。タクシーの動きを把握することで、時間帯ごとの渋滞状況などが分かり、道路の改善に役立てることができる。実際、国内でもいくつか取り組みがある。
データ管理インフラが重要に
ビッグデータの分析では、ほかにも電車やバスの乗降情報、携帯電話の位置情報など、身の回りのあらゆるデータが対象になる。必ずしも特定の業種に限った話ではない。様々な業種・業態で、ビッグデータ活用の可能性は考えられる。
ただ、ビッグデータを活用するには、まず各種のデータを継続的に記録しなければならない。それらのデータの、どの部分を組み合わせ、どのような結果を導き出せるかを考えることも大切だ。そのための人材としてデータサイエンティストも必要になる。
同時に欠かせないのが、収集したデータを、常に分析に利用できる状態にしておくこと。つまり、データ管理のインフラである。データのフォーマットをそろえ、それをストレージに保存する。中でも重要なのは、増え続けるデータ量に対応していけるストレージと、データをリアルタイムに記録しつつ取り出せるネットワークインタフェースである。企業によっては、業務システムを担当するIT部門とは別の組織を立ち上げて、データ管理のインフラを構築・運用するケースさえ出てきている。
こうした背景を踏まえ、今回はビッグデータのデータ管理インフラ作りをテーマとした。想定する案件は、アパレル企業の顧客情報、商品情報、売り上げ情報などを中心としたビッグデータ活用のためのインフラ構築プロジェクトである（表1）。
この案件では、約10Tバイトのデータを保有している企業が、業務拡大や流通するデータの増大により翌年には社内で持つデータ量が20Tバイトに達することを前提としている。インターネットや小売店通じて商品を販売し、売り上げデータや顧客情報が増えているケースである（図1）。ここで想定しているのは、資本金1億5000万円、売上高約580億円、従業員数250人という中堅企業。それでも、現在のインターネットのデータ量の増え方から考えると、1年でデータ量が倍増するという想定は決して大げさではない。
■クラウドコンピューティングを利用してシステムをスケールアウトし、増え続けるデータに対応
■応答性能とセキュリティの要件を忘れずに。システム移行・切り替えの手順提示も大切