ビッグデータに挑む世界中の企業が注目する日本製OSS（オープンソースソフトウエア）が、大量のログデータを高速で集める「fluentd（フルーエントディー）」だ。開発者の古橋貞之氏は、米国でトレジャーデータを共同起業。「DWH（データウエアハウス）クラウド」の開発を主導する。
fluentdを使う企業が世界中で増えていますね。
米国ではプレゼン資料共有サービスのスライドシェアや、オンライン広告最適化技術を開発するコンテキストロジックが、分析用データの収集にfluentdを使い始めました。グリーやNHN Japanといった日本企業のほか、シンガポールの動画配信サービス「Viki」や中国のオンラインTV「PPTV」もfluentdのユーザーです。
fluentdは、様々なシステムが蓄えたログデータを「JSON」という分析に適した形式に変換したうえで、高速に集めるツールです。既存システムの多くは、分析に向かないテキスト形式でログデータを保存しています。fluentdはデータを構造化するので、データを収集してすぐに分析を開始できます。
プラグインを追加すれば、様々なアプリケーションやミドルウエア、データベース（DB）とfluentdを容易に接続できるのも特徴です。プラグインはRubyで開発でき、既に80種類以上が存在します。私が作ったプラグインもあれば、OSSのコミュニティーの開発者が作ったものもあります。
近年は分散バッチ処理ソフトの「Hadoop」に加えて、「MongoDB」のようなNoSQLの新型DBなど、新しいソフトが次々と登場しています。fluentdを使えば、こうした新ソフトと既存システムを容易に接続できます。これまで既存システムと新ソフトを接続するためには、専用ツールをユーザーが自ら開発する必要がありました。HadoopやNoSQLを使用するネット企業がfluentdを支持しているのは、自社でソフトを開発しなくてすむからです。
