秒速で1億件をうたうビッグデータ分析用のWindowsコマンド

　バンクラックジャパンの「Event Horizon」は、大容量データの分析処理をWindowsのバッチファイルで実行できるようにするコマンド群である。検索/抽出、ソート、文字列置換、ファイル操作、などを行う汎用コマンドを、全部で32個提供する。これらを組み合わせることによって、大抵のデータ分析処理ができるようになる。

　Windows XP以降のコマンドプロンプトで動作する。32個のコマンドは、いずれもC言語で開発されており、外部の共有ライブラリーなどは使わない。

　最大の特徴は、高速に検索できること。普通のパソコンでも、秒速で1億件（テラバイト級）のデータ検索が可能としている。同社が公開しているデモンストレーション動画では、1億1800万件（202Gバイト）のCSVデータからデータを12秒で抽出した。

　高速検索の仕組みの一つは、元データであるテキストファイル（CSV）を対象に検索インデックスを作成し、インデックスを用いて検索すること。このほか、ファイルをメモリー空間にマッピングすることによってI/O性能を高めるメモリーマップトファイルの仕組みも採用した。

　インデックスは、元データのCSVファイルごとに、指定したフォルダーに隠しファイルとして保存する。インデックスの作成方法も細かく指定できる。インデックスのサイズが2Gバイトを超える場合は、読み込みを高速化するため、2Gバイト単位で複数ファイルに分割して保存する。一般には、SSD（ソリッドステートドライブ）などの高速なドライブにインデックスを置いて運用する。

　コマンドライン（コマンドに与える引数）を自動生成するためのGUIウィザードも提供する。インデックスのありかや検索条件など、各種のパラメーターをGUIで指定するだけで、コマンドラインを生成できる。これをクリップボードにコピーして、コマンドプロンプトで実行したり、バッチファイルに貼り付けたりできる。

　Event Horizonに含まれる全32個のコマンドは表の通り。