子どものころにの将来の夢の一つにNASAで働く技術者というのがあった。宇宙博で人生が180度転換して「リケジョ」(理系女子)となり、カールセーガンの「コスモス」は愛読書だった。もっとも、子どもには高すぎるということでクリスマスと誕生日で分割でプレゼントされたのだけど。同名のテレビシリーズも大好きだった。

 大学は高校の担任の影響で宇宙ではなく化学の道に進んだものの、今でも宇宙関係は大好きな分野である。IT業界にいると近いような、遠いような。そんな筆者なので、先日「Club DB2」というデータベースの勉強会で宇宙のビッグデータ分析について話を聞くことができてわくわくした。

 世界各地には天体観測のためのレーダーが設置されている。レーダーが観測できる範囲は限られているため、複数のレーダーからの情報を組み合わせて分析したりするそうだ。そして毎日生成されるデータは、なんと17エクサバイトにもなるそうだ。1日に17エクサバイトである。メガ、ギガ、テラくらいならまだ聞いたことがあるだろう。外付けのハードディスクならいまはテラバイト単位で売られている。バックアップやテレビの録画用として購入した読者もいるのではないだろうか。その先となると単位はペタ、次にエクサとくる。そのエクサである。

 IT業界で「ビッグデータ」と呼ばれるシステムは(筆者の知る範囲だと)おおよそペタバイトくらいだったりするようだ。エクサバイトもあるが、あまり大きすぎると汎用的なメモリーやハードディスクが使えなかったり、運用に制限が出てくるのだ。それに実際のデータ量が大きくても効率的に圧縮をすると、意外とギガバイトくらいのサイズに収まってしまうこともある。そう考えると、毎日17エクサバイトのデータが生まれるというのは「ビッグ」というより「びっくり」である。