各種データソースからデータウエアハウスにデータを渡すミドルウエア

　米Fivetranの「Fivetran」は、各種のデータソースから抽出したデータをデータウエアハウス（DWH）に反映するミドルウエアである。SaaS型クラウドサービスとして提供する。データの反映先となるDWHとして、Google BigQuery、Amazon Redshift、Snowflakeなどのクラウドサービスを利用する。

古典的なETLプロセスとFivetranのELTプロセスの違い

（出所：FBP Partners）

[画像のクリックで拡大表示]

　データソースにアクセスするためのコネクタを100種類以上用意している。Oracle DatabaseやPostgreSQLなどのデータベース管理システムのほか、Salesforce.comなどのSaaSアプリケーション、Webhooksなどのイベント、CSV（カンマ区切り形式）ファイル、などを取り込める。

　特徴は、データソース側で何らかのデータを変更した際に、これを自動的に検知し、DWHのデータを修正・同期できることである。データを同期させるためのプログラムを書いたり、データが変更になるたびにメンテナンスを実施したりする必要がない。

　Fivetranを使うことによって、ETL（データ抽出、データ変換、DWHへのロード）という一般的な手順ではなく、変換とロードの順番を変えたELT（抽出、ロード、変換）のプロセスが可能になるとアピールする。抽出したデータをそのままDWHに登録することによって、頻ぱんに変化するデータソースに適応したデータパイプラインを構築できる、としている。