• BPnet
  • ビジネス
  • IT
  • テクノロジー
  • 医療
  • 建設・不動産
  • TRENDY
  • WOMAN
  • ショッピング
  • 転職
  • ナショジオ
  • 日経電子版
  • PR

  • PR

  • PR

  • PR

  • PR

知って安心!AWS・Azureのつまずきポイント

[SQL DWの落とし穴]外部テーブルにデータ追加するたび手間発生

中島啓之=インテリジェンス ビジネスソリューションズ 2017/04/25 日経クラウドファースト

 マイクロソフトのクラウドMicrosoft Azureのデータウエアハウス(DWH)サービス「SQL Data Warehouse」には、リレーショナルデータベース(RDB)のSQL Serverなどと同様に「PolyBase」という機能がある。SQL Data Warehouse のPolyBase機能を使うと、オブジェクトストレージAzure Blob Storageに格納したCSV(カンマ区切り)などのテキストファイルをそのまま外部テーブルとして読み込み、テーブルとして参照することができる。

 マイクロソフトが提供するコマンドライン形式の一括読み込みユーティリティーbcp(bulk copy program)よりも高速にインポートでき、大量データの読み込みに適している。

 外部テーブルを定義する際、データソースにストレージアカウント、ロケーションにファイルやフォルダー、ファイルフォーマットにCSV(カンマ区切り)などどのようなファイル形式かを指定する。例えば以下のような具合だ。


-- 外部テーブル定義
CREATE EXTERNAL TABLE ext_table(
     Col1  nvarchar(30) NULL
,    Col2  nvarchar(30) NULL
,    Col3  nvarchar(30) NULL
) WITH (
   DATA_SOURCE = storageSource	-- Azureストレージ定義
,   LOCATION = 'ext_data.csv'	-- コンテナ配下のファイル
,   FILE_FORMAT = Comma		-- ファイルフォーマット定義
);

ここから先はITpro会員(無料)の登録が必要です。

次ページ ここで上記のようにロケーションにファイルを指定す...
  • 1
  • 2

あなたにお薦め

連載新着

連載目次を見る

今のおすすめ記事

  • 【夏休みスペシャル 2017】

    IT業界でいまだにあるある?プロジェクト迷走記

     中堅F:この春にうちの部署に配属になってもう3カ月たったけど、仕事は順調かい? 新人O:はい、何とかやっています。でももうすぐ夏期休暇でホッとしています。でも先輩は元気がないですね。 中堅F:取引先といろいろあってね。「なんでこんなに理不尽な目に遭うんだ!」って思うことがときどきあるんだ。

ITpro SPECIALPR

経営

アプリケーション/DB/ミドルウエア

クラウド

運用管理

設計/開発

サーバー/ストレージ

ネットワーク/通信サービス

セキュリティ

もっと見る