資料の紹介
企業ITの分野では今、深層学習（ディープラーニング）などの人工知能（AI）テクノロジーが、コンセプト実証のフェーズから実運用のフェーズへと移行しようとしている。AIテクノロジーを活用することで、企業データをかつてない品質で分析して情報を取得し、ビジネス上の精度の高い意思決定を支援できるようになると期待されている。
しかし、AIシステムの実運用の準備に着手した企業の多くは、複数のリポジトリ間でのデータ移動やコピーが困難であるといった、データ管理の問題に直面する。データの取り込みからアーカイブに至るまでの各フェーズで、最適なパフォーマンス、効率、コストを実現するには、データフロー全体を網羅するパイプラインを確保する必要がある。
本資料ではAIインフラの課題を示し、深層学習を可能にするデータパイプラインをどのように構築するかについて説明する。深層学習は、計算処理と入出力の観点から見ても最も要求の厳しいAIワークフローなので、深層学習向けに設計されたデータパイプラインは、他のAIワークフローやビッグデータワークフローにも有用だ。
