• BPnet
  • ビジネス
  • IT
  • テクノロジー
  • 医療
  • 建設・不動産
  • TRENDY
  • WOMAN
  • ショッピング
  • 転職
  • ナショジオ
  • 日経電子版
  • PR

  • PR

  • PR

  • PR

  • PR

速報

ディープラーニングの画像認識ベンチで世界最速、PFNが分散処理の最適化に工夫

高橋 秀和=ITpro 2017/11/10 ITpro

 Preferred Networksは2017年11月10日、ディープラーニング(深層学習)の学習速度で世界最速を実現したと発表した。ベンチマークとなる画像認識の深層学習アルゴリズム「ResNet-50」の学習を15分で終え、初めて20分を切った。膨大な試行回数が必要な交通システムや製造業、バイオ・ヘルスケア分野での研究開発をより一層加速させるという。

 実験は、1024個のNVIDIA Tesla P100 GPUを備えるPreferred Networks社内の並列コンピュータ「MN-1」と、深層学習の分散処理が可能な「ChainerMN」で実施した。一般に、GPUノード数に応じて並列処理する学習用画像データ数が増えると精度の低下が起こり、GPU間の通信オーバーヘッドで学習速度が低下する。そこで学習アルゴリズムと並列化性能の改善を施し、高速性と精度を両立させた。

画像認識の深層学習アルゴリズム「ResNet-50」の学習時間の比較
(出所:Preferred Networks)
[画像のクリックで拡大表示]

 具体的には、学習精度を最適化するアルゴリズムに、当初は「RMSprop」を使い、徐々に広く使われる「SGD」(確率的勾配降下法)に切り替える手法を考案。精度を落とさずに1回当たり3万2000画像を1024ノードで効率よく並列処理できるようにした。Intel Xeon Platinum 8160を1600台使用して31分で学習完了した類似研究(Y. You et al. ImageNet Training in Minutes. CoRR,abs/1709.05011, 2017)のほぼ倍の速度になる。

あなたにお薦め

連載新着

連載目次を見る

今のおすすめ記事

ITpro SPECIALPR

What’s New!

経営

アプリケーション/DB/ミドルウエア

クラウド

運用管理

設計/開発

サーバー/ストレージ

クライアント/OA機器

ネットワーク/通信サービス

セキュリティ

もっと見る