ディープラーニング(深層学習)にもセキュリティ問題が存在する。データからルールを導き出す「訓練」に使用するデータに不正なものを紛れ込ませたり、認識に用いるデータにある種のノイズを加えたりすることで、AI(人工知能)に誤検出させようとする。AIの信頼性に関わる問題だけに、米Googleなどが対策に動き出している。

 「AIが判断を間違えると、大変な問題を引き起こす恐れがある。AIをどうやって防御するかが、大きな課題になっている」。Googleに所属するAI研究者であるIan Goodfellow氏はそう語る。2017年10月にシリコンバレーで開催されたディープラーニングに関するカンファレンス「BayLearn 2017」でも、セキュリティ問題が大きなテーマになった。

 GoogleのGoodfellow氏によれば、機械学習ベースの画像認識技術に対する攻撃手法には「アドバーサリアル・エグザンプル(Adversarial Examples)」や「トレーニングセット・ポイズニング(Training Set Poisoning)」などがあるという(図1)。

図1●ディープラーニングに対する主な攻撃手法
図1●ディープラーニングに対する主な攻撃手法
[画像のクリックで拡大表示]

自動運転車が交通標識を誤認識する恐れ

 アドバーサリアル・エグザンプル攻撃は、モデルに認識させる画像(エグザンプル)にある種の「ノイズ」を加えることで、画像の被写体を誤認識させる攻撃手法である。ノイズを加えた画像は、人間の目にはノイズを加える前と変わらないように見えるが、画像認識モデルには全く異なる画像に映るのだという(写真2)。ノイズを加えた画像のことを「アドバーサリアル(敵対的な)・エグザンプル」と呼ぶ。

図2●アドバーサリアル・エグザンプル攻撃の例
図2●アドバーサリアル・エグザンプル攻撃の例
ノイズを加えると、画像認識モデルは右の画像が「パンダ」だと認識できなくなる
[画像のクリックで拡大表示]

 アドバーサリアル・エグザンプル攻撃が恐ろしいのは、悪用が容易で、社会生活に与える悪影響が大きいことだ。例えば、自動運転車に交通標識を誤認識させる攻撃が有りうる。米ワシントン大学のIvan Evtimov氏らが2017年7月に発表した研究によれば、交通標識に細工をしたステッカーをはり付けるだけで、画像認識モデルをあざむき、「停止」の交通標識を「速度規制」の交通標識に誤認識させられたという(写真3)。自動運転の安全性に直結する問題だ。

図3●自動運転車に対するアドバーサリアル・エグザンプル攻撃の例
図3●自動運転車に対するアドバーサリアル・エグザンプル攻撃の例
交通標識にステッカーをはるだけで誤認識が生じる
[画像のクリックで拡大表示]