CGキャラクターが目の前に現れ、あたかも実際に存在するかのように振る舞う─。HMDに関心がある人であれば欲しいと感じる機器を、市販されているHMDと距離画像センサを使って「自作」した人々がいる。あるしおうね氏(ハンドルネーム)とミクミンP氏(同)だ。

図1●あるしおうね氏(ハンドルネーム)は、市販されているHMDと距離画像センサを一体化し、カメラで撮影した映像にCGキャラクターをリアルタイムで表示さ せるシステムを試作した(a)。基本的に室内向けだが、周囲が暗ければ屋外でも利用できる(b)。ミクミンP氏(ハンドルネーム)も同様のシステムを試作 している。CGキャラクターをあたかも腕に乗せることができる(c)。
図1●あるしおうね氏(ハンドルネーム)は、市販されているHMDと距離画像センサを一体化し、カメラで撮影した映像にCGキャラクターをリアルタイムで表示さ せるシステムを試作した(a)。基本的に室内向けだが、周囲が暗ければ屋外でも利用できる(b)。ミクミンP氏(ハンドルネーム)も同様のシステムを試作 している。CGキャラクターをあたかも腕に乗せることができる(c)。
((図:b)はあるしおうね氏の資料を基に本誌が作成)
[画像のクリックで拡大表示]

 あるしおうね氏は、米Vuzix社のHMDの前方に、台湾ASUSTeK Computer社の距離画像センサ「Xtion PRO LIVE」を取り付けた機器を試作した。HMDをかけると、可視光カメラで捉えた現実世界の映像の中にCGの「初音ミク」が現れる(図1)。

 HMDを着用して歩くと、初音ミクも付いてくる。頭を動かすと映像の視点の角度が変わり、初音ミクの見え方も変化する。手を伸ばし、その手が初音ミクの映像と交わると、実際に触れているかのように初音ミクが反応する。距離画像センサの性能から、基本的に室内でしか利用できないが、薄暗いなどの条件がそろえば、屋外でも利用できる。

 実際、あるしおうね氏は、試作システムを公園で利用し、その様子を「初音ミクとデートしてみた」というタイトルで動画共有サービス「YouTube」に2012年7月に投稿した。人気キャラクターがあたかも目の前にいるような映像が話題を集め、2013年3月時点で90万回以上再生されている。

 ユーザーが移動しても、現実の映像とCGの位置がずれないようにするには、カメラの移動量を正確に算出することが求められる。そこで、以下の処理を行い、移動量を求めた。まず「LK法†」と呼ぶ手法で、カメラで撮影した画像上の特徴点を検出して追跡する。次に、距離画像センサの測定結果から特徴点の3次元位置を算出し、特徴点の3次元位置を移動前と移動後で比べて、カメラの移動量を推定した。こうした一連の処理を、HMDや距離画像センサを接続したノート・パソコンで実行している。

 今回、あるしおうね氏が採用した手法は、三次元の計測データからカメラの移動・回転を計算する「『ICP(iterative closest point)法』に近いもの」(同氏)である。ICP法は一般的なカメラではなく、米Microsoft社のジェスチャー入力コントローラ「Kinect」のような距離画像センサを要するが、比較的単純な演算で済む。ただし、平坦な壁などでは演算が収束せずに処理できない場合がある。そこで、特徴点の位置情報を利用したという。

 ミクミンP氏も同種のシステムを試作している。カメラで撮影した映像の中にCGのキャラクターが出現し、腕を伸ばすとそのキャラクターが手や腕に乗る(図1(c))。Kinectでユーザーの腕の位置や動きを推定し、腕の上にキャラクターが重なるように表示させる。演算処理はノート・パソコンを用いた。

 ミクミンP氏は、実は仕事でもHMDを扱っている。HMDを使った業務用の作業支援システムなどを開発しているのだ。趣味が高じて、今回のようなシステムを試作した。