腕を上げている様子。画像認識によるモーション・キャプチャの判定結果が右上のディスプレイに表示されている。
腕を上げている様子。画像認識によるモーション・キャプチャの判定結果が右上のディスプレイに表示されている。
[画像のクリックで拡大表示]
しゃがんでいる様子
しゃがんでいる様子
[画像のクリックで拡大表示]
モーション・キャプチャを使ってジェスチャーにより操作するゲームのデモ。
モーション・キャプチャを使ってジェスチャーにより操作するゲームのデモ。
[画像のクリックで拡大表示]

 東芝は,マルチコア型マイクロプロセサ「Cell」を使った画像認識の実演を行った。昨年はカメラで撮影した顔画像から顔の向きや表情をリアルタイムで認識していたが,今年のCEATECでは認識する範囲を体全体に広げた。カメラ画像からのモーション・キャプチャを実現するシステム「Markerless Motion Capture 動作捕獲術 SHADOW」を開発,部品ゾーンの同社ブースで展示した。

 今回開発したモーション・キャプチャ・システムは,特殊なマーカーやセンサなどを付けることなく,カメラで撮影した画像だけから人間の手の動きや姿勢を認識できる。具体的には,専用の舞台に立った人物をカメラで撮影し,背景画像との差分から人物領域を推定。そのシルエット形状を事前に蓄積・学習した人物の姿勢のデータベースとマッチングすることで,関節の角度など人物の姿勢を判別する。得られた関節角度などのデータは,3次元コンピュータ・グラフィックスで描画したキャラクタに反映させ,撮影した人物と同じ動作をさせる。

 姿勢推定は,毎秒10回実行できる。姿勢データベースには4万個の姿勢データが格納されており,ここからツリー構造を3階層に分け検索することで,検索を高速化している。マッチング処理はCellに搭載した7個のSPEで並列に検索しているという。

遅延時間は約1秒近く

 認識結果のフレームレートは毎秒10回を実現したものの,認識結果が得られるまでの遅延時間は実演を見る限り1秒近くあった。画像認識は東芝が販売しているCellのリファレンス・セットで処理している。ただし,同リファレンス・セットには3次元グラフィックス処理LSIが搭載されていない。このため今回,CGキャラクタの描画は別のコンピュータで実行しており,この点も遅延時間を大きくする要因という。

 なお,実演の最後には,今回開発したモーション・キャプチャ・システムを使った簡単なサンプル・ゲームも披露した。敵のキャラクタの攻撃を体を横方向に移動させたり,しゃがんだりすることで回避しつつ,腕を振り下ろすジェスチャーなどによって敵を攻撃するゲームである。