感覚を備えて人間を観察
もし，非言語情報をコンピュータも適切に扱えるようになれば，コンピューティングは大きく変わるだろう。正確性や再現性，処理速度，膨大な記録容量といった，生身の人間ではかなわないコンピュータの長所はそのままに，ユーザーである自分をよく理解した上で，何事につけ自分に合わせてくれるようになるかもしれない。
そのためには，人間が発する非言語情報を汲み取る入力インタフェースが必要だ。それと同時に，感性や感情，思考といった人間の中にわき上がるものを，何らかの形でコンピュータが表現できなければならない。
表情や口調，体の動きといった非言語情報を読み取るには，コンピュータなりの目や耳が必要だ。究極は五感を備えることになるのかもしれないが，こうした五感インタフェースの研究では，情報伝達能力の高い視覚と聴覚が先行している。五感で得られる情報のうち，視覚情報が80％を占めると言われている。言語情報に限って言えば，聴覚の果たす役割も大きい。情報のやり取りに長けているという特性を持つ視覚と聴覚は，五感の中では比較的コンピュータとなじみが良いと考えられる。
これに対し，触覚や嗅覚，味覚は「不快感につながりやすい繊細な感覚」（立命館大学 情報理工学部 メディア情報学科 助教授の木村朝子氏）で扱いが難しい。また，「100％確実に情報を伝えるのは不可能」（東芝 研究開発センター ヒューマンセントリックラボラトリー 研究主幹の土井美和子氏）ということもあり，まだまだこれからの分野だ。触覚や味覚は接していないと感じられない。また嗅覚と味覚は，主観が左右する要素が他の感覚に比べて大きいといった難しさもある。触覚に徐々に成果が見られるようになってきているが，嗅覚は手がける研究者がようやく増えてきた段階。味覚はほぼ手つかずというのが現状だ。
先行する画像認識や音声認識/合成なども，多くは記号化可能な言語情報の枠内での技術開発にとどまっている。しかし，視線の動きをカメラでとらえることにより，ユーザーがどこに注目しているかを調べる視線入力インタフェースのように，ユーザーを観察し，非言語情報をコンピュータで扱おうとする研究もすでに始まっている。
人間は五感を使って「自分がやっていることと周囲の状況を並列処理的に把握している」（土井氏）。コンピュータにとっての周囲において，ユーザーの存在は大きい。コンピュータが五感に相当するインタフェースを備えるのは，ユーザーの状況を理解するための王道と言えるだろう。
感性を特徴付けから再現
人間が発する非言語情報をコンピュータが扱えるようになったとしても，感性や思考，感情といった，人間の頭の中にあるものを理解できるようになるにはまだ時間がかかる。
これらは人間にとってもうまく他人に説明するのが難しい。例えば「自分の感性はどういうものか」は，本人も正確には示せないだろう。実は，何が感性かというのも明らかになっておらず，専門家の間でも一致した定義はない。このため「人間の感じ方のメカニズムをモデル化することで，感性的に判断するのと同じ結果が得られる処理を求める」（中央大学 理工学部 経営システム工学科 ヒューマンメディア工学研究室 教授の加藤俊一氏）といった手法で研究が進められている。
 |
| 図6●感性的な解釈のモデル 同じものを見ても人によって異なる印象を持つのは，対象から特徴をどのように抽出し，どこに着目し，どのように自分の中で分類するかが異なるためだ。対象は誰が見ても同じものだが，解釈が進むにつれて個人差が大きくなる。 |
加藤氏は，人間が目で見たものを解釈するときの感性の働きを推測し，感性の情報化を目指している（図6[拡大表示]）。
見る人が誰であれ，対象の色や大きさ，形状といった物理的条件は変わらない。色は色相や彩度，明度といった数値で表す指標に落とし込むことができるし，大きさや形も数字として情報化できる。
しかし，同じ対象でも目に入った瞬間に色調や明るさ，部分の形状など，どこを特徴としてとらえるかは人によって違う。
さらに，抽出した特徴の中からどこかに着目する。それが自分にとっての特徴となる。それに基づき，自分の中にある何らかのカテゴリに分類し，見たものを解釈する。段階が進むほど，人による違いが大きくなる。このプロセスにおける人による違いに感性が表れていると言える。これをコンピュータで再現することで，人間の感じ方に近い処理を得ようとしている。
思考では人工知能をはじめとする研究が古くから進められているが，目立った成果を上げられていない。感情表現するコンピュータまでの道のりは長い。しかし，「ユーザーが怒っているのにコンピュータが平然としていては，信用のおけない存在としか受け止められない」（産業技術総合研究所 デジタルヒューマン研究センター 主幹研究員の中田亨氏）。コンピュータが人間を理解する方向へ進むには，五感や感性，思考や感情を取り扱うことが，困難だが避けては通れない道と言えるだろう。
