みらい探訪

2016年1月掲載

第3回 人とモノ、人と人のコミュニケーションに
新たな可能性を導く自然で直感的な
インタフェース。

PDFで見る

イメージイラスト(Illustration:Noriyuki Goto)

日本ユニシス総合技術研究所の所長を務める羽田昭裕が、同研究所で進めている研究を切り口にして数年後に実現する世の中を紹介する「みらい探訪」。今回のテーマは、「NUI(Natural User Interface)」。人間にとって、より自然で直感的なインタフェースが実現することで見えてくる未来を紹介します。

時代の先駆けとして進めてきた空間で指を動かすジェスチャ研究

NUIとは、触覚やジェスチャなど、人間の直感に近い動作で、コンピュータなどの機器を操作する仕組みや方法のことです。SF映画などに登場することが多く、未来のユーザインタフェースとして注目されてきました。近年はセンサなどの技術革新が目覚ましく、人間の指、手、声、表情、視線、関節の動きなどが認識できるデバイスが普及し始め、キーボードなどを使わなくてもコンピュータやゲーム機が操作できるようになっています。

こうした状況から、日本ユニシス総合技術研究所では、「既存技術を最大限に活用することで、先進のNUIが実現できる」と考え、研究を進めてきました。その中で今、時代の先駆けとして取り組んでいるのが、空間で指を動かすジェスチャに注目した研究です。認識した指のかたちや動きから、コンピュータなどの機器をどのように制御するかというインタフェースとコントロールのパターン整備を進めており、2014年にはこの技術を応用して、「空間書道システム」を実現しました。

ページの先頭に戻る

高度な衛生管理や効果的なプレゼンシステムなど着実に広がる応用領域

空間書道システムでは、指の動きを認識するために、赤外線深度センサを搭載した小型装置を利用しています。指を動かすと、三次元の位置情報とスピードから書かれた文字をシステムが認識して、コンピュータ画面に筆跡を忠実に表示します。位置情報から空中での力の入れ具合もシステムが認識し、筆圧も再現。空間を利用した手書き文字入力システムはこれまでになく、業界の最先端を行くものとして注目されており、特許も出願しました。

ジェスチャ操作の応用としては現在、惣菜工場での実験が進んでいます。調理担当者が空中で指を左右に動かしてページ送りの動作をすると、調理現場の大型ディスプレイに表示されている電子調理マニュアルのページがめくられ、閲覧したいページを表示。以前のようにマニュアルに触れることも、マニュアルを操作する機器に触れることもなくしたことで、高度な衛生管理を実現するとともに、作業を中断させる時間も短縮され、生産効率が高まることなどが、成果として現れています。

また、空間書道システムをプレゼンテーションシステムに応用することも検討しています。例えば、ホワイトボードに投影した資料に向かって空中で指を動かせば、着席したままでも文字や記号が追記できます。今までのように、わざわざボードまで足を運んで説明したり、参加者に背を向けて文字を書く必要がなくなるので、議論を中断させることなく、自然に進めることができます。また、追記した文字は各国語への変換もできることから、グローバルなテレビ会議システムに導入すれば、新たな価値が創造できると考えています。

ページの先頭に戻る

進化のキーワードはジェスチャに込められた想いを正確に理解すること

より一層NUIを進化させるために必要なことは、ジェスチャの意味を、より正確に、具体的に理解できるシステムを実現することです。人間の動きは、とても複雑であいまいです。単純な動きでも、顔の表情、右手、左手で複数の意思を表示していることもあれば、幾つかの動作が重なり合うことで、1つの意思を表示することもあります。そのため、ジェスチャの認識技術を高めるとともに、人間行動学の研究を進め、ジェスチャに込められた想いをシステムへ正確に反映する技術、動きのあいまいさをシステムが自動で判断・調整して人の想いどおりに機器を制御する機能や仕組みが必要になってきます。

こうしてNUIが進化すれば、介護・医療ロボットがご高齢者や患者さんのジェスチャを見て想いを理解し、最適な支援をいつも自動で提供できるようになるなど、これまでにない人とモノ、人と人とのより良いコミュニケーションが広がっていきます。そんな環境が、職場や自宅、さらには公共の場でも実現することをめざし、私たちはNUIの研究を積極的に進めていきます。

次回は、自治体から民間企業まで、さまざまな組織・団体で取り組みが進んでいるオープンデータ活用をテーマに、お話ししたいと思っています。

ページの先頭に戻る