非拘束・環境重畳型ヒューマンインタフェースの開発と応用
English version is underconstruction.
Last Modified:Apr. 1, 2003.
研究目的
計算機ネットワークの爆発的普及により，あらゆる人々が商品の選定や購入などの消費行動，および個人間通信や映像配信などのコミュニケーションに計算機を利用する社会が実現しようとしている．しかしそれらへの依存度が高まるほど，我々は計算機の操作に長時間拘束され，却って充実した実生活が妨げられるという問題が生じている．そこで携帯電話のように情報端末を小型化し携帯可能とする研究が盛んに行われているが，携帯性とユーザビリティはトレードオフの関係にあり限界がある．そこで生活環境に情報アシスタントシステムを埋め込み設置することを想定した研究もあるが，本研究は３次元計測技術，及びそれから派生した環境への重畳表示技術を応用することで，より自然で違和感のないインタフェースを実現しようとする点が独創的である．またその結果，上記のような弊害を受けることなく，誰もが通常の日常生活中でシームレスに情報通信技術の様々な利便性を享受できるようになる．
そこで本研究では，非拘束・環境重畳型インタフェースの備えるべき機能として，以下のような技術的課題について解決を図る．
- a. 非拘束入力方式の開発 単に言語を介したやりとりだけではなく，作業対象を指差すなどの視覚的情報をも取り扱うことが可能な入力インタフェースとして，音声や言語情報以外に，身振りなどの３次元的な身体動作を計測する．ここではジェスチャ認識のように，身振りから言語的・定性的情報を抽出するのではなく，指差し方向などの幾何学的・定量的な情報を入力する方法に主眼を置く．
- b. 環境重畳型表示方式の開発 ディスプレイの位置等に拘束されず，また遠隔地からの情報と実環境中の物体との関係が分かりやすい表示方式として，実物体上に情報が直接重畳して表示されるような表示方式を開発する．但しＨＭＤ等の装着型ディスプレイは用いず，ビデオプロジェクタを用いた三次元計測技術を応用することで，様々な形状・反射率の物体表面に見やすく情報が重畳表示される方式を開発する．
- c. 円滑な通信のための情報の抽象化技術の開発 不特定多数との通信において特に重要な，通信の相手先等に応じて不要な情報を削除したり抽象化したりするための画像・情報処理手法を開発する．具体的には，a. の身振りや対象の計測・認識結果を利用し，必要部分のみを伝送する．また b. の環境重畳型表示では，通常のディスプレイを用いたビデオ映像とは異なり，幾何学的・記号的情報を実物体に重畳表示したり，部分的な映像のみを環境に違和感なくはめ込み表示することが可能である．
従来の研究において，実空間・３Ｄ指向のインタフェースは主としてＶＲ分野の研究として盛んに行われており，専門家等の一部のユーザが利用することを想定したものが多い．また臨場感通信やテレイクジスタンスに代表されるように，より実物に近づけるための立体視や高精細伝送等が主流であり，情報の抽象化に関しては精力的な研究はなされていない．Enhanced Desk 等，情報の重畳表示や身振りの入力に関して取り組んだ研究例もあるが，３次元的な対象に関する考慮が計測・表示ともになされていない，机上の業務や教育などを主眼にした研究であり，通信手段としての位置付けは薄いなどの面で本研究とは大きく異なる．
研究計画
まず初年度では，以下の基本技術に関して開発を行う．
- 1.環境重畳型表示方式の開発
様々な色彩（反射率）や形状を有する環境中に，見やすく画像や文字，幾何学的情報を表示する方式に
ついて研究する．これまでの研究により得られた，対象の形状および反射率の計測技術を利用して，ユー
ザの視点から自然に見えるよう，投影パターンの変形と強度の調整を行う．特に高輝度な映像投影装置が
必要であるため，研究設備として高輝度液晶プロジェクタを利用する．
- 2.非拘束入力インタフェースの基本技術の研究
ユーザの身振り，特にジェスチャ分類等の記号的認識ではなく，指差し動作の指差し位置や方向など，
幾何学的・定量的計測手法について，基本技術の開発を行う．具体的には，２台の画像センサを用い，指
先の抽出及び位置の測定などを行う．画像センサとしては既存の設備を利用する．また画像処理装置とし
て，専用のネットワーク接続型画像処理装置を利用することで高速化を図る．
- 3.画像の選択的計測・処理技術の研究
通信において相手方へ伝達される情報の部分削除や抽象化手法の基礎的研究として，シーン中から必要
な情報のみを選択的に計測する手法について研究する．そのための画像センサとして，ランダムアクセス
型 CMOS カメラを用いる．このカメラは計算機からの制御により，画像の任意の一部を読み出し可能なセ
ンサであり，上記 2. の計測の高速化のための基礎的研究としても位置付ける．
引き続き，以下の課題について研究を行い，製作されたシステムを評価する．
- 4.複数投影装置を用いたより柔軟な投影方式の開発
複数の映像投影装置を同時に制御することにより，より広い範囲に渡って矛盾なく映像が表示できる手
法を開発する．環境の立体形状情報などを元に，投影像が互いに輻輳しないように制御する，また反射率
が低い領域については，２箇所から同時に投影するなどの方法によってより自然で見やすい映像を提供す
る手法を開発する．また対象の形状によっては，陰になって映像が投影できない領域が生じるが，これに
ついても２地点からの投影により解決する．
- 5. 非拘束入力インタフェースの高度化
１３年度には基礎的研究として，簡単な指差し動作を計測する手法について研究するが，１４年度には
より使いやすいインタフェースとするため，ユーザの四肢の動作や顔の向きなどを利用してユーザの意図
を推定し，より適切に画像を表示したり，遠隔地へ伝達する情報とする．ここでは分散画像処理・表示用
ＰＣクラスタと，１３年度に購入したランダムアクセス型 CMOS カメラ，デジタルステレオビジョンシス
テムを用いて，多視点から得た映像を元に画像入力・処理・認識を行う．
- 6. 情報の抽象化技術の開発
上記 5. により得られたユーザの動作や指示等の情報を利用し，遠隔地へ伝達すべき情報を抽象化する
手法について研究を行う．計測された四肢運動を，遠隔地において単にアバターの動作として表示するの
ではなく，環境中に投影された表示内容（遠隔地の実物体など）とユーザの四肢の動きとの位置関係など
を利用し，遠隔地において実物体へ適切な幾何学的情報等を表示するなど，より環境の三次元構造を意識
した処理を行う．
従来の研究成果
これまでに，遠隔地からの指示を対象物体の表面へ直接投影すること，また作業員が指し示した点を計算
機に入力することなどが実現されている．具体的には，図１に挙げたようなシステムを構築した．
図１ 遠隔地からの作業指示・支援システム
このシステムにおいて，現場作業者の手元および作業対象は，カメラ・プロジェクタにより三次元計測される．そのデータは遠隔地へ伝送され，遠隔地の指示者が操作する計算機上に三次元ＣＧとして表示される．対象の形状情報が得られているため，遠隔地の指示者は，作業対象を自由な方向から観察することが出来る．また遠隔地の指示者は，マウスの操作により、CG の観察方向に関わらず，いつでもこの三次元CG上に自由な指示内容を書き込むことが出来る（図2-a）．その指示内容は，現場作業者の手元にプロジェクタを介して投影される（図2-b）．
図2-a 遠隔地計算機上の指示画面 図2-b 作業対象上への指示内容の表示
デモムービー
形状の計測と指示の投影(5.8MB, MPEG)
まず対象へプロジェクタからパターン光を投影し，形状計測を行います．その結果を遠隔地の指示者へ伝送し，遠隔地では自由なアングルで対象を観察することが出来ます．
またそのまま，マウスにより自由な方向から作業やデザインの指示を書き込むことが出来ます．書き込まれた内容は，作業現場の実物体上へ，正しく位置合わせされて直接投影されます．
物体の移動の指示(11MB, MPEG)
対象は，積まれた大小の直方体．このうち，上に載った小さいものの移動の指示をすることを考えます．対象は上のムービーと同様に光を投影して形状計測されています．遠隔地の指示者は，まず動かしたい小さい直方体の稜線をなぞって線を引きます．次にマウスとキーボードを用いて視点を変えながら，移動した居場所へ描いた稜線（赤線）を移動します．
現場では，描かれた稜線が投影表示されています．指示者がその線を移動すると，投影像もずれていきますが，立体物に投影しているために形が歪みます．しかし我々は光が投影されているということを知っているので，容易に指示された位置へ物体を移動することが出来ます． |
指示内容の入力，及びその投影の段階では，単に２次元的な画像を描画・投影しているのではなく，対象の三次元形状情報から指示ポイントの三次元座標を求め，それをプロジェクタ座標系へ変換したのちに対象へ投影しているため， 指示者の CG 観察方位に関わらず，常に正確な位置への投影が実現されている．また現在までに、対象の前後二方向から対象物体の形状計測及び指示内容の投影を行うことにより，死角のない計測・指示システムが完成している．
このシステムの応用分野としては，以下のように遠隔地からのデザイン支援や遠隔医療支援などが考えられる．
