富士通研究所、実物をタッチするだけで操作できる次世代インタフェース

富士通研究所は3日、実空間にある物を直接指で選択するだけでデータをやり取りできる、次世代ユーザインタフェース技術を開発した。汎用プロジェクタと組み合わせると、紙の書類上でなぞった部分をその場でデータ化することなどが可能となる。

従来、非接触のジェスチャ操作は、特殊なセンサーを対象物に埋め込む必要があったり、書類と手が近づいた状態では両者が混在して検出されるといった問題があった。また、赤外線などの特殊デバイスで検出する技術では、手指の細かい操作を検出できず、装置も大型でコストがかかるという課題があった。

今回同社が開発した技術は、手指の操作を汎用カメラで高精度・高速に検出できるもの。

まず、実世界の凹凸形状をカメラで自動計測し、カメラ/プロジェクタ/実世界の座標系を自動調整することで、指の動きと、プロジェクションを正確に合わせた。また、手指の検出では、設置環境や個人差(色味など)の影響が少ない、安定した抽出を実現。合わせて低解像度の汎用Webカメラでも検出できるよう、指先の画像を補間するほか、自然な指の動きに追従させるため、300mm/sの指先追跡速度を実現した。

これらの技術により、例えば書類の指でなぞった箇所を電子データとして取り込む、手描きの付箋紙をテーブルに貼り付け画像データとして読み取り、画像化した電子付箋を投影しグルーピングするといった操作が可能となる。

同社は開発したアプリケーションやシステムを実使用環境に適用する評価を進め、2014年度中の実用化を目指す。