「どこでもタッチディスプレー」カメラ1台で正確に奈良先端大など開発

スクリーン側にセンサーを必要とせず、プロジェクターが投影する画面をカメラ1台で正確にタッチ操作できる技術を開発した、と奈良先端科学技術大学院大学の向川（むかいがわ）康博教授（情報科学）ら、日米研究グループが発表した。特定の種類のプロジェクターとカメラを組み合わせて実現。任意の壁や机のほか、設定次第で壁に触れず空中でもタッチ操作できることから、実用化すれば感染症対策上も好ましいものになりそうだ。

プロジェクターの映像を壁などの平面に投影することが、広く行われている。ここで説明者が画面を直接タッチして操作するには、壁にセンサーを入れるか、カメラで指先を撮影して情報処理する必要がある。後者ならどの壁でもできて便利だ。ただ従来の技術では、伸ばした手に映像がかぶさって検出を妨げる上、カメラ1台で普通に撮影するだけでは3次元の把握ができず、タッチしたことや位置の判定が難しい。そこで研究グループはプロジェクターとカメラをうまく連携させ、こうした課題を克服した。

従来技術では右下から延びる本物の手に映像がかぶさって検出を妨げ、また映像内の手が紛らわしい（左）。カメラ1台ではタッチしたかどうかの判定が難しい（奈良先端大提供）

レーザー光をスクリーンの上から下へと走らせる「レーザー走査型プロジェクター」と、センサーが上から下へと順繰りに露光する「ローリングシャッターカメラ」を採用。いずれも製品が普及している。連携させると、レーザー光と露光の走査が交差した特定の距離の面にある物しかカメラに映らないという、面白い現象が起こる。2015年に別の研究グループが発表した。

奈良先端大などのグループはプロジェクターとカメラの動作タイミングを調節することで、この面がカメラに対して斜めでも、厚みがあっても撮影できることを19年に発表。さらにタッチセンシングへの応用を同大大学院生、辻茉佑香氏が発案し、開発につながったという。

この手法により例えば、指先が壁から数センチの範囲に来た場合だけカメラに映り、タッチしたことや位置をコンピューターが判定できる。実験した条件では1センチ程度の精度で調節できたという。