Meta Quest 2向けのアプリでハンドトラッキングを使ったジェスチャー操作を可能にする「Hand Tracking API」がバージョン2.0（以下Hands 2）にアップグレードされた。Metaが開発者向けブログで、同APIの強化点や新たな機能を紹介している。
Metaは「CONNECT 2021」カンファレンスで、メタバースにおいて開発者が没入感の高い複合現実体験を構築できるようにする様々な機能を揃えた「Presence Platform」を発表しており、コントローラーを用いずに手を使った自然なインタラクションを可能にするハンドトラッキングはその構成技術の1つである。
現在、ハンドトラッキングが抱える大きな課題の1つがユーザーの手をヘッドセットが見失うこと。ゲームプレイ中などにコントロールの障害が起こると没入感が損なわれてフラストレーションがたまる。Hands 2は、その改善を優先事項に開発された。より自然で本物らしい体験に近づけるようにトラッキングの連続性を段階的に向上させ、日常的な使用においてより没入感のある一貫した手の体験を実現したという。
トラッキングのロストは、VRヘッドセットのカメラから手全体が見えなかったり、または左右の手が重なったり、動きが速い時に起こる。そこでディープラーニング技術を利用して手のポーズや動きをより良く理解する新たな方法を開発。両手の指を組み合わせる、拍手する、ハイタッチするといった手を重ねるインタラクションをスムースにトラッキングできるようになり、親指を立てるポーズのような手のひらに残りの指が重なるジェスチャーも正確に表現される。
-
手が重なった時にHands 1では片方の手のトラッキングが失われるが、Hands 2では左右ともトラッキングされ続ける
Hands 2のハンドトラッキング技術によって、ピンチ、つかむ、つつくといった基本的なジェスチャーの安定性も向上している。それによって、アプリ内のオブジェクトとの間の不自然なジェスチャーやジェスチャーが適切に機能しないといったことが減少。また、Interaction SDKのジェスチャーやカスタムジェスチャーを実装したアプリでも動きが改善する。パズルのピースを拾う、パンチングバッグを打つ、楽器を演奏するといったVRゲームやVRアプリでのインタラクションが、Hands 2によってより自然な手の動きの再現に近づくという。
Hands 2はすでにハンドトラッキング機能を組み込んでいるアプリではAPIコールを変更する必要がない。また、「Cubism」、「Unplugged:Air Guitar」「Hand Physics Lab」「Liteboxer」などの開発者にプレビュー提供されており、そうしたアプリで間もなくHands 2のハンドジェスチャーを体験できるようになりそうだ。
