首にかけるウェアラブルデバイス、NeckFaceで何ができる？

首にかけるウェアラブルデバイスNeckFace。

このデバイスのすごいところは、表情や顔の動きを“継続的”にトラッキングすることができること。

表情や顔の動きを捉えるには、従来であれば正面にカメラを設置するはずだ。視界にカメラが入ったり、カメラを手にもったりしなければならない。そのため、継続的に表情や顔の動きを捉えることに限界がある。

しかし、NeckFaceは首にかけることでハンズフリーになり視界もさえぎらない。それでいて、AIを組み合わせることで表情や顔の動きを捉えてメンタルヘルスなどに役立てることができるのだ。

では、このNeckFaceとは、どのようなものだろうか。どのようなことが期待できるのだろうか。今回は、そのようなことについて紹介したいと思う。

NeckFaceとは？

NeckFaceを開発したのは、アメリカのコーネル大学だ。NeckFaceは2種類のタイプがあり1つは、ネックレスタイプ、もう1つがネックバンドタイプだ。

• 2種類のNeckFace(上がネックレスタイプ、下がネックバンドタイプ)(出典:コーネル大学)

NeckFaceの先端には、赤外線カメラがついている。例えば、ネックレスタイプに取り付けられている赤外線カメラは以下のような形だ。他にもバイパスフィルタや赤外線LEDが取り付けられている。

• NeckFaceのネックレスタイプの赤外線カメラ(出典:コーネル大学)

この赤外線カメラで、顔を下方から撮影する。ネックレスタイプには、赤外線カメラが1つ、ネックバンドタイプは2つ取り付けられている。この赤外線カメラから撮影された画像を画像処理し、ニューラルネットワークモデルであるResnet34をベースに開発したNeckNetというディープラーニングパイプラインでディープラーニングを行う。

顔全体の表情は赤外線カメラで撮影できないので、顎や頬あたりの赤外線画像から実際の顔の表情をディープラーニングで特定するというものだ。

ネックバンドは2つの赤外線カメラが取り付けられてるため、情報量が多く、ネックレスタイプよりも正確に顔の動きを検出できるという。

• NeckFaceの技術的な仕組み(出典:コーネル大学)

NeckFaceはどう使われる？

では、NeckFaceはどのように使われるのだろうか。コーネル大学では、次の2つを提示している。

1つは、歩き回りながらなどの物理的に束縛されないオンライン会議。コロナ禍になり、オンライン会議が主流となった。座りながら、パソコンなどの端末のカメラに顔を向けながら話す、そのような会議をしているかたがほとんどだろう。

もちろん、スマートフォンやタブレットを片手に持ちながら画面に顔を向けて歩きながら話している人もいらっしゃることだろう。しかしNeckFaceは、ハンズフリーで歩きながら、カメラに意識を払うことなく、何かをしながらオンライン会議に参加することができる。場所や状況などに影響されないのだ。自分のリアルな顔は表示できないだろうが、アバター的なもので会議を実施する、そんな将来になるのだろうか。

もう1つがメンタルヘルスだ。このNeckFaceを一日中取り付けることで、1日の感情を“継続”して追跡することができるという。

コーネル大学によると、ヒトはいつも感情というものを顔に出すとは限らないが、表情の時間変化を定量的に評価することで、さまざまな感情を知ることができるという。このNeckFaceで1日の身体的、精神的な行動をデータベース化することで、メンタルケア、フィジカルケアの適切なタイミングを示唆することも可能だという。

また、他にもオンライン会議参加者の表情、感情を追跡するにも役立つだろう。例えば、営業に関するオンライン会議の場合、客先の感情などを評価しながら話を進める、そんなこともできるかもしれない。

いかがだっただろうか。今回はコーネル大学が開発したNeckFaceというウェアラブルデバイスを紹介した。首にかけるタイプのデバイスが顔を撮影することでメンタルヘルスをはじめ、感情認識などに役立てるというものだ。

しかし、他にも未来には、メガネ形のウェアラブルデバイス、耳の装着する形のウェアラブルデバイスなどハンズフリーで邪魔にならないタイプが主流になっていくと感じる。このデバイスにより、センサとAIなどの技術を組み合わせて相手の物理的特徴はもちろんのこと、感情などのメンタル面の認識も可能となり、何よりも自分自身の自己認識にも役立てることができるものとなるだろう。