大阪大学(阪大)は12月26日、イス型のセンシングデバイス「SenseChair」によって会話者の重心位置・重量変化を解析することで、会話中の「うなずき」を検出し、思考課題におけるアイデアの創出数やそのタイミングを推定する技術を開発したことを発表した。

  • 着座者の重量と重心位置を計測できる椅子型デバイス「SenseChair」

    着座者の重量と重心位置を計測できる椅子型デバイス「SenseChair」(出所:阪大Webサイト)

同成果は、阪大大学院 情報科学研究科の西村賢人大学院生(研究当時)、青山学院大学 理工学部 情報テクノロジー学科の伊藤雄一教授(阪大大学院 情報科学研究科 招へい教授兼任)、同・伊藤弘大助教、台湾・國立中正大學 心理學系の藤原健助理教授、東北大学 電気通信研究所の藤田和之助教らの国際共同研究チームによるもの。詳細は、デジタルメディアやインタラクティブサービスなどに関する人間の経験と認識に関する全般を扱う学術誌「Quality and User Experience」に掲載された。

ヒト同士の対話において、うなずきなどのノンバーバル(非言語的な)コミュニケーションは、肯定的なフィードバックや共感を表すジェスチャとして使われている。同意のタイミングでうなずきが起こることは、誰もが日常の体験を通して理解しているはずだが、それがディスカッションの場においてどのような役割を果たしているのかという関係性は、これまで解明されていなかったという。

また、うなずきは頭の動きによって行うものであるため、これまでその検出には映像が必要だった。しかし、映像や音声の記録はプライバシーの問題によって敬遠されることも多く、特に機密性の高い重要なディスカッションでは使用が困難であるというジレンマがあった。そこで研究グループは今回、IoT技術を利用することにより誰でも意識せずにコンピュータの恩恵を受けられる「無意識コンピューティング」の研究の一環として、イス型のセンシングデバイスとしてSenseChairを開発。着座者がただ座っているだけで、センサを意識することなく、イスの重心位置や重量の変化といった身体の動きの計測からうなずきを検出し、その解析結果からグループ内の合意形成やアイデア創出のタイミングを推定することを試みたという。

実験では、SenseChairを用いて着座者の重心位置・重量変化が計測され、その分析の結果、着座者のうなずきを検出できることが確認された。分析には周波数分析と機械学習が使用され、カメラ映像を使わずにうなずきを検出できるかどうかの検証がなされた。

なおSenseChairでは、うなずき動作をフレームごとに判定してラベル付けが行われる。しかし、1フレームは非常に短い時間(0.033…秒)のため、ノイズによる誤判定が生じてしまうことがあるという。そこで今回はノイズの影響を軽減するため、うなずき動作のラベルを結合する処理を行ったとのこと。具体的には、うなずき動作は短いものでも0.3秒程度は必要なことから、2つのうなずき動作間の長さが0.3秒(9フレーム)未満だった場合、これを1つのうなずき動作となるよう補正された。

研究チームは次に、SenseChairを利用して、たとえば「レンガの使い道をできるだけ多く挙げよ」といった意見発散型思考課題のように、アイデアを多く創出することを求めるタスクを課した実験が行われた。同タスクは複数人からなるグループで実施され、グループ内でなされるうなずきと、グループの生み出すアイデア量の関係が調査された。

その後、ディスカッション中のある5秒間に起きたイベントと、その前後5秒間のうなずきの数がグラフにまとめられ、アイデアが発生した後の5秒間で有意にうなずきの数が増加していることが確認された。つまりうなずきを計測することで、ディスカッション中のアイデア創出のタイミングを推定できることが明らかになったのである。今回はアイデアの質との相関関係は見られなかったものの、グループ内のノンバーバルコミュニケーションを計測するだけでも、グループにおける知的生産性の推定ができる可能性が示されたとしている。

  • 発生したイベントとその前後5秒間のうなずき量の関係

    発生したイベントとその前後5秒間のうなずき量の関係(出所:阪大Webサイト)

今回の研究成果によって、プライバシーに配慮したグループコミュニケーションの状態把握が可能になるとともに、これまで客観的な評価が難しかった知的生産性などの指標を、定量的かつリアルタイムに計測することも可能となる。これにより、リモートワーク中のコミュニケーションを支援したり、遠隔学習における参加度や理解度を推定したりするなどの応用が考えられるという。

また研究チームは、SenseChairで得られたデータを活用することで、会議の盛り上がった箇所(知的生産性が高まった箇所)を把握して議事録の要点に自動で反映することや、計測されたデータをもとにディスカッションを活性化させる支援への利用も期待できるとしている。