東京理科大学(理科大)は8月7日、顔が撮影された映像を時空間解析手法の1つである「動的モード分解」により解析することで、心拍由来のわずかな色変化(脈波)の抽出に成功し、非接触で心拍数を推定できる新たな容積脈波測定法を開発したことを発表した。

さらに、環境光変動下で撮影された映像について解析を行ったところ、同手法の方が従来法よりも高い精度で被験者の心拍数を推定できることを実証したことも併せて発表された。

同成果は、理科大大学院 工学研究科 電気工学専攻の栗原康佑大学院生(日本学術振興会特別研究員)、同・大学 工学部電気工学科の前田慶博講師、同・浜本隆之教授、津田塾大学 学芸学部 情報科学科の杉村大輔准教授らの共同研究チームによるもの。詳細は、IEEEが関心を寄せるすべての分野を扱う学際的なオープンアクセスジャーナル「IEEE Access」に掲載された。

  • 今回の研究の概要

    今回の研究の概要(出所:理科大Webサイト)

容積脈波測定法は、心臓の拍動によって生じる血管の容積変化である脈波を、皮膚に生じるわずかな色調変化から測定する手法のことである。同手法では、測定された脈波の周期成分から心拍数などを算出することが可能であり、同手法を顔の映像に対して応用することによって、皮膚に直接測定機器を装着せずに測定できるという。これにより、測定機器を接触させることにより生じる被測定者の皮膚の炎症や測定中のストレスを軽減できることが期待されている。

しかし、撮影環境によって環境光が変動するため、正確な脈波や心拍数の推定が難しいという課題を抱えていた。そこで研究チームは今回、環境光の変動が生じる場合でも高い精度で脈波や心拍数が推定できる手法を開発することにしたという。

これまでの研究から、脈波は準周期的な非線形ダイナミクスを示すことが明らかにされている。この知見に基づくことで、脈波のダイナミクスは特定の周波数範囲において、指数関数的な振幅の減衰・発散成分を持たない振動系として近似的にモデル化することが可能だ。ノイズは通常、脈波のような準周期的な挙動を示さないことから、このダイナミクスモデルに基づき動的モード分解で解析することでノイズの影響を低減できるとする。なお動的モード分解とは、実験や数値シミュレーションで得られる時空間データから特徴構造を抽出する手法のことを言い、空間的な構造と時間的な構造の両方を得ることができるのが特徴だ。

それらの点を踏まえ今回の研究では、多次元時系列信号から時空間ダイナミクスを抽出する動的モード分解を用いた時空間構造解析により、顔の映像から脈波信号を抽出する新たな心拍数推定法の開発が行われると共に、開発された手法による妥当性の評価が行われた。

まず、顔映像の各フレーム画像から色信号(RGB)の抽出を行う。次に、脈波が非線形かつ準周期的なダイナミクス特性を示すことをモデル化した動的モード分解が実行され脈波信号を抽出。そして、推定された脈波信号の心拍変動量の解析を行うことにより心拍数が推定された。

次に、3種類の公開データセット(TokyoTech Remote PPG、MR-NIRP、UBFC-rPPG)を用いた実験により、今回開発された手法の有効性が検討された。安定した環境光環境で作成されたTokyoTech Remote PPGデータセットとMR-NIRPデータセットにおいては、今回の手法、従来法のどちらでも正確な心拍数推定を行うことができたという。これは、安定した環境光のもとではノイズ成分が少なくすべての顔フレームで脈波の伝播が明瞭に観察されたことが理由と考えられるとした。

その一方で、環境光が変化する環境で作成されたUBFCデータセットにおいては、従来法ではノイズと脈波成分を区別できず精度が低くなることが確認された。これに対し今回の手法では、精度の高い心拍数推定を実現できることが実証された。これは脈波のダイナミクス特性を取り入れた動的モード分解による時空間解析を適用することで、環境光が変動するシーンにおいても脈波信号と心拍数を精度良く推定できることを示唆しているという。

今回の手法はビデオ会議システムを利用した遠隔医療やスマートフォンなどのカメラを用いた健康モニタリングへの応用が期待されるとしている。