東京大学(東大)とエルピクセルの両者は7月19日、“あっかんべー”をした時に見えるまぶたの裏の粘膜である「眼瞼(がんけん)結膜」をスマートフォンで撮影した画像から、血中に含まれるヘモグロビン濃度(ヘモグロビン値)を予測する機械学習・深層学習モデルを構築したと共同で発表した。

  • 今回の研究のコンセプト

    今回の研究のコンセプト(出所:東大プレスリリースPDF)

同成果は、東大大学院 医学系研究科 小児医学講座の加登翔太大学院生(東大 医学部附属病院 小児科 病院診療医兼任)、同・加藤元博教授(東大 医学部附属病院 小児科科長兼任)、エルピクセル 研究開発本部の茶木慧太氏、同・髙木優介氏、同・河合宏紀氏、同社 サイエンスビジネス本部の西田美和氏らの共同研究チームによるもの。詳細は、英国血液学会が刊行する血液に関する全般を扱う公式学術誌「British Journal of Haematology」に掲載された。

貧血の診断には、血液検査によりヘモグロビン値の低下を確認する必要があるが、眼瞼結膜の赤みの程度を見ることで貧血の有無を推測する身体診察法も以前より用いられてきた。しかし後者の身体診察法では、貧血がありそうかどうかを大まかにしか判断ができず、当然ながらヘモグロビン値がどのくらいかを正確に推定することはできないばかりか、その精度が高くないことも課題だった。

そうした中、近年さまざまな医療分野において、機械学習を用いた診断システムなどが開発され、医師の診断支援などに実際に用いられるようになってきており、機械学習を用いて眼瞼結膜の画像からヘモグロビン値を推定するモデルに関する研究もこれまで行われてきたという。しかし、機械学習の中でも深層学習を用いた研究はほとんどなかったとのこと。また、深層学習アルゴリズムはブラックボックスであることが知られるが、ヘモグロビン値の推定においても、どのような要素が重要であるのかが明らかにされていなかった。

そこで研究チームは今回、まず東大医学部附属病院の小児科に通院中あるいは入院中の患者の協力を得て、スマートフォンで撮影した眼瞼結膜画像を用いてヘモグロビン値を予測する機械学習・深層学習モデルを構築したという。

  • 今回の研究で構築されたアルゴリズムの概要

    今回の研究で構築されたアルゴリズムの概要(出所:東大プレスリリースPDF)

今回の研究では、150名の患者の協力を得て、まずスマートフォンで撮影した眼瞼結膜画像と、同日に診療検査として実施された血液検査の結果のデータをもとに、そのうちの90名のスマートフォンで撮影した眼瞼結膜画像を用いて、眼瞼結膜領域のみを自動的に抽出するアルゴリズムが構築された。ここでは、深層学習による「セグメンテーションモデル」にスマートフォンで撮影された眼瞼結膜画像を学習させることで、高精度に眼瞼結膜の領域を抽出できるようになったとする。なおセグメンテーションモデルとは、画像の各ピクセルがどのクラスに属しているか分類することで、物体ごとの領域を認識・抽出する画像解析技術のことだ。

続いてそのセグメンテーションモデルを用い、150名全員の症例について眼瞼結膜の領域の抽出を行い、血液検査で測定されたヘモグロビン値と合わせて機械学習モデルに対する学習が行われた。ここでは、機械学習モデルとして非深層学習モデルと深層学習モデルの両方が使用され、非深層学習モデルでは、眼瞼結膜領域からさらに色の情報を抽出しヘモグロビン値が予測された。一方で、深層学習モデルでは、抽出された眼瞼結膜領域をそのまま使用して、ヘモグロビン値が予測された。その結果、非深層学習モデルよりも深層学習モデルの方が精度よくヘモグロビン値を予測できたという。

  • 実際のヘモグロビン値と各モデルで予測されたヘモグロビン値の関係

    実際のヘモグロビン値と各モデルで予測されたヘモグロビン値の関係。相関係数が1に近いほど、予測されたヘモグロビン値と実際のヘモグロビン値の相関関係が強いことが表されており、深層学習モデルの方がより高精度にヘモグロビン値の予測ができているといえる(出所:東大プレスリリースPDF)

最後に、深層学習モデルを用いたヘモグロビン値の予測において、眼瞼結膜領域のどの部分が特に重要なのかを調べるため、画像のどの部分が重要であるかを解析・可視化する手法である「勾配加重クラス活性化マッピング(Grad-CAM)」を用いた可視化が行われた。その結果、貧血の実測値と予測値が近い症例では眼瞼結膜の下半分が特に注目されていた一方、実測値と予測値の乖離が大きい症例では、眼瞼結膜の下半分以外に注目していることがわかったとする。

  • Grad-CAMの結果

    Grad-CAMの結果。深層学習モデルが、画像のどの部分に注目しているかが可視化されている。赤い部分は特に注目されており、青い部分は注目されていないことが表されている(出所:東大プレスリリースPDF)

研究チームは今回の研究成果により、深層学習モデルにおいて特に眼瞼結膜の下半分の領域に注目することが重要であることが明らかにされ、さらに精度のよい深層学習モデルを構築することで、将来的には臨床実装に向けた技術の発展につながることが期待されるという。特に、スマートフォンで撮影した眼瞼結膜画像をもとにAIモデルが開発されたことから、誰でも、どこでも、病院に行くことなく貧血の有無を推定できるスマートフォンのアプリケーションの開発に応用できる可能性があるとした。そして具体的には、医療アクセスの乏しい中・低所得国や、鉄欠乏性貧血をきたしやすい小児・妊婦などでの簡便な貧血スクリーニングへ応用できることが考えられるとしている。