量研機構など、心の中で思い描いた風景などを読み出して復元することに成功

量子科学技術研究開発機構(QST)、情報通信研究機構(NICT)、大阪大学(阪大)、科学技術振興機構の4者は11月30日、ヒトが心の中で思い描いた任意の風景・物体などの「メンタルイメージ」(MI)を脳信号から読み出し、復元することに成功したと共同で発表した。

同成果は、QST 量子生命・医学部門量子生命科学研究所量子生命情報科学研究チームの間島慶研究員、NICT 未来ICT研究所の小出(間島)真子研究員、阪大大学院生命機能研究科の西本伸志教授らの共同研究チームによるもの。詳細は、AIや機械学習などのニューラルネットワークに関する全般を扱う学術誌「Neural Networks」に掲載された。

今回の研究成果の概略図(手法をわかりやすく伝えるため、比喩的な表現、および実際とは異なるイメージが使用されている)(出所:JSTプレスリリースPDF)

脳の信号を計測して被験者の知覚・記憶内容・運動意図などを読み出す「脳情報デコーディング技術」は現在、fMRIによる脳信号から被験者が目で見ている画像を復元できるレベルに達している。しかし、心の中に思い描くMIの復元画像は精度が著しく低く、アルファベットの文字や単純な幾何学図形、ヒトの顔など、特定の種類の画像でしか成功例がなかったという。

そこで今回は、まず脳信号から読み出せる目で見ている視覚情報の正確さが調べられた。画像情報は、色や形や線分などの低次なものから、質感や大まかな形などの中間的なもの、意味や概念といった高次なものに分類可能であり、今回は低次から高次まで9階層に分け、階層ごとに脳から読み出せる情報の正確さの評価が行われた。

そして、目で見ている時とMIの時とで脳から読み出せる情報の正確さが比較された結果、後者では色や形、線分といった低次画像情報の正確さが特に大きく低減していることが判明。研究チームは、生成系AIの画像生成機能で補助することで、部分的または不正確な情報からでも画像を復元できる手法を新たに開発することにしたという。

従来法と新手法による視覚画像とMIの復元結果。新手法では従来法と比べ、視覚画像、MI、双方共に復元精度が上がっていることがわかる(出所:JSTプレスリリースPDF)

続いて、被験者の目で見ている画像と脳信号の数値化が行われた。風景や物体などの1200枚の画像が、訓練済み画像認識用AIに入力され、1枚1枚の画像についての低次から高次までのさまざまな特徴を約613万個の数値で表現した「採点表」を作成すると同時に、同じ1200枚を被験者に見せながらfMRIで脳活動の計測が行われ、合計1200枚分の脳信号データが取得されたという。

ヒトの脳信号の中には、見ている画像の情報が含まれているはずだが、ノイズも入り混じっているためそのままでは利用できない。そこで脳信号をAIが画像認識で用いる「言葉」に翻訳する仕組みとして画像1200枚分の採点表と、1200枚分の被験者の脳信号データをもとに、脳信号を採点表に翻訳する「脳信号翻訳機」が構築された。これにより、脳信号のみから被験者の体験している画像の採点表を得られるようになったほか、同翻訳機には新たに脳信号も入力でき、被験者の肉眼による画像だけでなくMIに対しても採点表を得られるという。そして、実際に心の中で画像を思い描いている時の脳信号から採点表が取得された。

脳信号から読み出せる画像情報の正確さ(相関係数)の比較。MI時では、情報の正確さが欠けていることがわかる(出所:JSTプレスリリースPDF)

MIの復元は翻訳機による翻訳の後、生成系AIに画像を描かせ、画像のもっともらしさの評価(妥当性)を、「採点表と比べた画像としての近さ」、「採点表と比べた意味としての近さ」、「画像としての自然さ」の3つを統合して計算。今回は統計学・確率論におけるベイズ推定手法が用いられ、「総合的な画像のもっともらしさ(妥当性)」を計算する数式が考案された。

そして、妥当性の高い画像を生成系AIに描かせるために、化学分野で分子・原子の運動をシミュレーションする際に使われる「ランジュバン動力学法」を利用し、修正は500回ほど繰り返され、研究チームは4分ほどの時間で脳信号からMIを復元することができたとした。