富士通と米Carnegie Mellon University（カーネギーメロン大学）は3月7日、2022年2月に開始したソーシャルデジタルツインの共同研究の一環として、人や物体の3次元形状や位置を高精度かつ動的に再構築する技術を2024年2月に開発したことを明らかにした。

  • 開発技術の

    開発技術の概要図

同技術は固定設置の1台の単眼カメラから得られる画像に映る物体を、AI（Artificial Intelligence：人工知能）によって3次元に変換しデジタル化しているという。両者は2024年2月22日から、カーネギーメロン大学周辺の交差点を撮影した画像データなどで同技術の有効性を検証する実証実験を開始している。

3次元形状推定技術

3次元形状推定技術は、さまざまな角度から撮影した市街の複数の画像を、画像に映り込む建物や人などの物体の種別を判別し深層学習を用いて学習させたモデルを活用。単眼カメラの1枚の市街の画像からでも、3次元空間上のVoxelの集合体として、建物や人などのカテゴリも表現可能としている。また、事前の機械学習によって建物の裏側などの画像では隠れて映っていない部分についても3次元形状の推定が可能だという。

3次元プロジェクション技術

3次元プロジェクション技術は、進行方向や速度情報などと共に3次元上に高精度に配置可能にするものだ。3次元形状推定技術の出力結果に基づいて3次元化されたデジタルツイン上において、すでに学習済みの社会人文科学的な人間の行動分析のノウハウを組み込むことで、例えば人が物体をすり抜けるなど現実世界では起こり得ない人間の動きを除外している。人や車の動きをより現実世界に近づけながら復元可能となるほか、物体の特定の部分が障害物によって隠されている場合でも正確な位置推定が可能になる。