富士通は3月7日、行動分析技術Actlyzer（アクトライザー）について、店内映像から顧客の行動を特定し、周囲の人との関係性や、商品を手に取って戻したなどの商品に対する関係性を認識する関係性センシング技術を開発したことを発表した。

同技術により、リアル店舗での顧客の購買に至る背景や心理といったコンテキストをデータとして取得し、分析が行えるようになるという。また、リアル店舗における顧客のコンテキスト情報を大量に収集できるようになるため、継続的かつ大規模なコンテキストマーケティングが可能となり、適切な接客や売場改善など顧客体験の向上にも寄与できるとのことだ。

富士通研究所が開発しているActlyzerは、約100種類の人の基本動作を認識し、それらを組み合わせて複雑な行動を認識可能だという。今回は、動作の組み合わせや時系列の変化に加えて、人物の属性、複数人の関係性、対物関係性など、あらゆる動画のシーンを行動シーングラフとして表現し認識する関係性センシング技術を開発し、Actlyzerの機能を拡張している。

  • 複数人の関係性を表現する行動シーングラフの例

オンラインショッピングにおいては、アクセス履歴をもとに顧客の背景や心理といったコンテキストを分析して、商品や広告を提示するコンテキストマーケティングが行われている。一方リアル店舗では、購買に至る経緯や、購入に至らなかった商品への購買意欲、家族などのうち誰のニーズで購入したかといったコンテキストが取得できない点が課題とされていた。そこで同社は、今回の技術開発に至ったという。

一般的な行動認識は、ある人物が何か特定の動作を行っていることを認識するものだ。「二人組が商品棚の前で商品について会話している」などの状況は、会話をしている状況や商品棚との位置関係を検出する必要があり実現が困難だった。今回開発した関係性センシング技術では、個別の人物だけでなく、「人・モノ・環境」の関係性をグラフ表現した行動シーングラフとして認識可能となった。

さらに、1フレームの出来事だけでなく、数分から数十分の時系列のシーンを認識する処理を、エッジデバイスでリアルタイムに実行できるとのことだ。また、同技術は顔などの情報を用いずに、映像も残さないように行動データを取得できるという。