前回の記事では、Dense Trajectoriesをご紹介しました。今回は、そのDense Trajectoriesでも採用されているHistogram of Optical Flow(HOF)、Motion Boundary Histograms(MBH)を説明したいと思います。

HOF

HOF(参考文献:Ivan Laptev, Marcin Marszałek, Cordelia Schmid, and Benjamin Rozenfeld, “Learning realistic human actions from movies,” in CVPR2008)は、まず時刻tと時刻t+1の画像からOptical Flow(画素の動き)を求めます。そして、画像をグリッド状に分割し、各グリッド内のOptical Flowの方向をヒストグラム化します。図1の例は、左手を含むグリッド内の動きをヒストグラム化した例です。

図1 HOF特徴の概要

このHOF特徴量とnon-linear SVM等の機械学習を組み合わせることで、図2のように映像中の動作(Kiss, Stand up, Sit down等)を自動で推定することができます。

図2 HOF特徴を用いた動作認識結

MBH

MBH(参考文献:N. Dalal, B. Triggs, and C. Schmid, “Human detection using oriented histograms of flow and appearance,” in ECCV 2006)はHOFと異なり、Optical Flowを微分し、ヒストグラム化します(図３)。動画像中のOptical Flowは、人や車などの動き以外に、カメラの動きも含みます。人の動きによるOptical Flowは、体の部位毎に異なるのに対し、カメラの動きによって生じるOptical Flowは、画面全体で均一になります。MBH特徴では、Optical Flowを微分することで、Optical Flowが変化する境界部のみが抽出されるため、このカメラモーションによる均一なOptical Flowの影響を軽減することができます。

図3　MBH特徴の概要

HOF、MBHを用いても、十分な動作認識の精度を得ることは難しく、まだまだ改良が必要ですが、動画像中の動作・行動認識の基礎技術ですので覚えておくとよいでしょう。

著者プロフィール

樋口未来(ひぐち・みらい)
日立製作所 日立研究所に入社後、自動車向けステレオカメラ、監視カメラの研究開発に従事。2011年から1年間、米国カーネギーメロン大学にて客員研究員としてカメラキャリブレーション技術の研究に携わる。

現在は、日立製作所を退職し、東京大学大学院博士課程に在学中。一人称視点映像(First-person vision, Egocentric vision)の解析に関する研究を行っている。具体的には、頭部に装着したカメラで撮影した一人称視点映像を用いて、人と人のインタラクション時の非言語コミュニケーション(うなずき等)を観測し、機械学習の枠組みでカメラ装着者がどのような人物かを推定する技術の研究に取り組んでいる。また、大学院での研究の傍ら、フリーランスとしてコンピュータビジョン技術の研究開発に従事している。

専門:コンピュータビジョン、機械学習