ARって何?

「AR」とはAugmented Realityの略で、日本語では「拡張現実感」と呼ばれる技術です。例えば携帯電話やスマートフォンカメラを通して撮影している画面に、現実には映っていないものを、「3次元的にあたかもそこにあるかのように位置合わせをしながらCGでリアルタイムに表示する」ことがARの主な役割です。これにより、例えば画面上にコンパスが3Dで表示されたり、お店の前に立ったらその店の看板のCGが表示されたり、あるいはCGのボードゲームを机の上にARで表示したりするなど、ARの使われる場所は多様化してきています。

広義で言うと音の付加などによる現実感の拡張もARなのでしょうが、今回はカメラベースのカメラを通した現在主流の2種類のAR手法である、

  • ロケーションベースドAR(地図情報を元にしたAR)
  • ビジョンベースドAR(カメラ映像情報を元にしたAR)

のうち、後者の「ビジョンベースドAR」について詳しく解説しようと思います。その前に、ビジョンベースドARとの違いが把握できるように、まずはロケーションベースドARについて押さえておきましょう。

ロケーションベースドAR

この連載に興味を持たれた最新技術に敏感な皆様は既にご存知かもしれませんが、現在のARの主戦場は、携帯電話/スマートフォンです。

スマートフォンにおける代表的なARアプリは「セカイカメラ」と「Layar」です。こういった、GPSを頼りに地図上のお店や駅などのロケーションをARに表示させるアプリケーションは「ロケーションベースドAR(Location-based AR)」と呼ばれたりします。

セカイカメラでは、「エアタグ」と呼ばれる各ロケーションに対する情報タグを、ユーザーが任意の場所でロケーションに対してテキスト形式で自由に追加します。セカイカメラで外を映し出すと、ユーザーのGPS位置情報からどのロケーションに近い場所に居るのかを認識し、各ロケーションに登録済みのエアタグが以下の動画のように自動的に表示されます。

一方Layar(レイヤー)も同様にお店などの各ロケーションの情報をAR表示するアプリケーションです。Layarという名前の示すとおり「Layer」という単位でロケーションがグループ化されており(例えば周辺の地下鉄の駅の位置や、周辺の位置情報付きのTwitterのつぶやきなど)、その各LayerをARで表示するというアプリケーションになっています。

ビジョンベースドARの2つの種類「マーカ有りAR」「マーカレスAR」

それではここからが今回の本題である「ビジョンベースドAR」の紹介をはじめます。まずは、youtubeで人気の以下の動画「Future Rock Band」をご覧ください。

Rock Bandは、海外で人気の音楽ゲームですが、この動画はARにより楽器以外の表示をさせることでリアルの楽器でRock Bandをプレイしているように見せているわけです。さきほどのロケーションベースのものがGPS位置情報のみを使ってAR自体は適当に表示位置を決めていたのに対して、この場合は実際の空間的配置沿った位置合わせを行ってARを表示させていることがポイントです。

このようにコンピュータビジョン(CV)技術を用いることで映像にリアルタイムで位置合わせを行いながらCGを合成して表示できるARを「(コンピュータ)ビジョンベースのARという意味で「ビジョンベースドAR(Vision-based AR)」と呼びます。

ビジョンベースドARには「マーカ」と言われる、ARをする際にカメラ映像中にCGを表示させるための平面の3次元位置情報を取得するための四角形の模様を使うかどうかによって、

  1. マーカ有りAR
  2. マーカレスAR

の2種類に分類することができます。次回以降、それぞれについてARを表示する仕組みを解説します。