科学技術振興機構(JST)は2月7日、平成21年度から横浜国立大学に委託していた研究開発課題「ロボットへの仮想キャラクタ映像合成システムの開発」の成果として、拡張現実を利用した変身ロボットを開発し、同成果をもとに研究開発担当者である同大 成長戦略研究センター 中核的研究機関の庄司道彦 研究員が出資する形で「株式会社異次元」を設立し、個人向け開発キットとして販売を行っていくことを発表した。

実環境を撮影した映像に、CGをその場でほとんどコマ遅れを生じさせずに合成した映像を提示する「複合現実感」などの画像処理技術が大学をはじめとする研究機関で研究が行われている。また、ヒューマノイドロボットの研究開発や、ビデオゲーム分野におけるゲームを教育・トレーニングなどに活用する「シリアスゲーム」分野でのバーチャルリアリティの応用展開も進められており、今回の研究開発課題でも、そうした複合現実感の技術を用いて現実のロボットにCGキャラクターを重畳合成する新しい形態のロボット「バーチャルヒューマノイド」の開発が進められてきた。

同ロボットのユーザーはビデオカメラと一体となったヘッドマウントディスプレイ(HMD)を装着することで、CGの映像が同ロボットに上書きされた状態を体験でき、そのCG映像と身体的接触を伴う体験をすることが可能となる。

同ロボットの基本原理は、緑色のロボットにブルーバック合成を利用して人物映像を合成し、HMDを通して合成映像を体験するというもので、原型は2006年に開発済みであった。しかし、当時は等身大ロボットを用いたことで高価なシステムとなったほか、画像処理技術がまだそれほど発達してこなかったなどの問題から、ロボットは合成される人物映像よりも太っていなければ、人物の映像周縁部が欠けるという欠点があったり、映像コンテンツとしても、録音させたセリフを再生するだけで、ユーザーとの会話のやり取りなどができなかった。

2006年に開発された従来型複合現実感による変身ロボットのイメージ。ユーザーはビデオカメラ一体型HMDを通して、ロボットがCGの人物像で塗りつぶされた合成映像を体験。CGの人物とロボットは、常に同じポーズを取るように同期して動くが、緑色の領域にしか画像が合成されないため、CGの人物の髪の毛などがはみ出た分は表示されず、できるだけ映像が欠けないようにロボットを太らせる必要があった

今回、開発されたシステムでは、基本的なブルーバック合成した映像をHMDを通して体験するという部分は変えずに、成人の60%サイズの上半身のみのロボットとすることで小型化、コストダウンを図ったという。また、ロボットを覆う外皮の質感を重視し、映像の人物との握手のような身体接触をよりリアルな感覚として提供することを可能にしたという。

ひじの可動を確認するために作られたソフトウェア動作確認用の試作型変身ロボット。成人の60%サイズの大きさとなっている(高さ35cmで、横の280mlのペットボトルはロボットのサイズ比較用)。現在、製品化目指して製作が進められているモデルは首(前後、左右、ねじり)、肩(前後、左右、ねじり)、ひじ、前腕のねじりが可能となっている

さらに画像合成のアルゴリズムを高度化することで、ロボットが合成される人物と同等の細身の体格であっても欠損のない合成映像を可能としたほか、ロボットの動きを関節角センサーでとらえることで、連動してCGを動かせるようにした。

今回開発した変身ロボットの合成イメージ。基本的な原理は従来のものと同一ながら、合成アルゴリズムの高度化により緑色の領域からはみ出た部分の映像も表示されるようになった

加えて、合成する人物映像をアニメ風キャラクターに限定。キャラクターコンテンツ再生プログラム「MMDAgent」を利用することで、ロボットに合成された人物と会話のやりとりをできるようにしたとのことで、実際に同ソフトを活用して再生コンテンツを自作できるユーザー向けキットとして2013年3月より予約受付を開始する予定だ。価格はロボットやカメラ、HMDなど一式セットで45万～50万円程度を予定しているとのことで、当初は庄司氏の個人Webサイト(WINGOVER.JP)上での販売を予定しており、初年度120セット、翌年度180セット、翌々年度270セットを販売目標として掲げている。

従来型ではあるが、同ロボットの技術概要を説明した動画