スマホ+センサで“Vの世界”へ! モーキャプ広げるソニー「mocopi」の可能性

ソニーが11月29日に発表し、翌30日に報道陣向けに初披露した“あるデバイス”が世間をザワつかせました。それが、手持ちのスマートフォンと組み合わせ、自分の身体の動きを手軽にデータ化できるモバイルモーションキャプチャー「mocopi」(モコピ)です。

• mocopi(型名：QM-SS1)。スマートフォン用のアプリやPCと連携して使える

• mocopiの利用イメージ。表示されているアバター「レイノスちゃん」(Twitter：@raynosbySony)は、mocopiのマスコットキャラクターとして展開している

頭と両腕、両足、腰の計6カ所に小型センサーを装着し、あとは専用アプリをインストールしたスマホを用意するだけという、“完全ワイヤレス”のコンパクトな構成で使えるのがmocopiの強み。それでいてお値段は直販49,500円と、いわゆるフルトラッキングツールとしては手を出しやすい価格になっていることから、「VRChat」などVRコミュニケーションサービスのユーザーや、ソニーミュージックも手がけるVTuber(バーチャルYouTuber)の業界関係者から、大きな注目を集めました。

さらにソニーは、mocopiを使った新しい体験を創出できるように開発者向けの「SDK」(Software Development Kit)を公開。これによって「フィットネスなどの領域での新たなサービス開発に寄与する」と説明しており、VRサービス向けのフルトラッキングツール以上の価値を生み出すことも考えているようです。

発売日は2023年1月20日で、予約販売を12月22日10時に開始予定です。実物を一般ユーザーに初披露する場は、XR/メタバースをテーマとするテックカンファレンス「XR Kaigi2022」(主催：Mogura)の中で設けられ、12月22～23日に東京都立貿易センター浜松町館にて出展予定とのこと。

mocopiを使って何ができるのか、報道陣向けに実施された発表会でひと足先にチェックしました。

mocopiが“モーキャプの場所の制約”をなくす

主な特徴や詳細仕様は発表時のニュース記事で紹介している通りで、mocopiのデバイス本体は実にシンプルな構成です。500円玉ほどの大きさの本体に加速度センサー(3Dof)と角速度センサー(3Dof)、バッテリーを内蔵したものが6つでひとセットになっており、付属のバンドで身体の各部にしっかり固定するだけ。

• 頭のセンサー

• 両腕にセンサーを付ける

• 腰に装着

• 両足首にも付ける

あとは、対応するスマートフォンにインストールしたアプリと連携し、このアプリ内でデータの収録・保存・送信まで完結。動画記録時はアバターや背景色を変更可能で、標準のレイノスちゃんアバターだけでなく、自身で所有する3Dアバターファイル(VRM形式)をアプリにインポートしての収録にも対応します。

• mocopi専用アプリのデモ

• 専用アプリの画面をテレビに出力したところ

• これがレイノスちゃん。Twitterでの一人称は「ボク」、ユーザー(フォロワー)のことは「人間のみんな」と呼ぶ。可愛い

身体の動きがアバターやキャラクターに反映されるまでの遅延は、デモを見る限りはほとんどない印象です(動画で見ると、人物と画面上のキャラクターの動きが微妙にずれて見えますが、これはスマホからダイレクトに大型ディスプレイなどへ出力するときの処理遅延の影響です)。

アバターの口元はスマホ側で収録した音声に合わせ、音声認識を活用したリップシンクが行えます。顔の表情や指といったより細かな動きはmocopiだけでは捕捉できないので、別のソリューションと組み合わせて、身体全体の動きをソフトウェア上で合体させる必要があります。

• 遅延はかなり抑えられ、違和感はない

• どちらかというと、テレビなどの画面に出力するときの遅延が気になる

コンパクトなモーションキャプチャーデバイス自体はさまざまな企業が開発に取り組んでいますが、mocopiの強みはソニー独自のアルゴリズムも活用し、スマホ+mocopiで“圧倒的な気軽さ”を追求しているところにあるといえます。目を惹くキャッチーなカラーリングと、小型軽量化を得意とするソニーらしいプロダクトデザインの妙はさすがのひと言に尽きます。

• 500円玉に近いサイズ。筆者は手持ちがないので写真には撮っていないが、Appleの紛失防止デバイス｢AirTag｣とほぼ同じサイズ感だった

• 指に乗せられるくらい軽い

• mocopiのパッケージ

• 開けるとバンドなどの付属アクセサリーが収まっていた

アプリ自体はApp StoreまたはGoogle Playストアから誰でもダウンロード可能になる予定ですが、mocopiの動作確認とパフォーマンス検証ができている機種として、ソニーではiOS 15.7.1以降を搭載したiPhone 12シリーズ以降、またはAndroid 11以降を搭載したXperia 1 II以降、Xperia 5 II以降を挙げています(公式ページには記載がありませんが、取材時の説明によるとiPhone 12 mini/13 miniも対応する模様)。

mocopiで簡単なセットアップを行うことで「VRChat」上でアバター操作することもでき、全身の3DモーションデータをリアルタイムにPCなしでVRChatに送るデモを披露。Meta Quest 2とmocopi、対応スマホを用意することで、Quest 2から参加したVRチャットに直接モーションを流し込み、全身を使ったコミュニケーションが行えることをアピールしていました。

• VRChatのデモ。Meta Quest 2とmocopi、スマホを組み合わせていた

従来は、人の身体の動きを捉えてVRサービスで活用するには、高価な機材などの設備を整えてフルボディトラッキングする必要がありました。しかし、5万円を切る手ごろなmocopiと比較的新しいスマホがあれば、同等のことがコンパクトな構成で、どこでも行えるようになります。ソニーとしてはまさにそこを狙って製品化したというわけです。

• アバターやバーチャルキャラクターを使った外ロケのイメージ

場所の制約が取り払われるということは、それだけサービスの利用シーンが広がり、コンテンツ制作の自由度も高まります。ソニーではアバターやバーチャルキャラクターを使った外ロケなど、mocopiで活動の幅を広げることを提案しています。動画の撮影から編集、投稿までをスマートフォンで完結させたいという向きには、mocopiが重宝することでしょう。モーションキャプチャーの敷居を下げ、使う人の裾野を拡げることの意義はとても大きいといえます。

• 身体に装着するためのクリップには、センサーをしっかり固定するツメが両サイドにある

• センサーの裏側。充電端子があり、充電ケースにはマグネットでカチッとはまる

• 付属の充電ケース。端子はUSB-C

実際、ソニー 新規ビジネス・技術開発本部 通信技術開発部門 モーション事業推進室室長の相見猛氏は発表会において、記者の質問に答えるかたちで興味深い提案をしていました。

これまでのフルトラッキングモーションキャプチャーは、スタジオの限られたスペース内でしか行えませんでしたが、mocopiがあればフルワイヤレスなので内蔵バッテリーが切れるまでどこまでも歩いていけます。つまり、「運動会ができるようなスタジオ」があれば、これまで作れなかった新しいコンテンツ制作も可能になるのではないか……というのです。

複数のアバターやバーチャルキャラクターが集い、“身体能力”を活かした運動会を開くというアイデアは、想像するだけでとても面白そうです。

• ソニー 新規ビジネス・技術開発本部 通信技術開発部門 モーション事業推進室室長の相見猛氏

“寝ながら使えない”課題。アニメ制作活用も?

• 歩くレイノスちゃん

もっとも、カジュアルよりの使い勝手を実現するべく設計しているぶん、mocopiが不得意とする部分も確かにあります。

たとえば、モーションキャプチャーの精度の問題。ソニーでは、これまで培ってきたモーションデータ関連技術を使ったディープラーニング(機械学習)によってセンサーがない場所の位置を推定することにより、「センサーをつけていない関節に関しても一定以上の精度を担保する」と説明しており、ダンスのデモなどでも十分な精度が出せていたように感じます。

しかし、mocopiは“地に足を付けて使う”のが基本のデバイスです。そのため、寝転んだり足が浮いた状態ではアバターの位置や挙動がおかしくなってしまうのです。また、立った状態でのパフォーマンスを撮影する場合も、30分に1度キャリブレーションし直すことが推奨されています。このあたりは今後ユーザーからのフィードバックを元にブラッシュアップされていくかもしれませんが、現状では課題として残されています。

• mocopiは使っていくうちにアバターと身体の同期がズレていくことがあるので、ポーズをアプリ上で簡単にリセットできる

もうひとつは、少なくとも発売日時点では、6つすべてのセンサーを身体の指定の場所に装着して使う必要がある点。これは、対応スマホとmocopiの6つのセンサーがBluetoothで同時につながりながら、各センサーから送られてきたデータを元に装着者の動きを計測・演算しているためです。「上半身の動きのみをオンライン配信に使う」といったユースケースやニーズがあることも把握しており、今後鋭意検討を進めていくとのこと。

• mocopiは、6個のセンサーを身体の指定の場所に装着して使う

6つのセンサーでひとセットとして認識するので、頭と両腕、腰には付けておいて、あまった足ふたつ分を別の部位に転用する……という使い方はできなさそうです。また、mocopiを複数セット手に入れて装着箇所を増やしても、モーションキャプチャーの精度を上げられるわけではありません。

• 専用アプリから、各センサーの装着箇所の詳細をチェック

対応スマホについては、特にAndroidスマホはXperiaの上位機種に限られてしまっているのが気になるところ。ソニーでは今後、動作確認が取れたデバイスを対象機種に追加してできる限りサポートしていく予定ということですが、mocopiを使いたい非Xperiaユーザーはもうしばらく待つ必要がありそうです。

モーションキャプチャーの裾野を広げるためにスマートフォン活用を前面に押し出したmocopiですが、製品発表時の予告通り、12月15日にVRサービスや3D開発ソフトと連携するSDKの提供もスタート。

mocopiのモーションデータをPCでリアルタイムに受信し、UnityやMotionBuilderといったアプリケーションで即時確認しながら編集できるようになりました。ソーシャルプラットフォームのアプリケーション経由で配信することもできるようになっています。前出のスマホアプリでも、BVH形式のモーションデータ(フレームレート50fps)を出力することは可能ですが、PCでより自由にmocopiを活用したい人は、こちらのSDKを入手すると良いでしょう。

なお、PCでモーションデータをリアルタイムにやりとりするには、開発者向けサイトからダウンロードできる「mocopi Reciever Plugin」が別途必要です。

• スマホアプリを介して使うワークフロー

• mocopiの専用アプリでPC接続設定を行っているところ。送信フォーマットはUDPもしくはOSCが選べる

動作確認済みの外部ソフト・サービスとしては、前出のVRChatや、Unity、MotionBuilderのほか、VR機器で3Dモデルをコントロールし、好きなアバターを使ってVRゲームに入ったような撮影が行えるオープンソースソフトウェア「Virtual Motion Capture」もあげています。

ソニーでは、mocopiで取得したモーションデータをPC用の外部ソフトウェア(3D開発ソフト)に読み込ませ、各ソフトが持っているヒューマンモデルに適用して、3DCGアニメ制作に役立てるといった活用方法も提案しています。

• 動作確認済みのサービス

mocopiは今後、アマチュアからプロまで幅広く活用されていきそうな印象を受けます。ややこしくなりがちなスマホ用アプリのUIや使い勝手もmocopiでは洗練されており、ユーザーへの間口の広さに感心させられました。ソニーの強みを活かして生まれたmocopiが、発売後にどのような世界を見せてくれるのか注目です。