パナソニック ホールディングス、パナソニック コネクト、立命館大学の3社は10月3日、視覚と触覚のマルチモーダル情報を使ったサブミリ(1mm以下)の精密位置決め技術であるTactile-Sensitive NewtonianVAE(TS-NVAE)を開発したと発表した。今回開発した技術は、サプライチェーンにおける現場作業の効率化・省人化への貢献が期待できるといい、2030年の実用化を目指す。

  • 実験で使用したロボット・システムと、ハンドカメラおよび触覚センサの出力画像

新技術は、人間が無意識に行っている高度な視覚・触覚運動制御の仕組みをAI(人工知能)で実現するもので、USBコネクタの挿入作業で成功率100%、位置決め精度0.3mmを達成したという。

実験に用いたロボット・システムでは、ロボットアームにUniversal Robotsの協働ロボットUR5eを使用し、ロボットアーム先端にはROBOTISの二指グリッパであるRH-P12-RN(A)とハンドカメラを取り付け、二指グリッパの片方の指には光学式触覚センサを装着した。ハンドカメラでソケットの位置を推定し、触覚センサでプラグの把持位置を推定する。

視覚情報と触覚情報のセンサ信号は性質が大きく異なるため、潜在空間と呼ばれるサイバー空間において視覚情報と触覚情報の関係性を学習することで、マルチモーダル情報の統合を実現したとのこと。

また同技術では、GelSightと呼ばれるタイプの光学式の触覚センサを採用。これにより、人間を超えるサブミリ精度の把持位置推定が可能という。

提案手法であるTS-NVAEは、学習が簡単で低く手軽に扱える特徴を持つとのこと。一般に深層学習(ディープ・ランニング)は訓練に必要なデータ量が非常に多く学習コストが高いと言われるが、TS-NVAEは、今回のコネクタ挿入実験では、ロボットの動作時間にして5分相当のデータのみ使用したとしている。

TS-NVAEはさらに、学習前に集中してデータ収集を行い、学習自体はロボットと切り離してサーバやクラウド上でまとめて実行できる「オフライン学習」という特徴を持っているという。これにより、学習に必要なロボットの占有時間を数分～数十分と短縮可能となったとのこと。

新技術について、サプライチェーン・マネジメント事業(製造、物流、流通)の中でも、特に精密組み立て、梱包、部品供給等の分野での活用が期待できるとしている。

パナソニック コネクトが培ってきたサプライチェーン・マネジメント事業におけるコア・テクノロジー、顔認証などセンシングの技術やFA事業で長年培ってきた制御技術、カメラ・プロジェクタ事業で培ってきた光学技術を組み合わせることで、2030年の実用化を目指す。