NTT持株と三菱電機は2023年5月16日、NTTのAPN IOWNのネットワークと、三菱電機の遠隔操作技術を組み合わせた実証実験を行い、ロボットアームを用いた作業を遠隔地から違和感なく持続的に操作可能であることを確認したと発表した。またこの実証実験では、力触覚情報を色情報に変換する技術を用いたことで、高度な遠隔操作を簡易なデバイスで安全に実現できることも明らかになったという。
三菱電機は視覚と力触覚との間の感覚間の相互作用を活用した「Visual Haptics」を開発し、遠隔地の力触覚情報を色情報に変換し、視覚情報としてユーザに提示することで、力触覚デバイスなしで遠隔地の力触覚情報の伝達を実現してきた。今回、Visual Hapticsをロボット内での実装からエッジサーバ上での実装に変更することで、ロボット側で必要な処理負荷を軽減するとともに、エッジサーバの切り替え動作にも対応可能なVisual Hapticsの研究開発に取り組んだという。
実証実験の構成
実験では、NTT武蔵野研究開発センタにディスプレイとロボット操作用デバイス、NTT横須賀研究開発センタにロボットを配置し、直線距離50km強の2拠点間をAPNを模擬したネットワークで接続して遠隔操作を行う実験用ネットワークを構築した。ロボット側で撮影したカメラ映像にはVisual Hapticsにより力触覚情報を付加し、操作者は力触覚情報を視覚的に確認しながら操作を行った。また、Visual Haptics処理に要する時間とネットワークの遅延時間をリアルタイムに測定し、エンドツーエンドでの遅延時間が性能要件を満たさなくなる場合、別のネットワークおよび別のサーバ処理へと切り替える機能を備えた。
実証実験の模様
この実験構成において、エッジサーバを過負荷状態にして遠隔操作環境を悪化させた場合、従来の構成では遠隔操作が困難になったが、提案の構成では品質が悪化してから約 100ミリ秒後には切り替え制御が完了したという。それに加え、力触覚情報等の感覚情報を遠隔に伝達することで違和感なく操作を出来ることを確認し、提案技術の有効性を確認したということだ。
今後、この技術の適用可能領域を広げ、人命にかかわる高度な操作の遠隔化として遠隔手術や遠隔設備修理など様々なユースケースで適用可能とすることで、場所にとらわれない新たな働き方の具現化を実現していくとしている。
