NTTは2024年9月24日、動きのある空間情報を遠隔地にそのまま伝送・再現する「動的3D空間伝送・再現技術」を確立し、この技術による新たなエンターテイメント体験の創出に成功したと発表した。
現実世界の空間を丸ごとキャプチャーして3Dモデル化し、空間内の自由な位置や角度から映像生成を可能にする技術にボリュメトリックビデオ技術があるが、撮影には多数のカメラが配置されたグリーンバックの専用スタジオが必要であったり、対象（被写体）が特定のオブジェクトに限定されたりなどの制約があった。
今回NTTが発表した技術では、少数のLiDARおよびカメラにより計測・撮影された膨大な3次元点群データと画像データを組み合わせることで、任意の場所・背景において、ヒトやモノなど、オブジェクトの動きを含む空間全体の情報を丸ごと伝送・再現することを可能にした。
空間全体の情報を丸ごと伝送・再現するイメージ
LiDARはレーザー反射から点群の位置を計測する機構のため、動きのある物体の形状を再現することが困難という問題がある。これを解決するため、同技術では別カメラで収録された画像データを利用。画像データから色と奥行きの対応関係を学習することで、疎な点群データを高速に高密度化する機械学習ベースの技術を新たに開発した。これにより、機械学習のパラメーター数は約1000分の1に小型化され、処理速度は約6倍高速化、LiDARデータの空間解像度はリアルタイム処理で約20倍に高密度化したという。
リアルタイム3Dデータ高解像度化技術の概要
この技術は、9月21日開催のPerfumeの配信イベントにおいて、ライブパフォーマンスを空間ごとスキャンし、3D空間データとして伝送・再現するシーンに適用された。将来的にはIOWN APNを活用して動きのある空間情報を瞬時で双方向共有し、都市や作業現場のモニタリング、災害対策や都市計画のシミュレーション、遠隔のチームとのコラボレーション、リアルタイムでフィードバックを行えるメタバース環境を実現していくとしている。
