KDDI Digital Twin for Allとは、フィジカル空間とサイバー空間の融合によって、新たな付加価値を創造することを目的とした取り組みだ。
その実現に向けてKDDIとKDDI総合研究所（以下、KDDI総研）は、大きく分けて次の2つの技術研究を推進している。大容量のデータを低消費電力で伝送できる「オールフォトニックネットワーク」と、実空間情報をリアルタイムかつ高精度にサイバー空間へと伝送・分析し、実空間へとフィードバックする基盤「デジタルツイン」だ。
両社が2023年10月23日に報道期間向けに公開した「KDDI総合研究所 R&D成果公開2023」では、これらを実現するための要素技術の数々を紹介。本稿ではそのうち、デジタルツインをスポーツの遠隔指導や教育、エンターテイメント領域で活用するための2つの新技術を紹介する。
1つめが、高品質3Dメッシュ映像のリアルタイム再生技術だ。
3Dメッシュ映像とは、3D物体を表現するための「3Dメッシュデータ」により再生される映像で、一般的に、ゲーム等における3Dキャラクターの生成で活用されている。高品質な360度の3Dメッシュ映像は人物等の動きを忠実に再現できることから、スポーツの遠隔指導やショーイベントにおける自由視点映像などへの活用が期待されている。ただし、スポーツ指導等に使えるほど高品質な3Dメッシュ映像を高効率に圧縮して伝送し、リアルタイムに再生・視聴するには、現状では高性能PCが必要だ。
また、従来の圧縮技術では，3Dメッシュ映像をモバイル回線で安定的に伝送できるデータ量に圧縮する際に、細部の情報損失が発生するという課題もあったという。
これを解決するため、KDDIとKDDI総研は3Dメッシュデータのデータ構造を見直し、オブジェクトごとの並列処理を可能にすることでデコード処理を高速化する新手法を考案。従来の圧縮技術と比べて2倍の効率で圧縮したデータを作成し、スマートフォンのチップセットでリアルタイム再生・視聴することを可能にした。
下の画像は、それを卓球の指導に適用したものだ。初心者レベルの指導への活用を想定しているという。
卓球をプレイする人を単に撮影しただけの映像を遠隔地にいる指導員に送っても、視聴できる角度は限られる。だが、3Dメッシュデータを基に3Dメッシュ映像を生成し、それをスマートフォンで再生できれば、遠隔地にいる指導員が自由に視点を選んでラケットを振る姿勢や腕の動きを確認できるようになる。
KDDIによれば、本技術はMPEG標準化において規格候補技術として採用済みであり、2024年に規格化が完了する見込みだ。