視覚や聴覚、触覚などの五感情報を取得・伝達・再生することで自分があたかもその場にいるかのように、あるいは離れた場所の人や物がその場にいるかのように体感できる臨場感通信。その実用化に向けた研究が進んでいる。

NTTドコモの先進技術研究所が開発に取り組んでいるのは、メガネや腕時計など普段身に付けている物に通信機能を搭載したウェアラブルデバイスだ。

「なんでもインターフェース」は、ビデオカメラ付きのヘッドマウントディスプレイでノートや手帳など平らな物を見ると、それに付いた二次元バーコードを読み取ってバーチャルなスクリーンとして認識し、映像を表示する。また、映像を映し出すだけでなく指の動きも認識できるので、タッチパネル式の入力操作も可能だ。メガネを装着している本人にしか画像が見えないため、のぞき見を防止する効果もある。

「なんでもインターフェース」の写真。左写真のファイルケース上に付いている二次元コードは、バーチャルスクリーンとして認識するためのもの。ファイルケース上でタッチパネル操作も可能だ

今後、LTEなどで高速化が進めば大容量の動画などをやり取りする機会が増え、大画面のユーザーインターフェースに対するニーズが高まることが予想される。先端技術研究グループの中西美木子氏は、「コンテンツがリッチになるのに合わせてハードウェアも大きくなったのでは持ち歩きに苦労する。なんでもインターフェースは、ノートや手帳など手元にあるものを有効利用しようという発想に基づいている」と話す。

さまざまな角度に対応する3D

同研究所では、裸眼のまま携帯電話で立体映像を見ることができる「3Dディスプレイ」の実用化にも取り組んでいる。

従来の3Dディスプレイは左右の眼に異なる映像を見せることで立体像を知覚させる方式が主流だったが、専用のメガネをかける必要があったり、正面から見た場合のみ立体像として見えるといった問題があった。ドコモでは携帯電話の画面で3D画像を見ることを想定しているため、専用メガネなどを装着しなくても立体に見える映像の実現を目指している。

ドコモが開発中の3Dディスプレイは、高精細な液晶ディスプレイの上に、レンチキュラーレンズと呼ばれる細長のかまぼこ状の凸レンズを置き、それぞれの方向の視点画像を同時に表示している。ディスプレイに取り付けたカメラや傾きセンサーがユーザーの位置を特定し、位置に合わせた最適な立体映像を切り替え表示することで、見る角度や距離によって見え方が変化する自然な3D表示が可能になる。

NTTドコモが開発した「3Ｄディスプレイ」。写真は8方向の視点画像を1枚の画像に合成して表示。見る角度によって見え方が変化する

先端技術研究グループリーダ主幹研究員の堀越力氏は「今ある携帯電話に3Dディスプレイの機能をプラスアルファすることで、新しいコミュニケーションが提供できないか考えていきたい」と話す。例えばWebショッピングであたかも実物を手に取っているかのようにいろいろな方向から商品を見ることができるようになる。このほか、デコレーションメールや携帯ゲームでの活用も想定されるという。

一方、KDDI研究所では、テレビなどの映像を自分の好きな視点から見ることができる「自由視点映像」を生成する技術を2007年に開発した。サッカーや相撲などのスポーツ中継の際に被写体空間を細かく分割し、実際にはカメラで撮影していない視点の映像も合成することで、「行司の視点」「サッカー選手の視点」など、視聴者が自分の好きなアングルで映像を楽しめる。

また、選手たちの間に入って動き回るような映像（ウォークスルー映像）、左目と右目に合わせた映像合成によりステレオ立体視での3D映像の生成なども実現する。

超臨場感通信グループ・グループリーダーの酒澤茂之氏によると、上記のようなスポーツ中継における実用化以外に、実際の街を実写画像で舞台化する「実写版セカンドライフ」、3D放送向けステレオ映像制作技術への応用などを考えている。また、携帯電話のほか、PCやセットトップボックス（STB）など、さまざまなディスプレイデバイスへの展開も検討しているという。

実用化は2025年頃に

超臨場感通信に関わる研究者や企業が参加する超臨場感コミュニケーション産学官フォーラム（URCF）では、将来的にテレワークオフィスや遠隔医療、教育分野、五感通信などへの応用を目指している。

URCFの企画推進委員長を務める、情報通信研究機構（NICT）けいはんな研究所所長の榎並和雅氏は、「すでにテレビ会議は存在するが、どうしても画面を通して会議をしているという感覚がある。包囲感や精細感、立体感などをもたらす高度な映像、人の気配や部屋の環境音までも伝える3次元音響、手元にある物の感触などの技術が実現すれば、その違和感はなくなるだろう」と語る。

NICTでは、視覚や聴覚、触覚など多感覚情報を統合・再現する「多感覚インタラクションシステム」を開発している。写真は高松塚古墳から出土した「海獣葡萄鏡」の立体映像や感触、音響をリアルに再現したもので、専用ゴーグルを通して見た立体映像に専用ペンで「触れる」と、触感や触れた時の音を確認できる

これらの課題を解決するにはさらなる技術の進展が必要だが、2025年頃には臨場感通信を活用した立体テレビ電話や立体携帯映像端末、ネットショッピングが実用化される見込みだという。

第1回「【コグニティブ無線】電波利用のムダなくす、ホワイトスペース活用のコア技術」
第2回「【ボディエリアネットワーク】健康状態を遠隔から常時見守り 体内に埋め込むインプラント型も」
第3回「通信技術の活用で「ぶつからないクルマ」を実現」