「NTT コミュニケーション科学基礎研究所オープンハウス2024」が2024年6月24日から26日にかけて開催されるのを前に、展示内容を抜粋して紹介するメディア向け内覧会が17日に行われた。

「CS研」とも呼ばれる同研究所は、その取り組みを広く公開するオープンハウスを毎年開催している。今年は大阪・京橋のNTT西日本本社内のオープンイノベーション施設「QUINTBRIDGE」と、そこに隣接する「PRISM」を会場とし、例年より1日長い3日間の会期で22件の研究展示、1件の招待講演、4件の研究講演が行われる。

内覧会では、このうち7件の研究成果が紹介され、その中の4件はこの日に合わせて報道発表も行われた。

レーザーとAIが音の動きを見える化

報道発表された成果の1つ、「光を使って音を見る」は、音が空気中を伝搬する様子を可視化する試みだ。一般的に、音の動きを観測するのに用いられるのはマイクだが、空間における伝わり方の解像度を上げるにはマイクをより多く設置する必要があり、音の伝わり方を詳しく解析することは困難だったという。

レーザー光を用いて音の伝搬を可視化する「光学的音場イメージング」の仕組み

そこでこの研究では、音の発生源の前にレーザー光を照射し、音によって光が干渉されたときに生じる干渉縞を撮影。深層学習を用いて音場映像から雑音を除去するAI技術と組み合わせ、「音の動き」を動画として捉えることに成功した。1mm単位という高い解像度で音の伝わり方を視覚的に把握することができたということだ。

同技術を利用してトライアングルを叩いた際の音の動きを可視化した結果

今後この技術は、音響機器の設計による音の差異を可視化するなど、機器の開発に役立てたり、「音を見る」こと自体を新しい体験として提供することが考えられるという。

普通のモニターで巨大3D映像

「手持ちのモニタのかき集めで巨大3D映像提示」は、汎用のモニターを複数組み合わせることで、低コストで大きな3D映像を楽しめるようにするという研究開発。

従来、巨大な3D映像を提示しようとするには、高価な巨大ディスプレイやそれを設置するための広い場所を必要とした。それに対してこの研究では、安価な汎用モニターを複数枚組み合わせた装置に表示された映像を3Dメガネを通して見ることで、モニターから手前に飛び出すような3D映像を知覚することができる。

モニターに映し出されたイルカの映像を3Dメガネを装着して見ることで飛び出して見える。手前のカメラはモニターの位置関係を補正するためのもの

これには、「透明視による欠損補完」という、人間の錯覚を利用している。モニターは隙間を空けて配置しているが、モニターと隙間の明るさの関係を操作して、飛び出して見せたい像（ターゲット）を手前に重なっているように見せれば、脳は錯覚し、隙間の映像を補完する。この仕組みと、隙間の明るさに応じてターゲット面と背景の明るさを設計することにより、隙間の場所でも切れ目のない3D映像を飛び出して見せることができる。

従来技術との比較

担当者によれば、モニター間をまたぐ3D映像を3Dメガネの装着のみで提示したのは世界でも初めての実績ということだ。また、内覧会では実際の装置で3D映像を体験できたが、このような小型化の装置を活用することで、将来的には迫力ある3D映像をより身近な場所で気軽に体験できるようになるという。