ソフトバンク、自動運転向け「交通理解マルチモーダルAI」を開発

2024.11.05

ページタイトルとURLがコピーされました

ソフトバンクは2024年11月5日、自動運転車の運行業務の完全無人化を目指して、低遅延なエッジAIサーバーで動作する、自動運転の遠隔サポート向け「交通理解マルチモーダルAI」を開発したと発表した。

交通理解マルチモーダルAIは、自動運転車の前方映像（ドライブレコーダー映像など）と、現在の交通状況を問うプロンプトを入力することで、複雑な走行状況やリスクを判断し、安全な走行を可能にするための推奨アクションを生成する。汎用的なAI基盤モデルに、交通教本や交通法規などの日本の交通知識に加え、一般的な走行シーンや予測が困難な走行状況におけるリスクと対処方法を学習させることで、自動運転車を安全に走行させるために必要な幅広い知識を習得し、交通状況と走行リスクを高度に理解できるという。

ソフトバンクは、交通理解マルチモーダルAIを活用した自動運転の遠隔サポートソリューションの実証実験を、2024年10月に慶應義塾大学湘南藤沢キャンパス（神奈川県藤沢市、以下SFC）で開始した。

このソリューションでは、自動運転車に搭載したカメラの映像を、5Gを通してリアルタイムでMECへ送信する。MEC内のGPUで動作する交通理解マルチモーダルAIが、送信された映像などを基に自動運転車の走行中のリスクを即時に分析し、そのリスクと対処法をリアルタイムで言語化して、自動運転を遠隔サポートすることが可能だ。これにより、自動運転車がリスクを判断できない状況でも、交通理解マルチモーダルAIが遠隔サポートすることで、安全に走行を継続することが期待できるという。

自動運転の遠隔サポートソリューションの概要

実証実験では、「横断歩道の手前に停車中の車両がある状況での走行」というシナリオで検証を実施した。このシナリオでは、左側に停車中の車両の陰から横断しようとする人物を見落とす可能性があり、自動運転車が横断歩道に差しかかった際に、死角から飛び出す歩行者と衝突するリスクがある。道路交通法では、信号機のない横断歩道を通過する際、横断歩道の手前に停車中の車両がある場合は、その前方に出る前に一時停止することが義務付けられている。

実証実験の一例

このケースでは、自動運転車が横断歩道の手前で「走行速度が速い」「一時停止の動作をしない」といった走行をしている場合、遠隔監視者が介入して事故を未然に防ぐ必要がある。しかし、遠隔監視者は複数の車両を同時に監視しているため、危険をすぐに察知できない、適切に介入できないといったリスクがある。そこで交通理解マルチモーダルAIが、現在の「交通状況」「走行リスク」「リスク対処のための推奨動作」を生成し、自動運転車に指示を出すことで、外部から自動運転を遠隔サポートする。

今回の実証実験では、自動運転車が停車中の車両と横断歩道に接近してリスクが高まると、「横断歩道の手前に停車中の車両があります。歩行者が飛び出してくる可能性があるため、一時停止してください」と生成し、外部から自動運転を遠隔サポートできることを確認したという。