NECの「生成AI向けメディア制御技術」で推論を効率化
2つめの生成AI向けメディア制御技術は、AIエージェントの前段に「データ識別器」を配置し、重要なデータのみを選択的にAIエージェントに入力可能にする技術である。例えば、前述したリスク兆候を予測するというユースケースでは、「危険なし」と判断した映像データは破棄することで、推論に必要な計算リソースを効率化できるという。
なお、従来のAI向けメディア制御技術は、「物体認識などのシンプルなAI映像分析エンジンに対して映像データを最適化する技術であるため、AIエージェントへの適用は困難だった」とNECの篠原悠介氏。こうした課題を踏まえ、今回は新たにAIエージェント向けの技術を開発したという。
生成AI向けメディア制御技術の概要
3つめのINCは、1つの巨大なAIであらゆるデータを分析するのではなく、ネットワークに内に分散した小型AIと外部の情報源を組み合わせて解析する技術だ。これにより、AI処理の高効率化・高信頼化が期待できる。
今回NTTが開発したINC基盤には、7B（70億パラメータ）程度の軽量LLMを配置したというが、「天候を取得するリアルタイム情報ツールや音声解析などの科学計算ツールを合わせて用いることで、175B規模のLLMと同等の推論能力を発揮できる」と同社の君島直樹氏はアピールした。
In-Network Computing（INC）技術の概要
今後は、研究成果の社会実装を視野に入れながら、3者が開発した技術・コンセプトをグローバルに発信していくとしている。
