NECは2024年11月27日、同社の研究開発や最新技術を発表するイベント「NEC Innovation Day 2024」を開催した。
同イベントでは、生成AIや生体認証技術等に関する5つの展示・デモが行われたが、その1つめが昨年12月に商用開始したNEC独自開発のLLM「cotomi」のバージョンアップだ。今年12月より順次提供を開始する。
新たなcotomiの特徴は、「日本語処理の精度とスピードに磨きをかけたLLM」である点だという。
精度については、LLMの信頼性を強化するハルシネーション対策機能を実装。cotomiが生成した文章と参照元を比較して齟齬等を指摘する。日本語LLMを評価するベンチマーク「Japanese MT-Bench」では、GPT-4やClaudeに匹敵する精度を達成した。
イベントでは、新たなcotomiの推論速度に関するデモが披露された。ある文章を要約するにあたり、GPT-4oは3.33秒、Qwen2.5-32B（アリババグループのLLM）は3.26秒かかったが、cotomiは1.68秒で要約できることを確認した。
また、cotomiを使用する際にGPUの演算効率を高める技術も搭載し、従来のcotomiと比べて消費電力を約1/2にまで削減することに成功したという。
2つめは、業務を自律的に遂行する「AIエージェント」で、来年1月より提供を始める。例えば「顧客Aへの提案書を作成して」と依頼すると、AIエージェントが社内・社外文書から情報を抽出して提案書の素案を作成してくれるというものだ。
他社が開発するAIエージェントは「マニュアルに沿って1つひとつの手順を進めていくイメージだが、NECのAIエージェントはタスクを優先順位付けして自律的に動く。これにより、業務遂行の速度と精度が上がっている」（説明員）という。
AIエージェントに関するデモでは、「金融業界におけるカーボンニュートラルの最新動向とNEC社内のアセットを踏まえて、経営者視点でのお客様提案ストーリーを組み立てて」という依頼に対し、社内外の情報を統合的に検索・収集したうえで提案資料を作成していた。