様々な業界で大規模言語モデル（LLM）の活用が始まっているが、多くの企業が頭を悩ませているのが次の3つの課題だ。公開情報を基にトレーニングしているLLMでは業務専門知識に対応できないこと。倫理的に問題のある出力がなされる可能性があること。そして、SaaS形式でLLMベースのサービスを利用する場合、社内文書や顧客情報等を入力することで機密情報の流出リスクが生じることである。

これらを解決するためにNTTドコモが開発したのが「LLM付加価値基盤」だ。2023年に行った実証を経て、社内の業務効率化やコンタクトセンターにおける顧客応対の低コスト化・質向上などを目的に活用を始めている。

開発を担ったサービスイノベーション部 メディアAI担当 主査の白水優太朗氏は、「人手がかかる作業の効率化に加えて、クリエイティブさというLLMの売りを業務で活かしたいという思いでスタートした」と話す。

NTTドコモ R&Dイノベーション本部 サービスイノベーション部 メディアAI担当 主査 白水優太朗氏

通信事業者ならではの使い方として、モバイルネットワークの品質向上にも貢献している。「このエリアが繋がりにくいといったお客様からの声はテキストでいただくことが多い。そうした意見の抽出・分析にもLLM付加価値基盤を活用している」。昨年度に全国2000カ所以上で通信品質の改善に取り組んだ際には、SNSの投稿から、LLMを使って混雑が予想されるエリアを分析し、対策エリアの絞り込みを行った。

RAGをベースに2機能を実装

LLM付加価値基盤は、チャット機能を備えたWebアプリケーションとして提供され、ドコモグループ各社の社員が利用している。対話履歴の保存や引き継ぎ機能、ユーザーが作成したプロンプトを保存するテンプレート機能を実装したGUIを提供することで利便性を向上させるとともに、冒頭の3課題を解決する機能を実装した。また、用途に応じて、特徴が異なるLLMを使い分けられるようにする「LLM連携」機能も特徴の1つだ。

図表　LLM活用の全体像

生成AIに業界・社内の専門知識を獲得させるアプローチとしては、追加学習を行う方法もあるが、LLM付加価値基盤では、より低コストに外部知識を取り入れるため、RAG（検索拡張生成）をベースとした2つの機能を実装した。利用者自身がアップロードしたファイルの中身を検索・参照して回答を生成するファイルアップロード機能と、管理部門が事前にアップロードした大量のファイル群から検索・参照して回答生成するオンライン文書検索機能だ。後者では、抽出文書を出力根拠として提示し、結果の正しさを判断できるようにしている。

用例としては、コンタクトセンター応対において、過去のドコモショップや2次受け応対のオペレーター間のチャットログやマニュアルを基にLLMがQ&Aを生成。それをマニュアルに掲載したり、チャットボットの学習に使ったりしているという。白水氏によれば「まだ開発途上」で、誤った回答を出すこともある。「社内からは、とにかく精度を上げてほしい、精度は多少落ちても早く回答がほしいといった様々な要望があるので、継続して対応していく」