３．周辺システムの構築
専用システムの構築では、生成AIモデルを使うための周辺システムを整備しなければなりません。本システムの構成イメージを図2.2に示します。主に以下のような要素を検討する必要があります。
（1）ユーザーインタフェース
どのようなユーザーインタフェースが最適かは、適用するユースケースによって大きく異なりますが、まずは簡易的なものからスタートすることをお勧めします。オープンソースを活用するか、クラウドベンダー各社が提供しているサンプルプログラムを活用することで、スピード感をもった構築が可能となります。
システムを迅速に立ち上げるために、コンテナベースの環境を用意しておくことをお勧めします。特にパブリッククラウドを利用する場合、サーバーレスアーキテクチャーを採用しておけば、運用時のコストを最小化できる等のメリットを得ることができます。
（2）生成AI連携アプリケーション
生成AIを最大限活用するため、生成AIの呼び出しを管理する生成AI 連携アプリケーションを構築することが多いです。生成AI連携アプリケーション構築の大きな狙いは以下の2つです。
①複数の生成AIモデルを切り替える構成
生成AIモデルは日々新しいものがリリースされており、システム構築時に最も精度が高いモデルを採用したとしても、さらによいモデルが後からリリースされることは日常茶飯事です。初めから別の生成AIモデルに切り替え可能なシステムを構成しておけば、比較的容易に最新のモデルへの追従が可能となります。
図2.2 システム構成のイメージ
その代表的な手法として、LangChainのようなオープンソースを活用する手法があります。LangChainは様々な生成AIモデルの呼び出しに対応しており、各種生成AIモデルの差分を、ある程度吸収してくれるような機能を有しています。そのため、LangChain経由で各生成AIモデルを呼び出すようにすることで、切り替え可能なシステム構成を実現できます。
なお、LangChainは高機能な反面、品質面についてはまだ安定しているとは言い難い状況です。そのため、LangChainを直接呼び出すのではなく、ラッパーを経由するようにしておくことを推奨します。そうすれば、今後LangChainの後継となるようなフレームワークが登場した際にも、容易に乗り換えができるようになります。
②社内データと連携する構成（RAG）
生成AIの出力に社内データを反映させる代表的な構成としてRAG（Retrieval AugmentedGeneration）構成があります。LangChainのような生成AI向け開発フレームワークを活用することで、RAG構成を比較的容易に構築できます。LangChain採用にあたっての注意事項は前述のとおりです。
（3）データベース
知識DBを構築するためのデータベースに何を採用するかについては、RAG構成における関連情報の検索精度に影響を与える可能性が高く、重要な検討ポイントになります。
オープンソースベースのベクトルDBを採用する場合、ソフトウェアライセンスやメモリー、ストレージ容量等のマシンスペックに注意が必要です。
クラウドベンダーが提供しているマネージドサービス（Azure AI Search、Amazon Kendra、Amazon OpenSearch Service、Google Vertex AI Matching Engine 等）を活用すれば、高速かつ高機能な検索エンジンが利用可能です。また、運用時のコストを最小化できる等のメリットを得ることもできます。一方で、クラウド上に機密情報をアップロードすることのリスクについて、十分な検討が必要です。
（4）ログ
生成AIシステムでは、どのように利用されるかを記録・分析することが重要になってきます。その性質上、ログには機密情報や個人情報が含まれる可能性が高く、どこに保存するのかという点にも十分な検討が必要です。
