LLMフレームワークの普及で高まるオブザーバビリティの必要性
LLMフレームワークの採用増加も顕著な変化だという。LLMフレームワークとは、LLMの呼び出しに加え、外部ツールとの連携、複数ステップの処理、分岐、リトライ、ワークフロー制御などをアプリケーションに組み込みやすくする開発基盤で、「LangChain」や「LangGraph」などが知られている。採用組織は2025年3月時点では9.1%だったが、2026年3月には17.5%にほぼ倍増した。
LLMフレームワークを採用する組織が倍増
LLMフレームワークは開発スピードを速めるが、AIワークフローのブラックボックス化を招きやすく、かつコスト増加やレイテンシ発生箇所の追跡困難、不具合の再現性低下といった課題を生むという。萩野氏は「用途に対して機能が進化する分、（運用には）より可視化が必要になる」と話し、AI利用におけるオブザーバビリティの重要性をあらためて強調した。
トークン使用量は“倍増” コンテキストエンジニアリングが課題に
さらに、リクエストあたりのトークン使用量の急増も注目すべき点に挙げられた。2025年3月から2026年3月の1年間でリクエストあたりのトークン使用量の中央値は2倍以上に増加した。
リクエストあたりのトークン使用量の中央値は2倍以上に
コンテキストウィンドウの拡大、つまりLLMが一度に受け取って処理できる情報量の増加により、企業は会話履歴、検索結果、ドキュメント、ツール出力、ガードレール情報など、より多くの情報をモデルに渡せるようになったことを示す。これは同時に、プロンプトを大型化させ、レイテンシや推論コストの増加を招く。加えて、情報量が増えすぎることで重要なシグナルがノイズに埋もれる可能性もあるという。萩野氏は、「今後は『情報をどう整理してモデルに渡すか』というコンテキストエンジニアリングが重要になる」と述べ、情報の管理自体が組織の競争力になっていくと予測した。
