AIOpsにも高い関心 “LLMはネットワークオペレータ的思考ができる”
AIOps、つまりネットワーク運用にAIを活用する取り組みへの関心は高く、多数のプログラムが実施された。11日のプログラム「NETCONをLLMで解く」もその1つだ。
NETCONはJANOGが主催するネットワークトラブルシューティングのコンテスト。Preferred Networksの金井瑛氏とNTTドコモビジネスの久保京介氏は、過去出題された33問に対し、LLM（大規模言語モデル）単体でどこまで解けるかを検証した。
（左から）Preferred Networksの金井瑛氏とNTTドコモビジネスの久保京介氏
LLMには主にClaude Sonnet 4.5を使用した。あわせて、MCP（Model Context Protocol）を介してLLMが外部ツールを呼び出せるようにし、ネットワーク装置のCLI操作を実行可能とした。具体的には、Python製ライブラリ「Netmiko」を基盤とする「netmiko MCP Server」をローカル環境に構築し、LLMがコマンド生成から実行、出力結果の取得までを一連のワークフローとして扱える構成とした。
試験環境。LLMはClaude Sonnet 4.5を主とし、必要に応じて他のLLMも使用したという
検証の結果、LLMは33問中30問に正解。VLAN未設定による通信不通、OSPFコスト調整による経路変更、BGPルートフィルタリングやサマリー設定の誤り修正などにおいて、LLMは現状を調査し分析を行い、仮説立案のうえでコマンドを実行し問題解決するという手順を「着実かつ高速に実行」（金井氏）したという。
VLAN未設定による通信不通の問題に対する、LLMによる解答
一方、一般的利用が少なく情報が限られたケースの問題は、LLM単独では完全に解くことはできなかった。マルチエリアOSPF（Open Shortest Path First）インターフェースやIOS XRでDHCPクライアント設定を行うなどのケースだが、こうした問題は人間が明示的にヒントを与えることで正答に至った。
また、LLMはおおむね10～15秒程度で処理がタイムアウトするケースが多く、BGPダンプの取得など60秒前後の待機を要する操作では、タイムアウトにより失敗する場面も確認された。
久保氏は、LLMはネットワークオペレーター的思考を高いレベルで行えると評価した一方で、「コンテスト環境ではない、現場のトラブルでどれくらい使えるか」が議論になると検証を総括した。
