独自開発の「NSLB」でAIトレーニング効率が20%アップ
コンピューティングの計算効率を高める鍵は「負荷分散」だ。
AI学習のトラフィックには、ある特徴がある。フロー数は少ないが、1フロー当たりの帯域幅が大きいことだ。そのためGPUサーバー間の通信に偏りが生じ、輻輳が起きやすい。
InfiniBandにはこれを解消するための独自の負荷分散機能が備わっている。一方、イーサネットで一般的に使われるハッシュ方式のロードバランシングでは、この特徴的なトラフィックに対応しきれない。「トラフィックが不均一な状態となり、ネットワーク全体のスループットが50%程度に落ち込んでしまう」（張氏）。
Hashアルゴリズム（左）とファーウェイ独自技術「NSLB」の比較
これを解決するためにファーウェイが独自開発したのが、「Network Scale Load Balance（NSLB）」だ。
NSLBは、プロアクティブなパス計算と動的負荷分散によって、ネットワーク全体でフローを管理する仕組みだ。これを適用することで、理論値に近い「95%のスループットを実現できる」（同氏）。ファーウェイの検証では、InfiniBandを凌ぐハイスループットを達成。ハッシュ方式との比較では、オープンソースの大規模言語モデルであるBloomのトレーニング効率が20%も向上したという。
一方、可用性・信頼性に関しては、次の3つの機能・技術によって、AIネットワーク特有の課題に対処している。
1つめのポイントは、大規模なAIネットワークを迅速に展開することだ。1万基超のGPUを接続する場合、InfiniBandスイッチや、ボックス型イーサネットスイッチを使うと数百台のスイッチが必要だ。設定やパラメータ調整を手動で行っていては1カ月以上の期間を要する場合もある。
そこで活躍するのが、ファーウェイのネットワーク管理・制御 ・分析ソフトウェア「iMaster NCE」だ。法人ビジネス事業本部 ネットワークソリューション&セールス部 シニア ソリューションマネージャーの陶垚氏によれば、設定やパラメータ調整を自動化することで「万レベルのGPUクラスターでも、数日で完了できる」。加えて、「設定・調整ミスも起こらない」ため、信頼性の向上にも寄与する。
光トランシーバー改良でトレーニング中断は10分の1に
2つめはもちろん、「止まらないネットワーク」を実現することだ。ここでの鍵は、光トランシーバーモジュールの信頼性である。
張氏によれば、AIトレーニングを中断させる障害の原因として最も多いのが光トランシーバーの故障だ。1万基レベルのGPUクラスターでは業界平均で年間60回も中断が発生しているという。
光トランシーバーも自社開発・製造しているファーウェイは、この問題にも独自の解決策を用意している。
光トランシーバー故障によるトレーニング中断を防止
光トランシーバーは複数のレーザー光を束ねて広帯域化している。例えば400Gのモジュールは、100Gのレーザーを4本使っている。一般的な光トランシーバーは、このうち1本が障害を起こすと伝送ができなくなる（上図表の左側）。対して、ファーウェイの光トランシーバーは、障害が発生しても残りのレーザーで伝送を続ける。そのため、「帯域は減ってスループットは若干落ちるが、トレーニングを継続できる」（陶氏）。トレーニング中断につながるような障害の発生率は10分の1まで減少したという。
とはいえ、ネットワーク障害をゼロにはできない。そこで重要なのが3つめのポイント。障害発生時にその原因を素早く特定し、早期の復旧につなげることだ。
ファーウェイは、コンピューティングとネットワークの統合管理システム「iMaster NCE-FabricInsight」によって、ドメインをまたがる運用管理、障害原因の特定と切り分けを実現している。AIトレーニングの開始前に全65項目をチェックしてAI基盤の健全性を確認。さらに、障害発生時には「分単位での原因の特定と切り分けが可能だ」（陶氏）。
