「ラック内限定」で無駄を削ぐ
ESUNはどのような技術なのか。
キーポイントは、「ラック内」という限定された範囲で最高の効率を発揮できるように設計されている点だ。特徴は、図表2の4つに整理できる。
図表2 ESUNの技術的特徴と従来イーサネットとの比較
1つめは、ヘッダーの最適化だ。
一般的にIPヘッダーには送信元や宛先のIPアドレス、パケットのサイズや転送ルール等が格納されている。20〜40バイトを使用するこのIPヘッダーを、わずか4バイトの「ESUNヘッダー」に置き換える。ラック内通信が前提のため、情報を絞り込み、その分ペイロード容量を増やすことで有効スループットを向上させる。
IPヘッダーを排した代わりに、GPU間通信を効率化・安定化させるためのトラフィックの優先制御や、ロードバランシング（負荷分散）に必要な情報を、ESUNヘッダーとして新たに定義している（図表3）。例えば、ネットワーク内で輻輳が発生した際にそれを通知するイーサネットの機能「ECN（Explicit Congestion Notification）」は、EH-ECNとして定義。トラフィックの優先順位を規定するEH-CoS（Class of Service）や、ロードバランシングのための情報を提供するFlowlabelなどが設けられている。
図表3 ESUNヘッダーの定義と主な機能
クレジットベースの送信制御も
2つめは、ロスレス通信の実現だ。
AIクラスターでは、AIの学習・推論を多数のGPUに分割して並行処理させることで、単一のGPUでは処理できない大規模なAIモデルを扱う。そのため、GPU間通信で遅延やパケットロスが発生すると、学習・推論の効率が大きく毀損される。GPUの効率運用に、ロスレス通信は不可欠の要素だ。
ESUNの環境では通信するノード数が限定されるため、クレジットベースの送信制御を行うことで、このロスレスを実現する。送信側と受信側が受け入れ可能な容量を認識し合い、パケットが落ちないよう送出を制御する。
万一パケットが落ちた場合の保険も用意している。
一般的なイーサネットのようにエンドツーエンドで再送するのではなく、落ちた直後のリンクで即座に再送することで遅延を極小化する。「リンクレベルリトライ（LLR）」と呼ばれる技術で、「ESUNでは、このLLRの実装がマスト（必須）とされている」。
3つめの特徴は、高度なロードバランシングだ。
ESUNヘッダーにロードバランシング専用フィールドを設けることで、「従来のハッシュ値に頼る方法よりも効率的な負荷分散を実現している」（兵頭氏）。これも、ノード数が限定されるラック内通信に特化したからこそ可能になったものだ。
イーサネットベースであることも様々なメリットをもたらす。前述のオープン化の効果に加えて、兵頭氏が強調するのがメディア選択の自由だ。「トランシーバーを変更するだけで、通信距離を拡張できる」。基本的にサーバー内／ラック内通信に限定されるNVLinkと異なり、「隣接するラックをESUNでつなぎ、数ラックのクラスターを作るといった議論も行われている」という。
