時刻同期の二層構造　運用の同期と計算の同期

AIデータセンターにおける時刻同期は図表1のように「運用の同期」と、GPUクラスターの効率化を目的とした「計算の同期」の二層で考えると分かりやすい。運用の同期はすでに動いているが、一方の計算の同期については、関連ベンダーおよび業界がまさに動き始めたところだ。

図表1　データセンターにおける時刻同期の二層構造

AWSにみる運用の同期の効果

運用の同期はどれだけの実利を生むか。中でも、分散データベースにおけるトランザクションの順序付け、すなわち計算処理そのものの同期において、AWSがその効果を示している。

同社は2017年11月、各リージョンに置いた冗長化した衛星接続の原子時計を使い、時刻を配信する「Amazon Time Sync Service」を開始。2023年11月にはマイクロ秒単位の精度へと拡張した。東京リージョンが最初の提供対象だった。

注目したいのは、その効果が数字で示されている点だ。

川崎氏によれば、従来の分散システム設計では、「ネットワーク経由で配信される時刻には不確実性があるため、時計を信頼できないものとして扱うのが一般的だった」という。分散データベースでは待ち時間やデータのロックといった仕組みで時計のずれを補っており、時計の誤差はそのまま待ち時間になる。誤差が1ミリ秒あれば、トランザクションごとに2ミリ秒待つ必要があり、処理能力は毎秒500件程度にとどまる。これに対し、同社の「Amazon Aurora PostgreSQL Limitless Database」では、時刻誤差の保証範囲がディスク書き込み遅延より小さいため、毎秒250万件のコミットでも時計待ちが発生していないという。時刻精度がそのままシステムの処理性能の上限を決めていたことになる。

GPU待ち時間を短縮

では、計算の同期はどうか。時刻同期関連製品のベンダーはGPUクラスターでの時刻同期の必要性を説く。その目的は、集合通信により発生するGPUのアイドル時間の短縮にある。複数のGPUが分散並列処理を行う際、一部のGPUが処理待ち状態になる問題に対し、PTPで各機器の時刻を高精度に揃えられれば、次タスクへの移行やアイドル解除のタイミングを精密化できる。

尾形氏によれば、時刻同期ソリューションのベンダーがこうしたアプローチを提示し、北米ではハイパースケーラー等を中心にAI学習用途への先行投資が始まっている。ただし、その効果は現状、実際のAIデータセンターで実証されたものではない。ナノ秒レベルでノード間の時刻が揃えばGPU台数の削減、ひいては電力削減や調達時間の短縮といった効果が得られる「可能性がある」という段階だ。PTPがなければ運用できないというものではない。

標準化を牽引するのは？

標準化の動きも始まっている。

一例が、ITU-Tが発行したG Suppl.92「Synchronization in Data Centres」だ。NICに実装されたPHC（PTPハードウェアクロック）などのTime Sync Clock間の相対時刻誤差について、用途ごとの時刻精度の目安を示すものだ。分散データベース向けに5マイクロ秒、高頻度テレメトリーやマルチノード性能解析向けに1マイクロ秒、そして片方向遅延に基づく輻輳制御と時刻同期された集団通信向けに200ナノ秒という3クラスを規定している（図表2）。

図表2　ITU-T G Suppl.92が定める要求精度

※Time Sync Clock出力における絶対時刻誤差の要求は、この表のrTE要求の半分となる。

PTM：Precision Time Measurement
※2026年3月修正のドラフトに基づく。同文書は現時点で規格化前

サーバー内部についても、Time Sync Clock出力からCPU/GPUのシステムクロックまでの時刻誤差について、PCI ExpressのPTM（Precision Time Measurement）を使わない場合は±2マイクロ秒、PTMを使う場合は±200ナノ秒、PPS出力などの物理的なクロック信号を引く場合は±50ナノ秒という区分を置いている。

ただし、G Suppl.92は現時点では規格化前のコメントベースの文書である。データセンター事業者にとっては、新たに考慮すべき事項として注視する必要があるだろう。

もう1つ注目されるのが、データセンター向けハードウェア設計仕様をオープン化するOpen Compute Project（OCP）の「OCP Time Appliance Project（TAP）」だ。金融取引や5G通信、GPUクラスター等のインフラにおける高精度時刻同期を、特定のベンダーに依存しないオープンソースのハードウェア／ソフトウェアで実現することを目的とする。ハイパースケーラーが世界中に分散する計算基盤を時刻同期させて運用するに当たっての技術的バックボーンとなっている。

セイコーソリューションズ 戦略ネットワーク本部 戦略ネットワーク営業統括部長の鈴木康平氏によれば、高度な時刻同期は分散基盤／分散データベースの処理やデータのやり取りの整合、パケット遅延や障害の可視化、放送設備のIP化、金融データセンターにおける高頻度取引・監査ログといった様々な用途で活用されており、最近ではGPUクラスターの並列計算効率化も議論され始めているという。

GPUクラスターに時刻同期は要るか

計算の同期を、ネットワーク機器ベンダーはどう見ているのか。シスコの野崎氏は、ファブリック内部の可視化は提供できるとしたうえで、GPUクラスターでAI学習処理を行う部分にPTPが確実に必要かというと、「現時点ではそうではない」との見方を示す。何より、GPUクラスター向けネットワークの標準化で本命視される「Ultra Ethernetの中には、PTPの話が全く入ってきていない」。

この見立ては、クラウド事業者の実装からも裏付けられる。

AWSのマイクロ秒単位の時刻同期は、「Precision Time Placement Group（PTPG）」で起動したインスタンスに提供される。対応するのは汎用のM7a／M7gやコンピューティング最適化のC7a／C7i、メモリ最適化のR7a／R8g、ストレージ最適化のI8gといったファミリーだ。一方、同社の川崎氏によれば、AWS Trainiumを搭載したTrnファミリーやP5などのアクセラレーテッドコンピューティングインスタンスは、現時点でPTPGの対象に含まれていない。これらで利用できるのは、NTPによるミリ秒単位の時刻同期である。

世界最大級のクラウド事業者が、汎用サーバー向けにはマイクロ秒精度を配りながら、GPUやAIアクセラレーターを積んだインスタンスには配っていない。これが「計算の同期」の現在地を端的に示している。

もっとも、AWSがAIと時刻同期を無関係と見ているわけではない。川崎氏は、「生成AIのワークロードは大規模な分散処理を伴うため、精密な時刻を生成AIの基盤要素の1つと位置づけている」と述べる。ただし用途は、片方向のネットワーク遅延の測定、ログやトレースからの因果関係の追跡、データの書き込みや読み出しの順序決定といった「運用の同期」の文脈である。

AIインフラに時刻同期は要るが、現状では、計算の同期としてではなく、運用の同期として──。これが、データセンターにおける現在の時刻同期の位置付けだ。

PTPは産業別、用途ごとに複数のプロファイルが作られているが、AIデータセンター向けのPTPプロファイルは、まだ複数の候補が並立している状態だ（図表3）。ITU-Tでは、次世代データセンターやモバイル通信向けの高精度時刻同期の仕組みを規定する軽量プロトコル「G.FTS-Lite」が検討中で、データセンター内のスイッチとGPUサーバー（NIC）の高精度時刻同期による分散深層学習の効率化などが適用シナリオとして想定されている。

図表3　データセンター向けPTPプロファイルの候補

IEEE P1588.1として開発が進むCSPTP（Client Server Precision Clock Synchronization Protocol）は、ユニキャストベースのステートレスなプロトコルで、AIデータセンター向けの将来解として検討されている。完成は2027年の見込みだ。どのプロファイルが軸となるのかが見えてくるのは、もう少し先になりそうだ。