SPECIAL TOPICスパコン性能で世界49位の「さくらONE」　800GPUクラスタをSONiCで構築した理由

2026.01.07

ページタイトルとURLがコピーされました

クラウド型HPCサービス「さくらONE」の基盤として、800基のGPUによる国内最大規模のAI学習用クラスタを構築したさくらインターネット。スパコン性能ランクで49位と、世界が認めたその新クラスタの構築期間はわずか4カ月だった。しかも、GPU間接続をホワイトボックススイッチとオープンソースOSのSONiCで構成。異例の挑戦を成功に導いた要因とは。

ホワイトボックス採用の理由は納期の早さと「運用自動化」

イーサネットを選択した最大の理由は、ベンダーロックインを排除することにある。さらに、クラウド事業者として不特定多数のユーザーへのサービス提供を前提としたマルチテナント運用を行うには、イーサネットの方が既存基盤との親和性が高いと判断した。

GPU間をつなぐスイッチは、Edgecore Networksの800GbEスイッチを26台導入（図表2）。「当時は800GbEスイッチ自体の選択肢が少なく、デリバリーに時間がかかる状況だった」なか、Edgecore製品を扱うマクニカが、井上氏らが求めるスケジュール要求に応えた。

図表2　GPUインターコネクト／ストレージネットワークの構成

図表2　GPUインターコネクト／ストレージネットワークの構成

なお、現在に至っても、北米のメガクラウドを除けばホワイトボックススイッチをGPUクラスタで商用利用している例はほとんどない。「新技術を早期に提供すべく、早々に本番に入れた。勇気のいる判断だった」と同氏は振り返る。

ホワイトボックスを選んだ理由はもう1つある。「ホワイトボックスで使われているSONiCは、サーバーに近いオペレーションができる」（黒澤氏）ことだ。長年Linuxサーバーを運用してきたさくらインターネットにとって、これは大きな優位点となる。そして、「自動化は導入における前提」である。「SONiCの自動セットアップとLinux由来のアセットにより、自動化をコードベースで実現できる」ことからSONiCの採用に至った。

結果的に、ホワイトボックス採用によってハードウェアコストも大幅に抑えられたという。戦略的な自由度の確保と、新GPUサービスの迅速な市場投入、そしてコスト低減という複数の果実を手に入れることができた。

マクニカとEdgecoreが共同検証　「4カ月で構築・稼働」を下支え

このプロジェクトを成功させるうえでは、Edgecoreとマクニカのサポートも大きな支えになったと両氏は振り返る。

もともとマイクロソフトが開発したSONiCは、現在はオープンソースコミュニティで開発が続けられている。その“コミュニティ版SONiC”を元に、EdgecoreやBroadcom、Nokia等が自社ハードウェア向けにSONiCを最適化し、サポートを行っている。

今回のさくらONEのシステム構築では、Edgecoreがサポートを提供する「エンタープライズSONiC」を採用した。理由は、「コミュニティ版SONiCはトラブル発生時の調査範囲が広く、商用サービスとして求められる復旧速度や安定性を満たしにくい」（井上氏）からだ。Edgecoreと連携してマクニカが問題発生時の切り分けや障害サポート、機能修正等を担う。

このバックアップ体制が、4カ月というスピード構築を下支えした。マクニカとEdgecoreが性能検証を主体的に実施した結果、いくつもの課題が見つかったが、「早いものは3週間で実装していただいた。そのスピード感は非常に心強かった」と黒澤氏は話す。

当時は、GPUクラスタ用途でのSONiCの導入実績はほとんどなく、マクニカフィネッセカンパニー第3統括部 OpenNetworking事業推進室の佐々木太郎氏も、「お客様と伴走しサポートをすることで、実装を充実させた」と振り返る。Edgecore社の対応は手厚く、「R&Dのスタッフが直接要求を聞き、改善案をすぐに提示してくれた」。

その支援体制はまさに“サポーター”と言えるものだった。黒澤氏を中心に設計を進めるさくらインターネットを支援するため、マクニカはEdgecoreと連携し、柔軟なプロジェクト体制を構築した。さくらインターネットのSlackワークスペースに参加して、「連絡をもらえれば数秒で返せるスピード感で課題解決や機能追加を加速させた（黒澤氏）。また、マクニカはスイッチ内部のBroadcom社製チップ「Tomahawk 5」の代理店でもあり、チップレベルの深い知見も持つ。これをベースに、ネットワーク設定の妥当性検証から最深部でのトラブルシューティングまで高レベルな技術支援を行った。