MGX: Nvidia がマルチを標準化

Aug 09, 2023

MGX 仕様を追加して更新:コンピューティング エンジン メーカーがシステム設計だけでなくマザーボードも手がけると、マザーボードを製造し (製造している企業は数十社あります)、システム設計を作成する企業 (元の設計メーカーとオリジナルのメーカー) は、少し安心すると同時に少し緊張します。コンポーネントの標準化は、コンポーネントが行うべき作業が少なくなることを意味しますが、同時に、料金を請求する必要も少なくなります。

Nvidia は、MGX の多世代サーバー プラットフォーム設計を台湾の Computex 見本市で今週発表しました。台湾はコンポーネントおよびシステム製造の世界の主要拠点の 1 つであり、コンピューティング エンジンの製造と組み立ての誰もが認める中心地でもあります。は、自社と世界中の OEM および ODM の業務を容易にし、自社と彼らにより良い利益を提供したいと考えています。

Nvidia は、2016 年 4 月に「Pascal」 P100 GPU アクセラレータをベースにした DGX-1 システムがデビューして以来、独自のサーバーを製造してきました。 Nvidia は、市場投入までの時間を短縮し、コンポーネントとマザーボードの設計にフィードバック ループを作成するためにこれを行うことにしました。 Nvidia が大規模な AI ワークロードを実行するために独自のスーパーコンピューターを構築する必要があり、OEM や ODM に依頼するよりも安価であったという事実も、この決定の要因となりました。 当時、Nvidia が製造できた Pascal GPU のほとんどは、ハイパースケーラーやクラウド ビルダー、さらにはいくつかの HPC センターに出荷されており、DGX-1 は研究者や科学者が入手できるように Nvidia によって優先的に販売されていました。彼らはこれらの GPU アクセラレーション システムを手に入れました。 これは、2 か月前に発表された「Volta」V100 GPU アクセラレータで DGX-1 マシンが更新された 2017 年 5 月の時点でもまだ当てはまっていました。 2020 年 5 月には、「Ampere」A100 GPU を使用した DGX-A100 システムが続き、もちろん、NVLink スイッチ ファブリックでさらにスケールアウトする DGX-H100 設計も、「Hopper」 H100 GPU アクセラレータと同時に展開されました。昨年、DGX-GH200 システムのハイブリッド CPU-GPU 設計で今週更新されたばかりです。

最新の DGX-H100 および DGX-GH200 マシンで使用されている H100 SXM5 または NVSwitch 3 ASIC は購入できません。 CPU、GPU、および NVSwitch インターコネクト用のシステム ボードは、すべてのコンポーネントが製造およびテストされた状態でユニットとしてハイパースケーラー、クラウド ビルダー、およびその ODM サプライヤーに販売されます。また、事前に組み立てられたコンポーネントとしても OEM に販売され、OEM はそれらのコンポーネントを組み立てて出荷します。彼らのシステムに。 独自のシステムを構築したい場合は、PCI-Express バージョンの GPU アクセラレータ、Quantum InfiniBand、または Spectrum Ethernet ASIC を Nvidia から購入できますが、NVSwitch メモリ ファブリック上で実行されるハイエンドのものについては、これらを事前に組み立てる必要があります。 HGX と呼ばれるコンポーネント。

HGX/DGX によってシステムの内部コンポーネントをある程度標準化した Nvidia は、現在、これらのコンポーネントを包むシェルを標準化して、すべての ODM および OEM の市場投入までの時間を短縮し、結果として得られるシステムが将来的にアーキテクチャに変更が加えられることを考慮して、可能な限り現場でアップグレードする必要があります。

一言で言えば、これが MGX の取り組みのすべてです。

昨年 5 月にプロトタイプの HGX Grace および HGX Grace-Hopper システム設計が Nvidia によって公開されたとき、私たちは初期の MGX 設計がどのようなものかを少しだけ知ることができました。 これらは単なるシステム ボードではなく、完全なラックマウント サーバー設計でした。

MGX 標準化の取り組みは、DGX/HGX データセンター コンピューティング プラットフォーム、OVX メタバース ホスティング プラットフォーム、CGX クラウド グラフィックスおよびゲーム プラットフォームに及びます。Nvidia は、Grace CPU とさまざまな GPU アクセラレータがこれら 3 つの鉄のラインでどのように構成されるかについて説明しています。 :

今週の Computex で披露された MGX デザインは次のとおりです。

左側のものは、4 つの GPU アクセラレータと組み合わせた Grace-Grace スーパーチップです。 中央のシステムには 2 つの X86 CPU、2 つの ConnectX ネットワーク インターフェイス、および 8 つの GPU アクセラレータが搭載されており、右側のシステムには 2 つの水冷コンピューティング エンジン (Grace-Hopper スーパーチップと推測されます) と 2 つのネットワーク インターフェイス カードが搭載されています。

同社の Web サイトや事前説明会では、これらについて、Nvidia の共同創設者兼最高経営責任者であるジェンセン ファン氏が基調講演で 2U シャーシから始めて MGX システムのいくつかの側面を説明したほど説明していませんでした。

2 つの X86 CPU、4 つの L40 GPU アクセラレータ、BlueField-3 DPU、1 組の ConnectX-7 ネットワーク インターフェイス カードを追加し、6 つの PCI-Express 5.0 スロットを空けておくと、Nvidia の Omniverse 仮想現実デジタルを高速化するための OVX サーバーが得られます。ツイン ソフトウェア スタック:

X86 CPU のペアを取り出し、1 つの Grace-Grace スーパーチップとすべて同じもの (PCI-Express 5.0 スロットが 1 つ少ない) を取り付けると、次のような OVX サーバーのバリアントが得られます。

レンダリングやゲーム、または適度な AI 推論ワークロード用のクラウド グラフィックス (Nvidia が CGX マシンと呼ぶもの) を実行したい場合は、MGX シャーシから始めて、Grace-Grace スーパーチップ、10 個の L4 GPU アクセラレータ、BlueField-3 DPU を搭載できます。 11 個の PCI-Express 5.0 スロットが開いており、次のようになります。

特に LLM と DLRM の場合、より高密度の AI 推論ワークロードを駆動する必要がある場合は、MGX シャーシの 4U バージョンを入手し、X86 CPU のペア、倍幅の H100 NVL アクセラレータを 8 個、BlueField のペアを取り付けます。 -3 DPU で 10 個の PCI-Express スロットが残っている場合、次のようになります。

5G のユースケースについては、NEBS 準拠の通信機器が数十年にわたってそうされてきたのと同じように、より薄く、より小さいものを考えてください。 Grace-Hopper 5G arial サーバーの設計は次のとおりです。

これは、1 つの Grace-Grace スーパーチップ、1 組の BlueField-3 DPU、周辺機器用の 4 つの空き PCI-Express 5.0 スロットを備えた 1U MGX ピザ ボックス シャーシです。 また、通信会社やその他のサービス プロバイダーの狭いポイント オブ プレゼンス (POP) スペースの場合は、次のようにシャーシの高さを 2 倍にし、長さを半分にする必要があります。

何らかの理由で、PCI-Express スロットの 1 つは ConnectX-7 NIC と単一の BlueField-3 DPU で構成されています。 (フォームファクターはネットワークに影響を与えるべきではないため、Nvidia は単にオプションを示しただけだと思われます。)

私たちと同じように、今年後半に英国の GW4 コレクティブに導入される「Isambard 3」スーパーコンピューターの「ホワイトボックス」サーバー ノードがどのようなものになるのか疑問に思っていた方のために、次のことがわかりました。

また、空冷 (または Isambard 3 のようにラック内の液冷) に依存できない非常に高密度の HPC マシンの場合は、Grace-Grace スーパーチップのペアを搭載した MGX の水冷バージョンがあります。

Nvidia は、8 つの主要な MGX パートナーとの提携を開始しており、その多くはマザーボード メーカーや ODM システム メーカーです。 これらには、ASRock、ASUS、Gigabyte、Pegatron、Quanta Cloud Technology、Supermicro が含まれます。 その構想は、AI、HPC、データ分析、デジタル ツイン、クラウド インフラストラクチャ、クラウド ゲーム、5G ネットワーキングに及ぶ幅広いワークロードを対象にできる 100 を超える異なるサーバー設計を提供することです。

MGX リファレンス アーキテクチャには、空冷と水冷の両方で利用可能な 1U、2U、および 4U ラック エンクロージャを備えたシステムが含まれます。 このアイデアは、Hopper H100 コンピューティング エンジン、および AI 推論およびグラフィックス アクセラレータの「Lovelace」L4 および L40 をはじめとする、Nvidia GPU アクセラレータ ポートフォリオ全体をサポートすることです。 CPU の面では、Grace-Grace スーパーチップ (名前は付けられていませんが、GG200 と呼ぶのが適切です) と Grace-Hopper スーパーチップ (GH200 と呼ばれます) が中心ですが、おそらく Intel と AMD の両方から提供される X86 プロセッサが搭載されます。 MGX デザインに含まれています。 (ちなみに、私たちが知る限り、Grace CPU を 1 つだけ使用することはできません。チップに名前を付ける必要がある場合は CG100 と呼び、一貫性を保つためにマーケティング名として C100 と呼ぶことになります。 Nvidia が自社のデータセンター コンピューティング エンジンにここまでの名前を付けた理由。) ネットワークに関しては、MGX の仕様は ConnectX-7 ハイブリッド InfiniBand/Ethernet ネットワーク インターフェイス カードと BlueField-3 DPU から始まります。

私たちが知る限り、MGX デザインは以前の GPU、CPU、DPU、または NIC にバックキャストされることはありません。 これは非常に前向きなことです。

Computex で発表された Supermicro の ARS-221GL-NR システムには、既存の MGX 設計に Grace-Grace スーパーチップが組み込まれており、QCT の S74G-2U システムは Grace-Hopper スーパーチップを備えた MGX 設計を使用しています。 Arm Holdings のオーナーであるソフトバンクは、日本の複数のハイパースケール データセンターで MGX 設計を使用し、複合企業が運営する 5G および生成 AI アプリケーション全体に GPU 処理能力を動的に割り当てることを計画しています。

Nvidia の DGX ライン担当バイスプレジデントであり、MGX の取り組みの先頭に立っている幹部でもあるチャーリー ボイル氏と話をしたとき、MGX は、複数世代のコンピューティングとインターコネクトを収容できるため、Cray はシステム設計のコストをさまざまな種類のコンピューティングとネットワーキング、さらには複数の世代に分散することができます。 彼が笑いました。

「クレイと比較するかどうかは分からない」とボイルは語った。 「私はこの業界に長く携わっていますが、非常にオーダーメイドのシステムです。」

OK、それは十分に公平ですが、それが重要ではありませんでした。 Facebook の Open Compute Project との比較は、もう少し心地よいものでした。 しかし、これはすべてスピードの問題であり、比喩ではありません。

「私たちはシステム内部の実際の物理的属性について話しているのです」とボイル氏はThe Next Platformに語った。 「数年前に HGX ベースボードの開発を開始したとき、私たちはパートナーが市場投入までの時間を短縮できるようにしたいと考えていました。また、Grace-Hopper および Grace-Grace システムを構築し、複数世代にわたるシステムを構築したいと考えているすべての人にとっても、 「アーキテクチャを保証し、MGX を使用すると、システムを迅速に構築できます。あなたも私も、Nvidia が市場のほとんどの企業よりも早く新世代のテクノロジを世に出していることを知っています。したがって、より多くの設計を簡素化し、下流パートナーの取り込み能力を向上させることができます」そのテクノロジーをより迅速に最終顧客に届けることは、パートナーにとっても私たちにとっても素晴らしいことです。」

ボイル氏は、一般的なシステム設計（数百万ドルかかる）を構築、テストし、製造に適格性を認めるまでに 18 か月から 24 か月かかる場合があるが、MGX を使用することで Nvidia はそれを 2 ～ 3 か月に短縮できると述べています。最後に、ODM および OEM パートナーが行うことは、コンポーネントのメニューから選択し、それらを接続して正常に機能することを認定することになります。 ODM と OEM は、BMC やファームウェアのアップデートなどのカスタマイズを追加し、組み立てられたコンポーネントの最終的な評価を行います。

しかし、スピードはそれ以上のものです。 それは間違いを避けることです。

「長年 DGX に携わってきましたが、当社は独自のシステムを構築していますが、OEM および ODM パートナーが市場投入までの時間を確保できるように、何が機能し、何が機能しないのかを示すために、行っているすべてのことを OEM および ODM パートナーと共有しています。 、そしてどの部品を使用するか、それらすべてです」とボイル氏は言います。 「彼らはそれを非常に高く評価しています。なぜなら、私たちがすでに取り組んでいること、つまり、試したこと、失敗したこと、より良いコンポーネントを用意したことなど、すべてのことに非常に感謝しているからです。私たちが彼らにそれを話しても、彼らはそうしません。」同じ実験を行う必要があるため、私たちが何度も経験したコストを再現する必要がありません。また、労働力不足とコンポーネント不足という同じ問題に取り組んでいるため、彼らはこのことに非常に満足しています。 「私たちが彼らのためにそれを行うという事実、そしてそれによって彼らが本当に革新できるところに革新をもたらすことができるのです。それは彼らのソフトウェアスタック全体と彼らの製品全体にあります。それは彼らのソリューションに関するものです。ネジが10の異なる場所に配置されているという事実」システム メーカーが設計したものは、エンド カスタマーに何らかの価値をもたらしますか?」

これは、ODM と OEM の研究開発コストが削減されることを意味し、Nvidia が自社のコンピューティング デバイスとネットワーキング デバイスをシステムに統合する方法について、ある程度の一貫性を保証できることも意味します。

ODM や OEM は、自分たちは特別な知識とスキルを持っていると考えており、最初は少し抵抗があると予想されます。 Open Compute プロジェクトは、ソーシャル ネットワークの高速化とコスト削減を望んでいたため、長年 Facebook のサーバー メーカーであった Dell と協力して誕生しました。 そして、長い時間が経った今でも、デルは自社のハイパースケール設計が、メタ プラットフォームやマイクロソフトのオープン コンピューティング プロジェクトの設計よりも優れていると考えています。 さらに、大手 OEM 企業は、多数の小規模システム メーカーにとって競争の場が平等になり、ある意味で自分たちの生活が困難になることを懸念するでしょう。

これらの小規模なシステム メーカーは、当初は、Dell、Hewlett Packard Enterprise、Lenovo、Cisco Systems、Lenovo などの大手 OEM よりも MGX に熱心になると考えられます。 しかし、ボイル氏の主張が真実である場合、つまり独自の DGX クローンを構築するよりも MGX システムを販売する方が儲かるということであれば、彼らはそれに取り組むでしょう。

最後に 1 つ: MGX 設計が Open Compute Project を通じて公開されていれば役立つかもしれません。 なぜだめですか？

今週のハイライト、分析、ストーリーを、何も挟むことなく直接あなたの受信箱にお送りします。今すぐ購読してください。