• Úvod
  • Sprievodca dizajnom
  • Odporúčaný produkt
  • Porovnanie
  • Prípady použitia

Čo je architektúra siete GPU klastra?

Čo
  • Architektúra sieťovej siete GPU klastra je vysokopásmová a nízkolatenciová infraštruktúra, ktorá prepája servery GPU, úložiská a služby pre trénovanie, inferenciu a HPC úlohy umelej inteligencie. Je postavená na prepínačoch dátových centier Cisco Nexus/Catalyst 9000 a Juniper QFX/EX s rýchlosťou 25 G/100 G/400 G a využíva neblokujúce dizajny chrbticových listov, aby sa zabezpečilo plné využitie kanálov GPU a minimalizovali komunikačné úzke miesta počas rozsiahlych distribuovaných úloh.

    Medzi kľúčové funkcie patrí EVPN‑VXLAN pre škálovateľné tkaniny vrstvy 2/3, podložná vrstva optimalizovaná pre RoCE s QoS a PFC a optické vysielače a prijímače s vysokou hustotou 40G/100G/400G plus kabeláž QSFP+/QSFP28/QSFP‑DD DAC/AOC. Táto kombinácia poskytuje deterministickú latenciu, predvídateľnú priepustnosť a flexibilné škálovanie, čo umožňuje architektom a inžinierom navrhovať klastre GPU, ktoré urýchľujú trénovanie modelov, skracujú čas do dosiahnutia výsledkov a podporujú elastické rozširovanie dátových centier s umelou inteligenciou/HPC.

Navrhovanie ethernetových sietí pre klastre GPU

Preskúmajte, ako navrhovať vysokopásmové ethernetové štruktúry s nízkou latenciou pre klastre GPU, od architektúry typu leaf-spine a podložiek RoCE až po možnosti optiky a kabeláže pre škálovateľné pracovné zaťaženia umelej inteligencie a HPC.

Projektovanie
  • Požiadavky na GPU Fabric pre úlohy AI a HPC

    Moderné klastre GPU, ktoré riadia tréning umelej inteligencie, inferenciu a pracovné zaťaženia HPC, vyžadujú neblokujúcu šírku pásma, latenciu na úrovni mikrosekúnd a predvídateľné správanie pri preťažení. Architekti musia zohľadniť vzorce prevádzky východ-západ, rozsiahle výmeny typu „všetko-všetko“ a transport založený na RoCE. Táto časť objasňuje cieľové metriky pre nadmerné predplatné, správanie ECN a PFC, domény zlyhania a rezervu na rozšírenie, aby ste mohli pred výberom prepínačov, optiky a kabeláže preložiť SLA aplikácie do konkrétnych požiadaviek na ethernetovú infraštruktúru.

    Diskutujte o svojich požiadavkách
Projektovanie
  • Návrh podkladovej vrstvy Leaf-Spine, EVPN-VXLAN a RoCE-Ready

    Po definovaní požiadaviek na infraštruktúru je ďalším krokom výber vhodnej topológie a riadiacej roviny. Architektúra typu leaf-spine s EVPN-VXLAN poskytuje škálovateľnú konektivitu vrstvy 2/3 a izoláciu nájomcov, zatiaľ čo starostlivo vyladená podložná vrstva umožňuje prenos RoCE citlivý na straty. V tejto časti načrtávame osvedčené postupy návrhu pre porty 25G/100G/400G, ECMP, MTU, QoS a plánovanie vyrovnávacej pamäte, aby vaša ethernetová infraštruktúra poskytovala deterministický výkon pre plánovanie úloh GPU a klastre s viacerými nájomcami.

    Získajte pokyny pre návrh látok

Hlavné prvky prepínača a optiky GPU Fabric

Prepínače, optika a káble typu „spine-leaf“ od spoločností Cisco a Juniper 25G/100G/400G Ethernet pre klastre s umelou inteligenciou a HPC GPU s nízkou latenciou a bez blokovania.

Škálovateľná tkanina 100G/400G

Vytvorte neblokujúcu konštrukciu typu leaf-spine s portami 25G až 400G a priepustnosťou až 12.8T.

Ethernet optimalizovaný pre GPU

Podložka pripravená na RoCE s ECN, PFC a telemetriou vyladenou pre bezstratovú štruktúru tréningu AI.

Automatizácia EVPN-VXLAN

Štandardizovaná EVPN-VXLAN pre viacnájomnícke klastre AI a bezproblémové škálovanie GPU fabric.

Ethernet GPU Fabrics vs InfiniBand: Porovnanie AI a HPC

Porovnajte InfiniBand s modernými 100G/400G Ethernet GPU fabrics a vyvážte latenciu, škálovateľnosť a náklady pre klastre AI a HPC.

AspektTradičné látky InfiniBand
Klasterová tkanina Ethernet GPU (100G/400G)
Výsledok pre vás
Latencia a jitterUltranízka latencia, prísne kontrolovaná, ale na proprietárnom zásobníku.Latencia takmer InfiniBand s optimalizovaným 100G/400G Cisco/Juniper Ethernetom pre RoCE.Predvídateľné časy dokončenia úloh GPU bez viazania sa na jedného dodávateľa fabric.
Priepustnosť a rýchlosti portovVysoká šírka pásma, ale obmedzený ekosystém pre 400G a budúce aktualizácie.Bohatý plán 25G/100G/400G s použitím štandardnej optiky QSFP a kabeláže DAC/AOC.Škálujte šírku pásma pre tréning umelej inteligencie pomocou široko dostupných a cenovo dostupných 400G prepínačov a optiky.
Škálovateľnosť a dizajn látokŠkáluje sa dobre, ale veľké Clos tkaniny sú zložité a úzko prepojené s jedným dodávateľom.Tkaniny EVPN‑VXLAN typu Leaf-Chrbtica sa horizontálne škálujú naprieč podmi a doménami.Pridávajte racky a rozvody GPU postupne bez prepracovania celého prepojenia.
Ekosystém a otvorenosťProprietárne nástroje a obmedzená integrácia s bežnými DC sieťami.Štandardný Ethernet spolupracujúci s existujúcimi sieťami Cisco Nexus, Catalyst a Juniper QFX/EX.Zjednoťte umelú inteligenciu, úložisko a podnikovú prevádzku v jednej infraštruktúre, čím zjednodušíte operácie a opätovné použitie zručností.
Prevádzkové nástroje a zručnostiŠpecializovaný manažment; menej inžinierov s rozsiahlymi skúsenosťami s InfiniBand.Využíva známe rámce DC ops, telemetrie a automatizácie pre Ethernet.Rýchlejšie nasadenie a riešenie problémov pomocou nástrojov, ktoré váš tím už pozná.
Celkové náklady a obstarávanieVyššie náklady na port, obmedzené zdroje a závislosť od jedného primárneho dodávateľa.Konkurenčné ceny prepínačov, optiky a káblov od viacerých dodávateľov ethernetových zariadení.Znížte kapitálové výdavky a riziká dodávateľského reťazca a zároveň zachovajte výkon klastrov GPU.
Prispôsobenie pracovnej záťaže (AI a HPC)Vynikajúce pre úzko prepojené MPI a špecifické úlohy citlivé na ultralatenciu.Optimalizované pre rozsiahle trénovanie umelej inteligencie, inferenciu a zmiešané HPC na zdieľaných sieťových prvkoch.Podporujte dnešné potreby školenia GPU a budúce služby umelej inteligencie pre viacerých klientov na jednej architektúre.

Potrebujete pomoc? Technickí experti sú k dispozícii.

  • +1-626-655-0998 (USA)
    UTC 15:00-00:00
  • +852-2592-5389 (Hoongkong)
    UTC 00:00-09:00
  • +852-2592-5411 (Hoongkong)
    UTC 06:00-15:00
Potrebujete pomoc? Technickí experti sú k dispozícii.

Prípady použitia siete klastrov GPU

Zistite, kde prepínače, optika a káble Cisco a Juniper 25G/100G/400G umožňujú vytvárať škálovateľné klastre GPU s nízkou latenciou pre úlohy umelej inteligencie, strojového učenia a HPC.

Tréningové tkaniny pre umelú inteligenciu

Tréningové tkaniny pre umelú inteligenciu

  • Navrhnite neblokujúce klastre GPU pre trénovanie rozsiahlych modelov pomocou Cisco Nexus/Catalyst 9000 a Juniper QFX/EX v sieťových prvkoch EVPN‑VXLAN typu „spine-leaf“. Vysokohustotné porty 100G/400G, podložky optimalizované pre RoCE a bezstratové riadenie preťaženia zabezpečujú deterministické dokončenie úloh a efektívne využitie GPU v hyperškálovaní.
Inferencia v reálnom čase

Inferencia v reálnom čase

  • Podporujte inferenčné služby kritické z hľadiska latencie pre platformy fintech, reklamných technológií a personalizácie s agregáciou 25G ToR a 100G/400G. Prepínače dátových centier Cisco a Juniper s presnou QoS, PFC a ECN poskytujú latenciu na úrovni mikrosekúnd, konzistentnú priepustnosť a predvídateľný výkon naprieč uzlami GPU a úrovňami front-endových aplikácií.
Simulácie HPC

Simulácie HPC

  • Vytvárajte vysokopriepustné prepojenia pre CFD, seizmické spracovanie, genomiku a inžinierske pracovné zaťaženia. Dizajny typu chrbtica-list 100G/400G s optikou QSFP+/QSFP28/QSFP‑DD a kabelážou DAC/AOC poskytujú hustú šírku pásma východ-západ, čo umožňuje efektívne spúšťanie úloh HPC s MPI a GPU akceleráciou vo veľkých klastroch s predvídateľným škálovaním a minimálnym súbehom v sieti.
Podnikové cloudy s umelou inteligenciou

Podnikové cloudy s umelou inteligenciou

  • Poskytujte súkromné ​​platformy AI a MLOps pre veľké podniky s využitím prepínania Cisco a Juniper 25G/100G/400G. Fabric siete EVPN‑VXLAN prepájajú skupiny GPU, úložiská a siete nájomníkov so silnou segmentáciou, automatizáciou a prehľadnosťou, čo umožňuje bezpečné služby AI pre viacerých nájomníkov a predvídateľný výkon pre rozmanité tréningové a inferenčné kanály.

Často kladené otázky

Ako si mám vybrať medzi prepínačmi Cisco a Juniper pre moju sieťovú architektúru klastra GPU?

Spoločnosti Cisco (Nexus, Catalyst 9000) aj Juniper (QFX, EX) poskytujú ethernetové štruktúry s nízkou latenciou a vysokou priepustnosťou pre AI/ML a HPC. Správna voľba zvyčajne závisí od existujúceho štandardu vášho dátového centra, preferovaného sieťového operátora (NX-OS, IOS-XE, Junos), automatizačného zásobníka (Ansible, Terraform, Python) a prevádzkových znalostí. Z hľadiska sieťovania klastrov GPU sa zamerajte na konzistentnú hustotu portov 100G/400G, architektúru vyrovnávacej pamäte pripravenú na RoCE, podporu EVPN-VXLAN a neblokujúce dizajny chrbticových listov. Router-switch.com vám môže pomôcť porovnať konkrétne modely, optiku a možnosti kabeláže tak, aby zodpovedali vašim výkonnostným a rozpočtovým cieľom.

Akú šírku pásma siete a topológiu potrebujem pre GPU pre trénovanie AI – 25G/100G/400G a spine-leaf?

  • Väčšina moderných trénovacích klastrov GPU používa 100G uplink na server GPU do prepínača ToR a 100G/400G uplink z ToR do spine na vybudovanie neblokujúcej alebo nízko-preťaženej štruktúry leaf-spine pre prevádzku AI v smere východ-západ.
  • Pre rozsiahle prostredia AI/ML a HPC poskytujú 400G spinálne prepínače s možnosťami breakoutu 4×100G alebo 8×50G vyššiu bisekčnú šírku pásma, lepšie škálovanie a deterministickejší výkon pre komunikáciu GPU založenú na RoCE v sieťach EVPN‑VXLAN.

Ktoré optické, DAC a AOC káble by som mal použiť medzi GPU servermi, ToR a spinálnymi prepínačmi?

Pre pripojenie servera GPU k ToR v rámci racku sa pre 40G/100G/400G zvyčajne uprednostňuje pasívny DAC (QSFP+/QSFP28/QSFP‑DD) kvôli jeho nízkej latencii, nízkej spotrebe energie a nižším nákladom. Pre prepojenia medzi rackmi alebo medzi riadkami medzi ToR a spinálnymi prepínačmi zákazníci zvyčajne kombinujú aktívny DAC/AOC pre stredné vzdialenosti a optické transceivery 40G/100G/400G s multimódovým alebo jednomódovým optickým vláknom pre dlhšie vzdialenosti, v závislosti od rozloženia dátového centra a budúcich kapacitných plánov.
    Odporúčané možnosti kabeláže pre klastre GPU
  • V racku: 25G/100G DAC alebo AOC z grafických kariet NIC do portov ToR pre minimálnu latenciu a zjednodušenú správu.
  • Koniec riadku / agregácia: 100G/400G AOC alebo optické vysielače a prijímače (napr. QSFP28 SR4/DR, QSFP‑DD DR4/FR4) pre škálovateľné prepojenia chrbtice a listov.
    Aspekty kompatibility a interoperability
  • Prispôsobte tvar a kódovanie vysielača/prijímača (QSFP+/QSFP28/QSFP‑DD) každému portu Cisco Nexus/Catalyst alebo Juniper QFX/EX a uistite sa, že optika je kódovaná alebo testovaná pre daného dodávateľa, aby ste predišli problémom s pripojením alebo podporou.
  • Pri kombinovaní dodávateľov v rovnakej infraštruktúre overte interoperabilitu na úrovni prepojenia (režim FEC, automatické vyjednávanie, mapovanie breakoutov) v laboratóriu alebo PoC pred nasadením na produkčné uzly GPU.

Dokáže Ethernet s EVPN‑VXLAN a RoCE skutočne nahradiť InfiniBand pre klastre GPU s umelou inteligenciou a HPC?

Moderné ethernetové štruktúry 100G/400G pre dátové centrá s využitím Cisco Nexus/Catalyst 9000 alebo Juniper QFX s EVPN‑VXLAN a dobre vyladenou podložkou RoCE (RDMA over Converged Ethernet) dokážu dosiahnuť latenciu na úrovni mikrosekúnd a vysokú priepustnosť, ktorá je konkurencieschopná s mnohými nasadeniami InfiniBand. Pre mnohé úlohy trénovania umelej inteligencie, inferencie a zmiešaných HPC tento konvergovaný ethernetový prístup zjednodušuje prevádzku, znižuje náklady a ponúka lepšiu interoperabilitu s existujúcimi IP sieťami a zároveň poskytuje deterministický výkon pre klastre GPU.

Aká škálovateľná je táto sieťová architektúra klastra GPU založená na platformách Cisco a Juniper a môžem ju neskôr rozšíriť zo 100G na 400G?

Navrhovaná architektúra klastra GPU je postavená na sieťových prvkoch typu „spine-leaf“ s využitím modulárnych alebo pevných prepínačov 100G/400G, ktoré podporujú konfiguráciu port po porte, rozbočovacie kanály a flexibilnú optiku. Môžete začať s prístupom servera 25G/100G k ToR a 100G uplinkmi k sieti, potom zaviesť prepínače alebo karty spinálnych liniek 400G a migrovať kritické kanály na 400G podľa toho, ako veľkosť klastra a tréningové úlohy rastú. Použitie EVPN‑VXLAN a štandardizovanej kabeláže optiky/DAC/AOC chráni vašu počiatočnú investíciu a zároveň umožňuje lineárne škálovanie kapacity serverov GPU, úložiska a siete.

A čo záruka, podpora a životný cyklus pri kúpe prepínačov a optiky Cisco alebo Juniper pre GPU fabrics?

Pri navrhovaní GPU fabric s Cisco Nexus/Catalyst a Juniper QFX/EX je dôležité zosúladiť výber hardvéru a optiky s oficiálnymi politikami životného cyklu dodávateľov, plánmi vývoja softvéru a dostupnými zmluvami o podpore, najmä pre kritické školenia umelej inteligencie a HPC klastre. Mnohí zákazníci kombinujú podporu dodávateľov so službami s pridanou hodnotou od partnerov, ako sú router-switch.com na overenie návrhu, optimalizáciu kusovníka a plánovanie migrácie. Upozornenie: Konkrétne záručné podmienky a podporné služby sa môžu líšiť v závislosti od produktu a regiónu. Presné podrobnosti nájdete v oficiálnych informáciách. V prípade ďalších otázok kontaktujte: router-switch.com.

Odporúčané recenzie

David Henderson

Potrebovali sme deterministickú štruktúru s nízkou latenciou na trénovanie GPU bez toho, aby sme prehnali naše kapitálové výdavky. Router-switch.com Dodali sme kombináciu prepínačov, optiky a DAC od spoločností Cisco a Juniper s kapacitou 100G/400G, ktoré boli priamo začlenené do nášho návrhu EVPN-VXLAN. Ich cena, spoľahlivosť zásob a dizajnové poradenstvo nám pomohli rýchlejšie škálovať a zároveň udržať nízke riziká interoperability.

Aiko Tanaka

Náš tím umelej inteligencie potreboval predvídateľný výkon RoCE a jasnú cestu migrácie zo 100G na 400G. Router-switch.com navrhli chrbticový rozvod založený na QFX so zodpovedajúcou optikou Cisco a Juniper, ktorý jednoducho funguje. Objednávky prišli rýchlo, boli plne kompatibilné a ich predpredajní inžinieri pomohli doladiť nastavenia vyrovnávacej pamäte a QoS pre stabilné pracovné zaťaženie GPU.

Markus Vogel

Pri navrhovaní nového klastra GPU sme sa trápili s vyvážením priepustnosti, latencie a dlhodobej škálovateľnosti. Router-switch.com dodali prepínače Nexus a QFX s optikou 100G/400G a DAC prevodníkmi ako overený balík. Fabric je neblokujúci, pripravený na RoCE a ich popredajná podpora v oblasti kompatibility optiky a vybavenia RMA bola vynikajúca.

Viac riešení

Ethernet vs InfiniBand for AI & HPC Networks

Ethernet vs. InfiniBand pre siete AI a HPC

Zamerané porovnanie Ethernetu a InfiniBandu pre AI/HPC siete – latencia, škálovanie, RDMA a kompromisy v oblasti nákladov.

Siete umelej inteligencie a vysokovýkonných výpočtov
Beyond Bandwidth: The 100G+ Data Center Architecture

Viac než len šírka pásma: Architektúra dátového centra s kapacitou 100 Gb/s

Nevyhnutný 100G základ – rast pripravený na umelú inteligenciu, výkon s nulovou latenciou

Dátové centrum
Copper vs Fiber vs DAC/AOC Interconnects Guide

Sprievodca prepojeniami medené vs. optické vs. DAC/AOC

Kompletné porovnanie medených, optických, DAC a AOC – latencia, dosah, náklady a vhodnosť nasadenia 10G/25G/100G/400G.

Káble a vysielače/prijímače