Expresná doprava do
Kontaktujte nás
Sledovať objednávku
Hľadať
Populárne vyhľadávanie
dotaz
Nákupný vozík
Login

Kupón
Citujte teraz,
ušetrite až 8 %.

dotaz
Kontakt

spätná väzba
Tvoja spätná väzba
Ako by ste nás ohodnotili?
Jednoduchosť použitia:
Spätná väzba k nákupu:
Podrobnosti o produkte:

Bezstratové siete AI klastrov s RoCEv2 a GPUDirect

Bezstratové siete AI klastrov s RoCEv2 a GPUDirect
  • Úvod
  • Výzvy
  • Odporúčané produkty
  • POROVNAŤ
  • Prípady použitia
Získajte odbornú pomoc

Navrhovanie bezstratových AI tkanín

Navrhovanie bezstratových AI tkanín

  • Tréningové klastre umelej inteligencie teraz posúvajú rozpočty na prevádzku a latenciu v smere východ-západ nad rámec toho, na čo boli tradičné ethernetové štruktúry vytvorené. S rastúcim počtom GPU a škálovaním úloh naprieč rackmi a riadkami má každý mikroburst, strata paketov alebo preťaženie priamy vplyv na priepustnosť tréningu a využitie GPU. Bezstratové návrhy RoCEv2 a GPUDirect RDMA sa stávajú kľúčovými pre premenu nákladových akcelerátorov na predvídateľnú a efektívnu infraštruktúru umelej inteligencie, a nie na uviaznutú kapacitu.

    Nasledujúce časti sa zameriavajú na to, ako vytvoriť deterministickú, škálovateľnú infraštruktúru umelej inteligencie s použitím prepínačov Arista leaf-spine a 400G spinálne siete spolu s modulmi 100G/400G založenými na platforme Huawei CloudEngine. Dôraz sa kladie na výber topológie, správu vyrovnávacej pamäte a preťaženia, ladenie RoCEv2 a migračné cesty, aby si dizajnérske tímy mohli vybrať správne úrovne prepínačov a moduly pre svoju špecifickú škálu klastra GPU, domény zlyhania a plán zavádzania.

Navrhovanie bezstratových RoCEv2 AI tkanín

Vyváženie prísnych bezstratových požiadaviek RoCEv2 so škálovateľnosťou GPU, hardvérom od viacerých dodávateľov a prevádzkovým rizikom nie je ani zďaleka jednoduché.

Navrhovanie bezstratových RoCEv2 AI tkanín

  • Zaručenie bezstratovej kvality v rozsahu umelej inteligencie

    Udržiavanie skutočne bezstratového RoCEv2 pri mikroburstovej prevádzke a tisíckach tokov GPU zaťažuje vyrovnávacie pamäte, politiky QoS a kontrolu preťaženia.

  • Vyváženie hustoty prístavov a rozpočtu

    Výber medzi možnosťami 100G/400G leaf-spine, ktoré zodpovedajú rastu GPU bez prebudovania alebo vynechávania drahých vysokorýchlostných portov, je zložitý.

  • Interoperabilita a vývoj s viacerými dodávateľmi

    Zosúladenie prepínacích modulov Arista a Huawei s rôznym správaním RoCEv2, ECN a PFC komplikuje dlhodobé aktualizácie a ladenie siete.

Základy bezstratovej AI klastrovej štruktúry

Uprednostnite návrh štruktúry, riadenie preťaženia a škálovateľné 100/400G chrbticové siete pre klastre umelej inteligencie RoCEv2.

Deterministická tkanina RoCEv2

Navrhnite bezstratové tkaniny typu leaf-spine, ktoré udržia klastre GPU predvídateľné vo veľkom meradle.

Komplexná kontrola preťaženia

Využite ladenie ECN, PFC a vyrovnávacej pamäte na ochranu tokov GPUDirect RDMA pred incastovaním.

Škálovateľná chrbtica 100/400G

Na pestovanie chrbtice umelej inteligencie použite chrbtice s vysokou hustotou 100/400G bez prepracovania tkaniny.

Možnosti AI Fabric RoCEv2 Ethernet vs. Spine

Porovnajte možnosti RoCEv2 leaf, 400G spine a modulárnej CE fabric a vyberte si najlepšiu bezstratovú sieťovú cestu AI klastra.

Vlastnosti Látka Arista RoCEv2 s listovým chrbtom Chrbtica Arista 400G AI Spine
Vysokorýchlostná sieťová technológia Huawei CloudEngine (horúca)
 Výsledok pre vás
Primárne nasadenie Optimalizované pre klastre GPU TOR/leaf-spine s RoCEv2 a GPUDirect RDMA v jedno-site AI podoch. Vytvorená ako vrstva s vysokou radixovou chrbticou pre veľké viacpodové klastre umelej inteligencie vyžadujúce agregáciu 100G/400G. Najlepšie pre operátorov štandardizujúcich CloudEngine, ktorí škálujú modulárne siete dát založenej na chrbticových/linkových kartách. Objasňuje, ktorá platforma je v súlade s vašou aktuálnou topológiou dátového centra a škálovateľnosťou klastra GPU.
Bezstratové sieťové možnosti Poskytuje šablóny ladenia PFC, ECN a RoCEv2 na rack; ideálne pre deterministické bezstratové správanie na úrovni podu. Rozširuje bezstratové politiky na mnoho listov a tkanín; silné pre prenos dát v chrbticovej oblasti AI medzi východom a západom. Podporuje QoS, PFC a správu preťaženia ekosystému CloudEngine v rámci referenčných návrhov Huawei. Pomáha vám zistiť, kde by mala byť umiestnená bezstratová kontrola – iba na úrovni TOR alebo naprieč celým rozhraním.
Škálovateľnosť a budúci rast Dobre škálovateľné v rámci rackov alebo malých sietí Fabric; obmedzené, keď potrebujete tisíce GPU naprieč doménami. Navrhnuté pre horizontálne škálovanie viacerých GPU podov s vysokohustotnými uplinkmi 100G/400G a hlbokými vyrovnávacími pamäťami. Využíva modulárne šasi na pridávanie portov a kapacity bez nutnosti úplnej výmeny; vhodné pre postupný rast. Určuje, či investovať viac do prístupovej vrstvy alebo do škálovateľného jadra na podporu rastu umelej inteligencie naprieč viacerými generáciami.
Ekosystém a interoperabilita Výborne sa hodí do prostredí RoCEv2 kompatibilných s NVIDIA, ktoré sú kompatibilné iba s Ethernetom; najlepšie, keď je celá sieťová konštrukcia Arista na okraji. Ideálne, keď je chrbtica/jadro Arista a chcete pod ňou deterministickú podporu listov od viacerých dodávateľov. Úzko sa integruje so servermi, úložiskom a ovládačmi Huawei; lepšie, ak je centrála domény už zameraná na Huawei. Zobrazuje, ktorá možnosť minimalizuje riziko integrácie na základe existujúcich prepínačov, serverov a nástrojov na správu.
Prevádzková zložitosť Jednoduchšie nasadenie a ladenie v klastroch s jednou doménou; menej vrstiev, ale viac obmedzení s rastúcou škálovateľnosťou. Vyžaduje si viac dizajnu vopred, ale centralizuje bezstratovú politiku a pozorovateľnosť v chrbtici. Viac plánovania pre modulárne návrhy založené na CE, ale životný cyklus a aktualizácie je možné štandardizovať pre každý šasi. Pomáha vyvážiť rýchle úspechy pre pilotné klastre umelej inteligencie s budovaním dlhodobej a prevádzkovo orientovanej infraštruktúry.
Profil nákladov a investícií Nižšie vstupné náklady na rack; pre veľmi veľké klastre môže byť potrebná neskoršia zmena architektúry. Vyššie počiatočné náklady na jadro, ale zabraňujú častému roztrhávaniu a výmene, keďže veľkosť AI tkaniny sa zrýchľuje. Kapitálové výdavky zamerané na šasi a linkové karty; atraktívne pre prevádzkovateľov, ktorí zostavujú rozpočet na dlhodobé prijatie CE. Objasňuje, či začať s cenovo dostupnými podmi alebo sa zamerať na infraštruktúru umelej inteligencie s jadrom, pripravenú na rozširovanie.
Typické scenáre najlepšieho použitia Jeden klaster AI na jeden DC, POC laboratóriá alebo farmy GPU so strednou záťažou, kde je lokalizovaná latencia a ladenie RoCE. Tréningové klastre AI/ML s viacerými podmi a viacerými rackmi vyžadujúce konzistentné bezstratové správanie naprieč lokalitami. Operátorské, cloudové alebo podnikové centrá dávajúceho dát s chrbticou/listom Huawei CE, ktoré potrebujú vysokorýchlostné fabric siete pripravené na umelú inteligenciu. Pomáha rýchlo zmapovať váš plán pre umelú inteligenciu – laboratórium, jedno alebo viacero pracovísk – do vhodnej voľby štruktúry.
Strategické odporúčanie Používajte, keď uprednostňujete rýchle spustenie RoCEv2 v racku a plánujete neskôr škálovať jadro. Používajte ho, keď chcete jednotnú chrbticu Arista na prenos umelej inteligencie, úložiska a prevádzky východ-západ vo veľkom rozsahu. Uprednostnite oblasti, kde je Huawei CE strategicky dôležitý a kde potrebujete škálovateľnú a dodávateľsky prispôsobenú klastrovú štruktúru umelej inteligencie. Podporuje rozhodnutie o štandardizácii buď na platforme Arista na okraji siete/v jadre siete, alebo na platforme Huawei CE pre dlhodobé siete s umelou inteligenciou.

Potrebujete pomoc? Technickí experti sú k dispozícii.

  • +1-626-655-0998 (USA)
    UTC 15:00-00:00
  • +852-2592-5389 (Hoongkong)
    UTC 00:00-09:00
  • +852-2592-5411 (Hoongkong)
    UTC 06:00-15:00
Získajte ponuku
Chat
Potrebujete pomoc? Technickí experti sú k dispozícii.

Ideálne aplikácie AI Fabric

Najlepšie scenáre nasadenia pre budovanie bezstratových klastrov umelej inteligencie RoCEv2 / GPUDirect RDMA a GPU fabrics s vysokou hustotou.

Tréningové klastre pre hyperškálovú umelú inteligenciu

Tréningové klastre pre hyperškálovú umelú inteligenciu

  • Nasaďte GPU štruktúry RoCEv2 leaf-spine pomocou ethernetových prepínačov Arista AI Cluster na prepojenie tisícok GPU pre trénovanie rozsiahlych modelov.
  • Vytvorte neblokujúce vrstvy chrbticovej siete 100G/400G s chrbticovými prepínačmi Arista 400G na udržanie prenosu všetkých dát v dátovo-paralelných a modelovo-paralelných tréningových úlohách.
  • Rozšírte sietí založených na CloudEngine o moduly Huawei 100G/400G a pridajte ďalšie racky GPU bez narušenia existujúcich trénovacích klastrov umelej inteligencie.
Podnikové dátové centrá s umelou inteligenciou a súkromné ​​cloudy

Podnikové dátové centrá s umelou inteligenciou a súkromné ​​cloudy

  • Použite dizajny Arista RoCEv2 typu leaf-spine na prepojenie zmiešaných uzlov GPU, úložiska a CPU v podnikových dátových centrách s umelou inteligenciou s predvídateľne nízkou latenciou.
  • Nasaďte siete Arista 400G ako bezstratovú chrbticu pre služby umelej inteligencie v súkromnom cloude a konsolidujte viacero používateľov umelej inteligencie v jednej vysokovýkonnej infraštruktúre.
  • Využite moduly Huawei CloudEngine 100G/400G na škálovanie šírky pásma východ-západ v konvergovaných klastroch umelej inteligencie a virtualizácie bez vytvárania preťažených oblastí.
Aplikácie s inferenciou v reálnom čase a nízkou latenciou

Aplikácie s inferenciou v reálnom čase a nízkou latenciou

  • Vytvárajte kompaktné GPU štruktúry založené na RoCEv2 s prepínačmi Arista leaf pre inferenčné služby citlivé na latenciu, ako sú odporúčacie nástroje a detekcia podvodov.
  • Združte viacero inferenčných modulov do zdieľanej siete 100G/400G pomocou prepínačov Arista s vysokou hustotou, aby ste zaručili konzistentné časy odozvy na úrovni mikrosekúnd.
  • Modernizujte existujúce siete CloudEngine pomocou modulov Huawei 100G/400G, aby ste zabezpečili bezstratové cesty medzi inferenčnými GPU a front-endovými službami v produkčných prostrediach.
Výskumné laboratóriá a HPC klastre

Výskumné laboratóriá a HPC klastre

  • Vytvárajte klastre GPU s podporou RoCEv2 a prepínačmi Arista AI na podporu výskumných úloh s viacerými nájomníkmi v oblasti fyziky, genomiky a inžinierskych simulácií.
  • Nasaďte vrstvy chrbtice Arista 400G na prepojenie heterogénnych výpočtových ostrovov, kombinujte uzly GPU, uzly iba CPU a paralelné súborové systémy do jednej bezstratovej štruktúry.
  • Integrujte moduly Huawei CloudEngine 100G/400G do existujúcich jadier HPC a rozšírte experimentálnu kapacitu bez nutnosti prestavby celej laboratórnej siete.
Platformy umelej inteligencie pre operátorov a poskytovateľov cloudových služieb

Platformy umelej inteligencie pre operátorov a poskytovateľov cloudových služieb

  • Použite ethernetové štruktúry Arista AI Cluster na hosťovanie zdieľaných skupín GPU pre úlohy telekomunikačnej umelej inteligencie, ako je optimalizácia RAN, predikcia prevádzky a analýza OSS.
  • Nasaďte škálovateľné siete 400G s platformami Arista a vytvorte viacregionálne siete umelej inteligencie, ktoré prepoja klastre GPU naprieč zónami dostupnosti cloudu.
  • Rozšírte metropolitné alebo hlavné lokality založené na platforme CloudEngine o moduly Huawei 100G/400G a integrujte klastre s umelou inteligenciou do existujúcich infraštruktúr dátových sietí operátorov bez toho, aby ste obetovali bezstratový prenos.

Často kladené otázky

Ako si môžem vybrať medzi prepínačmi Arista leaf/spine a modulmi Huawei pre môj klaster AI RoCEv2?

  • Ethernetové prepínače Arista AI Cluster (napr. ARI:DCS-7260CX3-64-R/F, séria ARI:DCS-7050SX3/7050CX3) sú vhodné, keď chcete vyhradenú štruktúru RoCEv2/GPUDirect RDMA s konzistentnými funkciami EOS, zvyčajne v klastroch NVIDIA GPU alebo AI od zmiešaných dodávateľov, ktoré sa spoliehajú na bezstratové štruktúry založené na Ethernete.
  • Prepínacie moduly Huawei 100G/400G CloudEngine (napr. CR5M0OFCK050, CR5DSFUFK050, CR5D00N2NC61, CR5D00E2NC73) sú lepšie, keď rozširujete existujúcu sieť dátového centra Huawei CloudEngine alebo routeru a potrebujete rozšírenie v štýle linkových kariet namiesto samostatných pevných prepínačov.
  • Z hľadiska rozhodovania vychádzajte zo štandardu vášho aktuálneho sieťového operačného systému, nástrojov na správu infraštruktúry a prevádzkových zručností. Potom namapujte potrebnú hustotu portov 100G/400G, model napájania/chladenia (front-to-back vs. back-to-front) a sadu funkcií RoCEv2 (PFC, ECN, buffer) na konkrétne SKU. Náš tím vám môže poskytnúť odporúčania neutrálne z hľadiska topológie a dodávateľa prostredníctvom... bezplatná podpora dizajnu CCIE.
  • Upozornenie: Konkrétne záručné podmienky a podporné služby sa môžu líšiť v závislosti od produktu a regiónu. Presné podrobnosti nájdete v oficiálnych informáciách. V prípade ďalších otázok kontaktujte: router-switch.com.

Sú tieto sieťové produkty Arista a Huawei s umelou inteligenciou kompatibilné s klastrami NVIDIA RoCEv2 / GPUDirect RDMA?

  • Uvedené prepínače Arista (rodiny DCS-7260CX3, DCS-7050SX3, DCS-7050CX3, DCS-7050CX4, DCS-7280CR3, DCS-7800R3) a moduly Huawei 100G/400G sa široko používajú v klastroch GPU založených na RoCEv2, ale kompatibilita s NVIDIA GPUDirect RDMA závisí od celého stacku: firmvér sieťovej karty, ovládače GPU, riadenie preťaženia RoCE a konfigurácia PFC/ECN.
  • V praxi odporúčame overenie vzhľadom na vašu konkrétnu generáciu GPU (napr. A100, H100), typ sieťovej karty (ConnectX-5/6/7, BlueField) a maticu firmvéru RoCE. Pred objednaním nám môžete poskytnúť aktuálny kusovník, verzie operačného systému a požadovanú topológiu, aby sme mohli zdôrazniť všetky známe výhrady interoperability (napr. požadované vydania EOS/VRP, profily vyrovnávacej pamäte, prahy ECN).
  • Pre klastre, ktoré sú už v produkcii, odporúčame pred nasadením v plnom rozsahu vykonať fázované PoC alebo A/B testovanie s podmnožinou uzlov leaf/spine, aby sa predišlo neočakávanému správaniu v sieťach od rôznych dodávateľov.

Aké riziká nasadenia by som mal počítať pri budovaní bezstratovej štruktúry RoCEv2 s týmito prepínačmi?

  • Bezstratové AI tkaniny sú vysoko citlivé na chybné konfigurácie vyrovnávacej pamäte, riadenia prioritného toku (PFC) a ECN. Pri zavádzaní modulov Arista 7260CX3/7050SX3/7050CX4/7280CR3 alebo Huawei 100G/400G do existujúceho prostredia patria medzi kľúčové riziká: blokovanie na začiatku linky z agresívneho PFC, nespravodlivé prideľovanie šírky pásma medzi tréningovými úlohami a šírenie preťaženia naprieč chrbticami.
  • Na zmiernenie tohto problému odporúčame implementačný plán, ktorý zahŕňa: laboratórne overenie profilov PFC/ECN so syntetickou prevádzkou RoCE, merania základnej latencie na skok a explicitné postupy vrátenia zmien. Mali by ste tiež zosúladiť kabeláž, optiku (100G/400G SR4/DR4/FR4) a politiky QoS medzi zariadeniami typu leaf a spinne, najmä pri kombinovaní platforiem v rovnakej štruktúre.
  • Ak potrebujete kontrolný zoznam nasadenia alebo kontrolu konfigurácie zameranú na vaše špecifické SKU a rámec AI (napr. NCCL, Horovod, Megatron-LM), naši sieťoví architekti vám môžu pomôcť s návrhom podrobného realizačného plánu prostredníctvom bezplatná podpora CCIE.
  • Upozornenie: Konkrétne záručné podmienky a podporné služby sa môžu líšiť v závislosti od produktu a regiónu. Presné podrobnosti nájdete v oficiálnych informáciách. V prípade ďalších otázok kontaktujte: router-switch.com.

Čo by som mal vedieť o dodacej lehote, preprave a riziku dovozu pre klastrové prepínače a moduly s umelou inteligenciou?

  • V prípade prepínačov a modulov 100G/400G zameraných na umelú inteligenciu môže globálny dopyt spôsobiť kolísavú dostupnosť. Dodacia lehota pre moduly Arista DCS-7260CX3/7050SX3/7050CX4/7280CR3/7800R3 a Huawei, ako napríklad CR5M0OFCK050 alebo CR5D00E2NC73, bude závisieť od aktuálnych zásob, pridelenia šarží a logistických obmedzení vášho regiónu.
  • Pre veľké klastre umelej inteligencie zvyčajne navrhujeme postupné obstarávanie: najprv zabezpečíme kritickú kapacitu chrbtice a prvej dávky listov a potom ju rozšírime podľa toho, ako budú dodané racky s grafickými procesormi. Pre položky na sklade vieme v závislosti od dostupnosti produktu a miesta určenia zabezpečiť rôzne logistické možnosti, ako je popísané v našich... spôsoby prepravy stránku a odporúčame zosúladiť dodacie lehoty s harmonogramom inštalácie vášho dátového centra, aby ste minimalizovali riziko úložiska a poistenia.
  • Pre lepšie predvídanie dovozných ciel a lehot colného odbavenia – najmä v prípade zásielok s vysokou hodnotou v oblasti sietí umelej inteligencie – odporúčame vám preštudovať si naše usmernenia týkajúce sa dane a clá a koordináciu s vaším interným tímom pre dodržiavanie obchodných predpisov.

Ako sa riadia riziká záruky, životného cyklu (EOL/EOSL) a RMA pre tieto sieťové zariadenia s umelou inteligenciou?

  • Pri investovaní do ethernetových prepínačov Arista AI Cluster alebo modulov Huawei 100G/400G pre GPU fabrics je dôležité pochopiť stav životného cyklu dodávateľa aj praktické aspekty výmeny hardvéru pre kritické trénovacie klastre AI.
  • Pred objednaním odporúčame skontrolovať každé číslo dielu v našom Kontrola EOL / EOSL na potvrdenie stavu životného cyklu a následné priradenie tohto stavu k plánovanej životnosti klastra a cyklu obnovy. Možnosti záruky a popredajného krytia (vrátane toho, či uprednostňujete krytie od značky dodávateľa, rozšírené krytie alebo krytie od tretej strany) nájdete v našich záručná politika.
  • Aby sa znížil vplyv rizika RMA na pracovné zaťaženie produkčného školenia, mnohí zákazníci nasadzujú redundanciu N+1 chrbtice a udržiavajú malý fond studených náhradných dielov pre kritické SKU listov a linkových kariet, najmä v zdieľaných klastroch umelej inteligencie s viacerými nájomníkmi.
  • Upozornenie: Konkrétne záručné podmienky a podporné služby sa môžu líšiť v závislosti od produktu a regiónu. Presné podrobnosti nájdete v oficiálnych informáciách. V prípade ďalších otázok kontaktujte: router-switch.com.

Čo ak dodaný prepínač/modul Arista alebo Huawei AI zlyhá počas zapaľovania?

  • V prípade AI fabric väčšina zákazníkov vykonáva testovanie zapaľovania a nasiakania na zariadeniach Arista a Huawei pred ich integráciou do produkčných GPU rackov. Ak je zariadenie DOA alebo zlyhá predčasne, mali by ste dodržiavať zdokumentovaný postup RMA a vrátenia, aby ste predišli dlhším prestojom alebo oneskoreniam projektu.
  • Odporúčame viesť podrobné protokoly o akceptačných testoch (porty, optika, verzie firmvéru, výsledky testov RoCEv2) pre každý prepínač alebo modul, aby bolo možné rýchlo vysledovať akýkoľvek problém a izolovať postihnutú jednotku. V prípade poruchy môžete postupovať podľa krokov uvedených v našich pokyny na vrátenie chybného tovaru požiadať o výmenu alebo ďalšiu diagnostiku a zosúladiť to s vašimi internými pracovnými postupmi riadenia aktív a zmien.
  • V prípade kriticky dôležitých klastrov umelej inteligencie zvážte zosúladenie plánu zapaľovania so stratégiou rezervnej kapacity (ďalšie uzly leaf/spine alebo modulárne linkové karty), aby chybná jednotka neblokovala uvedenie racku GPU do prevádzky.
  • Upozornenie: Konkrétne záručné podmienky a podporné služby sa môžu líšiť v závislosti od produktu a regiónu. Presné podrobnosti nájdete v oficiálnych informáciách. V prípade ďalších otázok kontaktujte: router-switch.com.

Viac riešení

GPU Cluster Networking Solutions for AI Scale-Out

Riešenia sieťových klastrov GPU pre škálovanie AI

Navrhnite vysokovýkonné ethernetové štruktúry pre klastre AI GPU so škálovateľnou topológiou, prepínaním s nízkou latenciou a architektúrou pripravenou na nasadenie.

Sieť klastrov AI GPU
Lossless Ethernet for AI & HPC Networks

Bezstratový Ethernet pre siete AI a HPC

Vytvárajte bezstratové ethernetové štruktúry pre umelú inteligenciu a vysokovýkonné výpočty s návrhom pripraveným na RoCE, pokynmi pre riadenie preťaženia a škálovateľným plánovaním siete s nízkou latenciou.

Bezstratový Ethernet
Ethernet vs InfiniBand for AI & HPC Networks

Ethernet vs. InfiniBand pre siete AI a HPC

Zamerané porovnanie Ethernetu a InfiniBandu pre AI/HPC siete – latencia, škálovanie, RDMA a kompromisy v oblasti nákladov.

Siete umelej inteligencie a vysokovýkonných výpočtov
Prihlásiť sa
Registrácia