• Úvod
  • Sprievodca plánom
  • Odporúčaný produkt
  • Porovnanie

Čo je bezstratový Ethernet pre umelú inteligenciu a vysokovýkonné výpočty (HPC)?

Čo
  • Bezstratový Ethernet je vysokovýkonná ethernetová architektúra navrhnutá tak, aby poskytovala predvídateľný prenos dát bez straty, vďaka čomu je nevyhnutná pre klastre pre tréning umelej inteligencie a pracovné zaťaženia HPC, kde mikrobursty a prechodné preťaženie môžu rýchlo ochromiť výkon GPU a aplikácií.

    Moderná prevádzka umelej inteligencie a HPC je vysoko synchrónna, nárazová a citlivá na latenciu. Keď si grafické procesory vymieňajú gradienty alebo sa synchronizujú úlohy MPI, aj malá strata paketov môže spustiť opakované prenosy, zastavenie kanála a akcelerátory nečinnosti. Tradičný Ethernet s najlepším úsilím toleruje výpadky a spolieha sa na obnovu po udalosti; pracovné zaťaženia umelej inteligencie a HPC nie. Tým, že zabraňuje strate paketov pri preťažení a udržiava deterministický tok údajov, bezstratový Ethernet udržiava distribuované pracovné zaťaženia zosúladené a grafické procesory konzistentne využívané vo veľkom meradle.

Navrhovanie bezstratového Ethernetu pre AI a HPC Fabrics

Preskúmajte, ako navrhnúť bezstratové ethernetové siete založené na RoCEv2 pre trénovanie umelej inteligencie, inferenciu a klastre HPC so zameraním na PFC, ECN, QoS a návrh typu leaf-spine s cieľom dosiahnuť deterministickú latenciu a výkon s nulovými stratami vo veľkom meradle.

Projektovanie
  • Kľúčové požiadavky na bezstratové tkaniny RoCEv2

    Bezstratový Ethernet pre AI a HPC začína jasným pochopením pracovnej záťaže a vzorcov prevádzky vrátane tokov východ-západ všetkých GPU, prístupu k úložisku a riadiacej prevádzky. Architekti musia pred výberom hardvéru definovať ciele latencie a priepustnosti, pomery prekročenia predplatného a domény zlyhania. Medzi kľúčové základné funkcie patrí podpora pre RoCEv2, riadenie toku na základe priorít (PFC), ECN/RED, hierarchická QoS a hlboké vyrovnávacie pamäte dimenzované na absorpciu mikroburstov. Dobre naplánovaná topológia leaf-spine s konzistentnou MTU, deterministickým počtom skokov a neblokujúcimi alebo nízko prekročenými prepojeniami je nevyhnutná pre udržanie stability a predvídateľnosti tréningových úloh.

    Definujte si požiadavky na látku
Projektovanie
  • Konfigurácia PFC, ECN a QoS pre bezstratový prenos

    Po definovaní požiadaviek je ďalším krokom ich preloženie do konzistentných politík štruktúry. Inžinieri musia namapovať prevádzku RoCEv2 na vyhradené bezstratové triedy a povoliť PFC iba na špecifických prioritách, aby sa zabránilo blokovaniu na úrovni začiatočníkov. ECN musí byť nakonfigurovaná od začiatku do konca vrátane prahových hodnôt označovania prepínačov a odozvy na preťaženie hostiteľa, aby sa predišlo nadmerným búrkam s prerušením. Politiky QoS by mali oddeliť prevádzku úložiska, správy a GPU s vhodným plánovaním a ukladaním do vyrovnávacej pamäte. Štandardizované šablóny, prísne testovanie so syntetickou prevádzkou GPU a telemetria pre udalosti PFC/ECN sú kľúčové pre overenie konfigurácie pred zavedením produkčných pracovných záťaží AI a HPC.

    Získajte pomoc s návrhom PFC a ECN

Bezstratový Ethernet pre prepínanie s umelou inteligenciou a HPC

Vytvorte bezstratové ethernetové siete RoCEv2 s prepínačmi pre dátové centrá s nízkou latenciou, PFC/ECN a konektivitou pripravenou na GPU pre umelú inteligenciu a HPC

Tkanina s vysokou hustotou 25/100G

Škálovanie klastrov typu leaf-spine s portami od 25 G do 100 G pre rast prevádzky GPU a úložiska

Deterministická nízka latencia

Presmerovanie optimalizované pre RoCEv2 s mikrosekundovou latenciou pre trénovanie AI a úlohy HPC

Bezstratová inteligencia PFC/ECN

Prepínače s PFC, ECN a pokročilým QoS pre elimináciu straty paketov pri preťažení

Bezstratový Ethernet vs. InfiniBand pre AI a HPC Fabrics

Porovnajte bezstratový Ethernet RoCEv2 a InfiniBand a vyberte optimálnu sieťovú štruktúru s nízkou latenciou pre trénovanie umelej inteligencie, inferenciu a klastre HPC akcelerované GPU.

AspektLátky InfiniBand
Bezstratový Ethernet (RoCEv2)
Výsledok pre vás
Latencia a jitterUltranízka latencia s veľmi malým jitterom, ale vyžaduje si vyhradenú IB fabricLatencia na úrovni mikrosekund s deterministickým správaním pomocou PFC/ECNPredvídateľné časy dokončenia úloh GPU bez nutnosti udržiavania samostatnej IB siete
Priepustnosť a škálovateľnosťVysoká priepustnosť, ale veľké klastre môžu vyžadovať zložité viackoľajnicové konštrukcieŠkáluje leaf-spine na desiatky tisíc GPU na 25/100G EthernetRozvíjajte klastre AI/HPC pomocou známych topológií a nástrojov DC Ethernetu
Ekosystém a výber dodávateľaÚzko prepojené s niekoľkými dodávateľmi s obmedzenou diverzitou prepínačov a sieťových karietŠiroký ekosystém zahŕňajúci spoločnosti Cisco, HPE Aruba, Juniper, Huawei a hlavné sieťové kartyVyhnite sa závislosti od konkrétneho dodávateľa, vyjednávajte lepšie ceny a kombinujte tie najlepšie platformy vo svojom odvetví.
Prevádzková zložitosťOddeľte IB fabric, nástroje a zručnosti od vášho ethernetového dátového centraZjednotené operácie s využitím existujúceho monitorovania, automatizácie a zručností EthernetuNižšie prevádzkové náklady a rýchlejšie riešenie problémov s jedným konvergovaným sieťovým zásobníkom
Ochrana nákladov a investíciíŠpecializovaný hardvér a káble môžu viesť k vyšším celkovým nákladom na vlastníctvo (TCO) a nákladom na modernizáciu.Využíva štandardné DC prepínače, optiku, DAC/AOC a kabelážZnížte kapitálové výdavky opätovným použitím optiky a káblov v rámci AI a všeobecných pracovných úloh
Flexibilita pracovnej záťažeOptimalizované pre úzko prepojené HPC; menej vhodné pre zmiešanú podnikovú prevádzkuPodporuje trénovanie, inferenciu, úložisko a prevádzku nájomníkov umelej inteligencie v jednej infraštruktúreSpúšťajte cloudové, úložné a GPU klastre s viacerými nájomníkmi cez rovnaký bezstratový Ethernet
Pripravenosť na budúcnosťCesty k aktualizácii závisia od plánu IB a môžu zaostávať za mainstreamovým Ethernetom.Sleduje rýchly vývoj rýchlosti Ethernetu a otvorené štandardy RoCEv2Zostaňte v súlade s plánmi 100G+ a zároveň dodržujte štandardy pre tkaniny

Potrebujete pomoc? Technickí experti sú k dispozícii.

  • +1-626-655-0998 (USA)
    UTC 15:00-00:00
  • +852-2592-5389 (Hoongkong)
    UTC 00:00-09:00
  • +852-2592-5411 (Hoongkong)
    UTC 06:00-15:00
Potrebujete pomoc? Technickí experti sú k dispozícii.

Ideálne prípady použitia bezstratového Ethernetu

Kde bezstratové ethernetové tkaniny od spoločností Cisco, Aruba, Juniper, Fortinet a Huawei s podporou RoCEv2 odomykajú maximálne využitie GPU, predvídateľnú latenciu a škálovateľný výkon AI/HPC:

Klastre pre školenia umelej inteligencie

Klastre pre školenia umelej inteligencie

  • Bezstratové ethernetové štruktúry založené na protokole RoCEv2, postavené na prepínačoch Cisco Nexus, Aruba CX, Juniper QFX/EX a Huawei CloudEngine, prepájajú rozsiahle klastre GPU pre základné modely a školenia LLM. Porty s vysokou hustotou 25/100G, presmerovanie s nízkou latenciou a PFC/ECN zabraňujú stratám v dôsledku preťaženia a poskytujú deterministické dokončenie úloh pre viacrackové AI pody.
填写大场景标题.webp

Inferencia v reálnom čase

  • Tkaniny typu leaf-spine využívajúce bezstratové ethernetové prepínače 10/25/100G a nízkolatenciové DAC/AOC linky poskytujú predvídateľné oneskorenie na úrovni mikrosekúnd pre online inferenciu, personalizáciu, vyhľadávanie a odporúčacie nástroje. QoS, PFC a ECN chránia prevádzku GPU citlivú na latenciu pred hlučnými susedmi, čím zabezpečujú stabilné SLA naprieč viacerými nájomnými službami AI a edge gateway.
Simulácie HPC

Simulácie HPC

  • Klastre HPC s akceleráciou GPU pre CFD, seizmické spracovanie, genomiku a analýzu rizík využívajú Ethernet optimalizovaný pre RoCEv2 na nahradenie alebo doplnenie InfiniBand. Vysokokapacitné 40/100G spojenia, presmerovanie cez cut-through a starostlivo vyladené PFC/ECN znižujú chvenie spôsobené preťažením, zatiaľ čo kompatibilná optika a káble udržiavajú latenciu prepojenia a náklady pod kontrolou vo veľkom meradle.
Spravované cloudy s umelou inteligenciou

Spravované cloudy s umelou inteligenciou

  • Poskytovatelia spravovaných služieb (MSP) a cloudoví poskytovatelia nasadzujú bezstratové ethernetové siete pre viacerých klientov na hosťovanie HPC služieb AI a GPU pre podnikových zákazníkov. Optika overená dodávateľom, prepínače správy DAC/AOC a OOB zjednodušujú operácie životného cyklu, zatiaľ čo pokročilá kvalita služieb (QoS) a telemetria udržiavajú výkonnú prevádzku RoCEv2 naprieč zdieľanými doménami typu leaf-spine a hybridnými architektúrami AI medzi DC.

Často kladené otázky

Čo je to bezstratová ethernetová štruktúra pre AI a HPC a prečo potrebujem RoCEv2, PFC a ECN?

Bezstratová ethernetová štruktúra je sieť dátového centra navrhnutá tak, aby zabránila strate paketov pri preťažení, čo je kľúčové pre klastre GPU, trénovanie umelej inteligencie, inferenciu a pracovné zaťaženie HPC. Použitie RoCEv2 (RDMA cez konvergovaný Ethernet v2) cez prepínače, ktoré podporujú riadenie prioritného toku (PFC) a explicitné upozornenie na preťaženie (ECN), umožňuje prevádzke RDMA obísť zásobník TCP/IP, čím sa dosahuje deterministicky nízka latencia a vysoká priepustnosť podobná InfiniBand, pričom sa spúšťa na štandardných ethernetových prepínačoch, optike a kábloch od dodávateľov, ako sú Cisco Nexus, HPE Aruba CX, Juniper QFX/EX a Huawei CloudEngine.

Ako si môžem vybrať medzi bezstratovým Ethernetom založeným na RoCEv2 a InfiniBandom pre môj klaster s umelou inteligenciou alebo grafickými procesormi?

  • Porovnanie výkonu a ekosystému: InfiniBand môže v malom meradle ponúkať o niečo nižšiu latenciu, zatiaľ čo RoCEv2 na bezstratovom Ethernete poskytuje vynikajúcu latenciu/priepustnosť so širším výberom dodávateľov (Cisco, Aruba, Juniper, Huawei) a jednoduchšou integráciou s existujúcimi sieťami dátových centier.
  • Zvážte škálovateľnosť a prevádzku: Ethernetové štruktúry RoCEv2 typu leaf-spine sa bezproblémovo škálujú pomocou známych nástrojov, monitorovania a automatizácie, čo vám umožňuje konsolidovať umelú inteligenciu, úložisko a všeobecné pracovné zaťaženie v jednej konvergovanej sieti namiesto prevádzkovania samostatnej štruktúry InfiniBand.

Sú moje existujúce optické a DAC/AOC káble kompatibilné s vaším bezstratovým ethernetovým riešením pre AI a HPC?

Kompatibilita závisí od platformy prepínačov, rýchlosti portov a kódovania transceivera/kábla, ale vo väčšine prípadov vieme poskytnúť štandardizované optické moduly 10G/25G/40G/100G a káble DAC/AOC, ktoré sú plne interoperabilné s prepínačmi Cisco Nexus, HPE Aruba, Juniper QFX/EX a Huawei CloudEngine v prostrediach RoCEv2.
    Kľúčové aspekty kompatibility
  • Zhoda tvarového faktora a rýchlosti: Uistite sa, že moduly QSFP+/QSFP28/SFP+/SFP28 a káble DAC/AOC sú dimenzované na cieľové rýchlosti (10/25/40/100G) a vzdialenosti používané v rackoch GPU a chrbticových pripojeniach.
  • Skontrolujte kódovanie dodávateľa a interoperabilitu: Používajte optiku a káble kódované pre vaše cieľové platformy alebo overené ako kompatibilné s viacerými dodávateľmi, aby ste predišli problémom s pripojením alebo varovným hláseniam na prepínačoch Cisco, Aruba, Juniper a Huawei.
    Ako router-switch.com môže pomôcť
  • Ponúkame vopred overené optické vysielače a prijímače a káble DAC/AOC s nízkou latenciou pre bežné topológie AI a HPC (dizajny leaf-spine, super-spine a GPU pod), čím znižujeme riziko počas nasadenia.
  • Podeľte sa o svoje modely prepínačov, plánovanú topológiu a vzdialenosti káblov a náš tím vám môže odporučiť plne kompatibilný kusovník (BOM) pre optické moduly, DAC/AOC a riadiace prepínače na podporu bezstratových štruktúr RoCEv2.

Ktoré funkcie prepínača sú kľúčové pre vybudovanie stabilnej bezstratovej ethernetovej štruktúry RoCEv2 pre trénovanie umelej inteligencie?

Pre trénovacie klastre umelej inteligencie využívajúce RoCEv2 patria medzi kritické funkcie prepínačov hardvérová podpora pre riadenie prioritného toku (PFC), explicitné upozornenie na preťaženie (ECN), premosťovanie dátových centier (DCB), hlboké vyrovnávacie pamäte, architektúry prerušenia s nízkou latenciou alebo inteligentného vyrovnávania a bohaté profily QoS na izoláciu tried prevádzky RDMA. Platformy ako Cisco Nexus, Aruba CX, Juniper QFX/EX a Huawei CloudEngine kombinujú tieto funkcie s vysokohustotnými portami 25G/100G a automatizačnými API, čo vám umožňuje vytvárať škálovateľné, deterministické štruktúry typu leaf-spine pre pracovné zaťaženia akcelerované GPU.

Môžem kombinovať dodávateľov (Cisco, Aruba, Juniper, Huawei) v rovnakej bezstratovej ethernetovej štruktúre AI a HPC?

Áno, mnoho zákazníkov nasadzuje viacdodávateľské siete RoCEv2 za predpokladu, že správanie PFC/ECN, politiky QoS a konfigurácie vyrovnávacej pamäte sú starostlivo zosúladené na všetkých prepínačoch. RoCEv2 je založený na štandardnom Ethernete a IP, takže je možná interoperabilita; každý dodávateľ však môže implementovať ladenie riadenia preťaženia a funkcie DCB odlišne. Router-switch.com vám môže pomôcť s výberom interoperabilných modelov prepínačov, optiky a káblov a poskytnúť osvedčené postupy konfigurácie pre konzistentné bezstratové správanie naprieč zariadeniami Cisco Nexus, Aruba CX, Juniper QFX/EX a Huawei CloudEngine.

Akú záruku a technickú podporu môžem očakávať pre prepínače, optiku a káble v tomto riešení AI a HPC?

Možnosti záruky a podpory závisia od konkrétnych produktov a značiek, ktoré si vyberiete (napr. Cisco, HPE Aruba, Juniper, Fortinet, Huawei), ako aj od vášho regiónu. Zákazníci zvyčajne kombinujú záruku na hardvér pôvodného dodávateľa s voliteľnými servisnými zmluvami a router-switch.com služby s pridanou hodnotou, ako napríklad pomoc s návrhom riešení a plánovanie životného cyklu. Upozornenie: Konkrétne záručné podmienky a podporné služby sa môžu líšiť v závislosti od produktu a regiónu. Presné podrobnosti nájdete v oficiálnych informáciách. V prípade ďalších otázok kontaktujte: router-switch.com.

Odporúčané recenzie

Daniel Reynolds

Potrebovali sme predvídateľnú a bezstratovú štruktúru pre rozsiahle trénovanie na GPU bez toho, aby sme prekročili náš rozpočet. Router-switch.com Pomohli nám navrhnúť RoCEv2-ready Leaf-Spine s Nexus a QFX a zodpovedajúcou optikou a DAC prevodníkmi. Výkon a latencia sú solídne a ich spoľahlivosť zdrojov a rýchla logistika nám pomohli s oveľa plynulejším zavádzaním, než sa očakávalo.

Emily Tan

Naše tímy pre umelú inteligenciu a úložiská mali problémy s preťažením a mikroburstmi v rámci zmiešaných pracovných zaťažení. Router-switch.com navrhla bezstratový ethernetový stack s Aruba CX a Huawei CloudEngine plus certifikovanou optikou 25G/100G. Výsledkom je stabilné správanie PFC/ECN, jednoduchšie plánovanie kapacity a vynikajúca predpredajná a popredajná technická podpora.

Omar Al-Mansouri

Ako poskytovateľ spravovaných služieb (MSP), ktorý buduje zdieľané klastre umelej inteligencie, sme potrebovali deterministickú latenciu, možnosti prepínania medzi rôznymi dodávateľmi a prísnu kontrolu nákladov. Router-switch.com dodali kompletné riešenie – prepínače, optiku a DAC od značiek Cisco, Juniper a Huawei – plne validované pre RoCEv2. Ich návrhové poradenstvo a transparentnosť cien počas životného cyklu sú teraz kľúčovou súčasťou nášho plánovania.

Viac riešení

Ethernet vs InfiniBand for AI & HPC Networks

Ethernet vs. InfiniBand pre siete AI a HPC

Zamerané porovnanie Ethernetu a InfiniBandu pre AI/HPC siete – latencia, škálovanie, RDMA a kompromisy v oblasti nákladov.

Siete umelej inteligencie a vysokovýkonných výpočtov
Copper vs Fiber vs DAC/AOC Interconnects Guide

Sprievodca prepojeniami medené vs. optické vs. DAC/AOC

Kompletné porovnanie medených, optických, DAC a AOC – latencia, dosah, náklady a vhodnosť nasadenia 10G/25G/100G/400G.

Káble a vysielače/prijímače
Beyond Bandwidth: The 100G+ Data Center Architecture

Viac než len šírka pásma: Architektúra dátového centra s kapacitou 100 Gb/s

Nevyhnutný 100G základ – rast pripravený na umelú inteligenciu, výkon s nulovou latenciou

Dátové centrum