Milyen berendezésekre van szükség egy RoCE hálózathoz? Hálózati kártyák, kapcsolók, kábelek és anyagjegyzék ellenőrzőlista

Kövesse velünk:
Gyors felvétel
Egy éles RoCE hálózathoz RDMA-képes szerveradapterekre, RoCE-t támogató kapcsolókra, kompatibilis optikákra vagy kábelekre, hosztillesztőprogramokra, kapcsoló QoS-konfigurációjára és külön felügyeleti útvonalra van szükség. A kapcsolat sebessége önmagában nem elég; a PFC-t, az ECN-t, a puffereket, az FEC-t, a breakout módot és a végpontok közötti forgalomosztályozást is ellenőrizni kell.

A RoCE egy végponttól végpontig terjedő hálózati kialakítás. Egy nagysebességű Ethernet portokkal rendelkező switch megvásárlása nem hoz létre automatikusan érvényesített RoCE hálózatot. A hálózati kártyának, a switchnek, a kábelnek, az optikai modulnak, az operációs rendszernek, az illesztőprogramnak és a QoS konfigurációnak együtt kell működnie.

1. Mire van valójában szüksége egy RoCE hálózatnak?
  • A hardver- és szoftverkomponensek egy teljes RoCE telepítésben
2. Kezdje a hálózati szerepkörrel
  • Hogyan befolyásolják a szerverhozzáférés, a levél-, a gerinc- és a tárolási szerepkörök a darabjegyzéket?
3. RDMA hálózati kártyák és RoCE-képes kapcsolók
  • ConnectX adapter kiválasztása és kapcsolóképesség-ellenőrzések
4. PFC, ECN, pufferek és QoS
  • A torlódásszabályozási követelmények egy kiszámítható RoCE hálózathoz
5. Kábelek, optika, elosztó és FEC
  • Hogyan lehet összehangolni a DAC-ot, az AOC-t, az optikát, a távolságot, a sebességet és a kódolást?
6. Gazdagép szoftver és infrastruktúra
  • Illesztőprogramok, firmware, NOS, felügyelet, tápellátás és rackkövetelmények
7. RoCE anyagjegyzék és árajánlatkérés ellenőrzőlista
  • Anyagjegyzék példák, beszerzési információk és gyakran ismételt kérdések
8. Végső következtetés
  • A kompatibilis RoCE anyagjegyzék elkészítéséhez szükséges minimális információk

Mire van valójában szüksége egy RoCE hálózatnak?

Egy éles RoCE hálózat általában RDMA-képes szerveradaptereket, RoCE-képes kapcsolókat, kompatibilis optikákat vagy kábeleket, host-illesztőprogramokat, kapcsoló QoS-konfigurációját és egy különálló felügyeleti útvonalat tartalmaz.

Kategória Kötelező elem Fő kiválasztási kritériumok
Kiszámít GPU vagy szerver csomópontok PCIe bővítőhelyek, GPU topológia, operációs rendszer
RDMA-kapcsolat ConnectX vagy más támogatott RDMA hálózati kártya Port sebesség, portok száma, PCIe generáció, firmware
Hálózati szövet Spectrum vagy más RoCE-képes kapcsoló PFC, ECN, pufferek, QoS és breakout támogatás
összeköttetések DAC, AOC vagy optikai adó-vevők Sebesség, távolság, csatlakozó, FEC és kódolás
Gazdagép szoftver RDMA illesztőprogramok és segédprogramok Operációs rendszer, illesztőprogram verziója és hálózati kártya firmware-je
Szoftverváltás Cumulus Linux, Onyx, SONiC vagy más validált NOS Hardvertámogatás, funkciótámogatás és szerződéses
Infrastruktúra Felügyeleti, rack-, tápegység- és hűtőberendezések Redundancia tápellátás, mélység, légáramlás és kábeltávolság

A pontos anyagjegyzék attól függ, hogy a hálózatot GPU-GPU kommunikációra, elosztott tárolásra, HPC-re, adatbázis-forgalomra vagy vegyes adatközponti hálózatra építik-e.

RoCE hálózati anyagmeghatározási rendszert tervez?

Küldd el a szervereid számát, a hálózati kártya modelljét, a célsebességet, a kábelhosszt és a switch követelményeit.

Kezdje a hálózati szerepkörrel

Mielőtt kiválasztana egy kapcsolót, határozza meg, hogy szerveroldali levélként, nagy sűrűségű levélként, gerincként, tárolóhálózati kapcsolóként, dedikált GPU-fürt kapcsolóként vagy vegyes vállalati és RoCE kapcsolóként fog-e működni.

Egy kis szerverracknek sok 25 GbE kapcsolatra és csak néhány 100 GbE feltöltés szükséges lehet. Egy GPU-hálózatnak többnyire 100 GbE, 200 GbE vagy 400 GbE kapcsolatokra lehet szüksége. Ezek különböző anyagjegyzékek (BOM-ok), még akkor is, ha mindkettőt RoCE hálózatként írják le.

Spektrum platformok példái

Egy kompakt 25 GbE hozzáférési kialakítás használhatja a MSN2010-CB2RC, amely natív SFP28 hozzáférési portokat biztosít a QSFP28 feltöltésekkel együtt.

Egy QSFP28 alapú levélterv használhatja a MSN2100-CB2F, ahol a kiosztások tervezése fontossá válik, ha 25 GbE szerverkapcsolatokra van szükség.

Egy nagyobb sűrűségű szövet használhatja a MSN2700-CS2R, nagyobb számú QSFP28 porttal 40/50/100GbE kapcsolatokhoz vagy támogatott breakout konfigurációkhoz.

Ezek platformpéldák, nem általános ajánlások. A végső döntés a portok számától, a túljelentkezéstől, a rack kialakításától, az optikától és a cél NOS-tól függ.

RDMA hálózati kártyák és RoCE-képes kapcsolók

RDMA NIC kiválasztása

A szerveradapter az egyik legfontosabb összetevő egy RoCE telepítésben. Egy megfelelő RDMA hálózati kártyát ellenőrizni kell a RoCEv2 támogatás, a portsebesség, a portszám, a PCIe generálás, a firmware, az illesztőprogram-kompatibilitás, a PFC, az ECN, valamint az esetleges GPU Direct vagy storage-fabric követelmények szempontjából.

Az NVIDIA ConnectX adaptereket gyakran használják RoCE környezetekben, de a pontos ConnectX generáció és OPN továbbra is számít. Egy kétportos 25GbE SFP28 adapter eltérő kábel- és kapcsolóport-igényt támaszt egy egyportos 400GbE OSFP adapterhez képest.

  • NIC modell és OPN
  • Portok száma és portsebesség
  • Csatlakozó típusa
  • PCIe bővítőhely követelményei
  • Firmware verzió
  • RDMA illesztőprogram-csomag
  • GPU Direct vagy tárolóintegrációs követelmények

RoCE-képes kapcsolókövetelmények

Egy RoCE-hez használt kapcsolót a forgalomkezelési képességei alapján kell értékelni, nem csak a maximális portsebessége alapján.

  • Elsőbbségi áramlásszabályozás
  • Kifejezett értesítés a torlódásról
  • Veszteségmentes vagy veszteségtudatos sorprofilok
  • Megfelelő csomagpufferelés
  • DSCP vagy 802.1p forgalomosztályozás
  • Torlódási értesítések kezelése
  • Szükséges FEC módok
  • Port kibontás támogatása
  • Validált NOS és szoftververzió

Egy általános célú Ethernet kapcsoló továbbíthatja a RoCE csomagokat, de ez nem jelenti azt, hogy validált vagy kiszámítható RoCE hálózatot biztosít.

PFC, ECN, pufferek és QoS

Elsőbbségi áramlásszabályozás

A PFC a teljes kapcsolat leállítása helyett szünetelteti a kiválasztott forgalmi prioritásokat. Ez lehetővé teszi a RoCE forgalom veszteségmentes kezelését, miközben más forgalmi osztályok továbbra is használják a kapcsolatot.

Veszteségmentes RoCE profilhoz a PFC-t következetesen kell megtervezni a forgalmi útvonalon található gazdagép hálózati kártyáján, levélkapcsolóin, gerinckapcsolóin, tárolási végpontjain és távoli szerveradapterein.

  • Rendeljen RoCE forgalmat egy meghatározott prioritáshoz vagy forgalmi osztályhoz.
  • Konfigurálja ugyanazt a prioritási leképezést a gazdagépen és a kapcsolókon.
  • Ne engedélyezze a PFC-t minden prioritáson forgalmi osztálytervezés nélkül.
  • A szüneteltetett keretek és a várakozási sor viselkedésének figyelése a telepítés után.

A helytelen PFC-konfiguráció PFC-szünetviharokat, vonalvégi blokkolást, torlódás terjedését és instabil alkalmazáskésleltetést eredményezhet.

Kifejezett értesítés a torlódásról

Az ECN végponttól végpontig terjedő torlódási jelzést biztosít a RoCEv2 számára. A kapcsoló megjelöli a csomagokat, amikor a sorok elérik a konfigurált küszöbértéket, és a fogadó gazdagép részt vesz a torlódási válaszban.

  • RoCE forgalmi osztályozás
  • ECN-képes host hálózati kártyák
  • Kapcsolójelölő küszöbértékek
  • Gazdagép NIC torlódási válasz
  • CNP-kezelés
  • Konzisztens DSCP vagy prioritási leképezés

Puffer és ASIC különbségek

Az RoCE konfiguráció nem hordozható automatikusan a kapcsoló ASIC generációi között. Egy validált profilnak illeszkednie kell a kapcsoló ASIC-jéhez, NOS verziójához és telepítési topológiájához.

Az NVIDIA Ethernet Storage Fabrics útmutatója a Spectrum-alapú telepítések RoCE-vel kapcsolatos puffer-, sor-, PFC- és ECN-megfontolásait tárgyalja. A konfigurációt éles környezetben történő alkalmazás előtt tesztelni kell.

Kábelek, optika, elosztó és FEC

DAC és AOC

A DAC-ot általában rövid, racken belüli vagy szomszédos rackek közötti csatlakozásokhoz használják. Az AOC akkor lehet megfelelő, ha a távolság nagyobb, mint egy praktikus DAC-hossz, de nem igényel külön optikai modulokat.

Ellenőrizd minden DAC vagy AOC sebességét, csatlakozóját, hosszát, hajlítási sugarát, FEC-jét, energiafogyasztását, valamint a kapcsoló- és hálózati kártya-támogatást.

optikai adó

Hosszabb kapcsolatok esetén a darabjegyzéknek meg kell határoznia a formátumot, a sebességet, a hullámhosszt, az egymódusú vagy többmódusú szálat, a csatlakozó típusát, az elérési utat, az FEC-követelményt, a hőmérséklet-tartományt, a DOM-támogatást, valamint a kapcsoló és a hálózati kártya kompatibilitását.

Breakout kábelek

A breakout mód megváltoztatja a portszám kiszámítását. Egy 100GbE QSFP28 port négy 25GbE kapcsolattá válhat, míg más platformok támogathatják a 200GbE vagy 400GbE breakout módokat.

A darabjegyzéknek (BOM) meg kell határoznia a szülőportot és az egyes elosztósávokat. Ne számoljon egy elosztóportot négy használható interfészként, amíg a pontos kapcsolót, kábelt, NOS-t és portmódot nem ellenőrizték.

FEC és linkkódolás

Két eszköz rendelkezhet azonos névleges sebességgel és csatlakozóval, de FEC vagy kódolási különbségek miatt mégsem tudnak stabil kapcsolatot létrehozni.

  • Támogatott FEC módok
  • Alapértelmezett FEC-viselkedés
  • Manuális vagy automatikus FEC konfiguráció
  • NIC-kapcsoló FEC kompatibilitás
  • Kitörési sáv FEC-követelmények
  • Optikára vonatkozó kódolási követelmények

Az FEC-nek a hivatkozási munkalap részének kell lennie, nem pedig a telepítés során felfedezett problémának.

Gazdagép szoftver és infrastruktúra

Gazdagép szoftver

  • Operációs rendszer
  • RDMA illesztőprogram-csomag
  • NIC firmware
  • RDMA segédprogramok
  • PFC és ECN konfiguráció
  • DSCP vagy prioritási leképezés
  • GPU Direct vagy tárhellyel kapcsolatos illesztőprogramok

Kapcsolószoftver

  • NOS név és verzió
  • ASIC-támogatás kapcsoló
  • RoCE profil
  • PFC és ECN konfigurációs módszer
  • Pufferprofil
  • Breakdown szintaxis
  • Frissítési és visszaállítási eljárás
  • Szoftvertámogatási szerződés

Felügyeleti és rack infrastruktúra

Egy éles RoCE hálózatnak, ahol csak lehetséges, független felügyeleti útvonalat kell tartalmaznia. Ez lehetővé teszi a mérnökök számára, hogy elérjék a switchet és a szervereket az adatsík torlódása vagy a QoS hibaelhárítása során.

  • Sávon kívüli felügyeleti kapcsoló
  • Konzol hozzáférés
  • Felügyeleti VLAN vagy felügyeleti hálózat
  • Megfigyelő-rendszer
  • NTP és DNS
  • Konfiguráció biztonsági mentése
  • Rack áramelosztás
  • Redundáns tápellátások
  • Légáramlás-kompatibilis kapcsoló- és tápegység-változatok
  • Kábelrendező tartozékok
  • Tartalék optikák és kábelek

RoCE anyagjegyzék és árajánlatkérés ellenőrzőlista

Példa anyagjegyzék telepítési típus szerint

bevetés Gazdakapcsolat Szerepváltás Tipikus összeköttetés Fő tervezési probléma
25 GbE szerver rack 25GbE SFP28 RDMA hálózati kártyák Levél vagy polc tetején SFP28 DAC, AOC vagy optika Natív SFP28 portok száma és 100GbE feltöltés
100 GbE GPU-hálózat 100GbE QSFP28 hálózati kártyák Levélgerincű szövet 100GbE DAC, AOC vagy optika PFC, ECN, túljegyzés és pufferek
200GbE vagy 400GbE mesterséges intelligencia hálózat 200/400GbE RDMA adapterek Nagy sebességű levél vagy gerinc QSFP56, QSFP112 vagy OSFP kábelek FEC, breakout, tápellátás és platformtámogatás
RoCE tárolóhálózat RDMA hálózati kártyák vagy tárolóadapterek Dedikált vagy konvergált szövet Sebességtől és távolságtól függően Forgalomelválasztás és torlódásszabályozás
Vegyes vállalati és RoCE hálózat RDMA hálózati kártyák és szabványos Ethernet-gazdagépek Megosztott adatközponti hálózat Vegyes optikai és réz kapcsolatok Sorelválasztás és PFC hatókör

RoCE árajánlatkérésben feltüntetendő információk

  1. Szerverek vagy GPU-csomópontok száma
  2. RDMA NIC modell és mennyiség
  3. Szükséges gazdagép oldali portsebesség
  4. Szükséges kapcsolóport sebesség
  5. Levél- és tövkapcsolók száma
  6. Kívánt túljegyzési arány
  7. RoCEv1 vagy RoCEv2 követelmény
  8. GPUDirect, tároló vagy HPC alkalmazás
  9. Állványok közötti távolságok
  10. DAC, AOC vagy optikai preferencia
  11. Száloptikai szálak típusa és csatlakozókövetelmények
  12. FEC-követelmények
  13. PFC és ECN követelmények
  14. NOS preferencia
  15. Rackmélység, légáramlás és energiaigény
  16. Szükséges tartalék optikák és kábelek

Gyakran ismételt kérdések

Q1 Szükségem van ConnectX hálózati kártyára a RoCE-hez?
Szüksége van egy RDMA-képes hálózati adapterre, amely támogatja a szükséges RoCE funkciókat. A ConnectX adapterek gyakori választásnak számítanak, de a pontos modellt, a port sebességét, a firmware-t és az illesztőprogramot továbbra is ellenőrizni kell.
Q2 Bármelyik 100GbE switch futtathatja a RoCE-t?
Nem. A switchet ellenőrizni kell PFC, ECN, pufferelés, QoS besorolás, FEC és validált NOS konfiguráció szempontjából. A nagy portsebesség önmagában nem igazolja a RoCE támogatást.
Q3 A RoCE mindig PFC-t igényel?
A pontos kialakítás az RoCE verziójától és a torlódásvezérlési profiltól függ. A veszteségmentes RoCE telepítések általában PFC-t használnak, míg a RoCEv2 az ECN-t is használja a végpontok közötti torlódásjelzéshez. A gazdagépet és az útvonal minden kapcsolóját konzisztensen kell konfigurálni.
Q4 A PFC-t és az ECN-t konfigurálni kell a szerver hálózati kártyáján?
Igen. A RoCE egy teljes körű kialakítás. A PFC vagy az ECN konfigurálása csak a switchen nem garantálja a gazdagép megfelelő viselkedését.
Q5 Használhatók hagyományos Ethernet kábelek RoCE-hez?
Csak akkor, ha a kábeltípus, a csatlakozó, a sebesség, a távolság, a kódolás, az FEC és az eszköztámogatás kompatibilis. A kábelt a hálózati kártya és a kapcsoló közötti kapcsolatterv részeként kell kiválasztani.
Q6 Egyetlen 100 GbE port négy 25 GbE szerverhez csatlakoztatható?
Esetleg, ha a pontos kapcsolóport, elosztókábel, NOS, hálózati kártya interfészek és portmód támogatja ezt a konfigurációt. A szülőportot és az összes elosztósávot dokumentálni kell a darabjegyzékben.
Q7 Alkalmas-e a RoCE vegyes vállalati hálózatokhoz?
Lehetséges, de a forgalmi osztályokat gondosan kell megtervezni. Az RoCE, a menedzsment, a tárolás és a hagyományos Ethernet forgalom nem versenyezhet egyértelmű sor-, prioritás- és torlódási szabályzatok nélkül.

Végső elvihető

Egy teljes RoCE hálózati BOM általában tartalmaz RDMA-képes szerver- vagy GPU-hálózati kártyákat, RoCE-képes kapcsolókat, DAC-okat, AOC-kat vagy optikai adó-vevőket, host-illesztőprogramokat, egy támogatott kapcsoló NOS-t, PFC és ECN konfigurációt, felügyeleti hálózatkezelést, valamint rack-, táp-, hűtés- és kábelkezelő komponenseket.

A BOM összeállításának legbiztonságosabb módja, ha az alkalmazásból és a forgalmi mintából indulunk ki, majd a hálózati kártyát, a kapcsolót, a kábelt, az optikát, a szoftvert és a támogatási modellt egyetlen rendszerré illesztjük.

A berendezéslista véglegesítése előtt küldd el a szerverek számát, az RDMA NIC modelljét, a célsebességet, a switch preferenciáját, a kábelhosszt és az RoCE-követelményeket.