A RoCE egy végponttól végpontig terjedő hálózati kialakítás. Egy nagysebességű Ethernet portokkal rendelkező switch megvásárlása nem hoz létre automatikusan érvényesített RoCE hálózatot. A hálózati kártyának, a switchnek, a kábelnek, az optikai modulnak, az operációs rendszernek, az illesztőprogramnak és a QoS konfigurációnak együtt kell működnie.
- Hogyan befolyásolják a szerverhozzáférés, a levél-, a gerinc- és a tárolási szerepkörök a darabjegyzéket?
- ConnectX adapter kiválasztása és kapcsolóképesség-ellenőrzések
- A torlódásszabályozási követelmények egy kiszámítható RoCE hálózathoz
- Hogyan lehet összehangolni a DAC-ot, az AOC-t, az optikát, a távolságot, a sebességet és a kódolást?
- Illesztőprogramok, firmware, NOS, felügyelet, tápellátás és rackkövetelmények
- Anyagjegyzék példák, beszerzési információk és gyakran ismételt kérdések
- A kompatibilis RoCE anyagjegyzék elkészítéséhez szükséges minimális információk
Mire van valójában szüksége egy RoCE hálózatnak?
Egy éles RoCE hálózat általában RDMA-képes szerveradaptereket, RoCE-képes kapcsolókat, kompatibilis optikákat vagy kábeleket, host-illesztőprogramokat, kapcsoló QoS-konfigurációját és egy különálló felügyeleti útvonalat tartalmaz.
| Kategória | Kötelező elem | Fő kiválasztási kritériumok |
|---|---|---|
| Kiszámít | GPU vagy szerver csomópontok | PCIe bővítőhelyek, GPU topológia, operációs rendszer |
| RDMA-kapcsolat | ConnectX vagy más támogatott RDMA hálózati kártya | Port sebesség, portok száma, PCIe generáció, firmware |
| Hálózati szövet | Spectrum vagy más RoCE-képes kapcsoló | PFC, ECN, pufferek, QoS és breakout támogatás |
| összeköttetések | DAC, AOC vagy optikai adó-vevők | Sebesség, távolság, csatlakozó, FEC és kódolás |
| Gazdagép szoftver | RDMA illesztőprogramok és segédprogramok | Operációs rendszer, illesztőprogram verziója és hálózati kártya firmware-je |
| Szoftverváltás | Cumulus Linux, Onyx, SONiC vagy más validált NOS | Hardvertámogatás, funkciótámogatás és szerződéses |
| Infrastruktúra | Felügyeleti, rack-, tápegység- és hűtőberendezések | Redundancia tápellátás, mélység, légáramlás és kábeltávolság |
A pontos anyagjegyzék attól függ, hogy a hálózatot GPU-GPU kommunikációra, elosztott tárolásra, HPC-re, adatbázis-forgalomra vagy vegyes adatközponti hálózatra építik-e.
Küldd el a szervereid számát, a hálózati kártya modelljét, a célsebességet, a kábelhosszt és a switch követelményeit.
Kezdje a hálózati szerepkörrel
Mielőtt kiválasztana egy kapcsolót, határozza meg, hogy szerveroldali levélként, nagy sűrűségű levélként, gerincként, tárolóhálózati kapcsolóként, dedikált GPU-fürt kapcsolóként vagy vegyes vállalati és RoCE kapcsolóként fog-e működni.
Egy kis szerverracknek sok 25 GbE kapcsolatra és csak néhány 100 GbE feltöltés szükséges lehet. Egy GPU-hálózatnak többnyire 100 GbE, 200 GbE vagy 400 GbE kapcsolatokra lehet szüksége. Ezek különböző anyagjegyzékek (BOM-ok), még akkor is, ha mindkettőt RoCE hálózatként írják le.
Spektrum platformok példái
Egy kompakt 25 GbE hozzáférési kialakítás használhatja a MSN2010-CB2RC, amely natív SFP28 hozzáférési portokat biztosít a QSFP28 feltöltésekkel együtt.
Egy QSFP28 alapú levélterv használhatja a MSN2100-CB2F, ahol a kiosztások tervezése fontossá válik, ha 25 GbE szerverkapcsolatokra van szükség.
Egy nagyobb sűrűségű szövet használhatja a MSN2700-CS2R, nagyobb számú QSFP28 porttal 40/50/100GbE kapcsolatokhoz vagy támogatott breakout konfigurációkhoz.
Ezek platformpéldák, nem általános ajánlások. A végső döntés a portok számától, a túljelentkezéstől, a rack kialakításától, az optikától és a cél NOS-tól függ.
RDMA hálózati kártyák és RoCE-képes kapcsolók
RDMA NIC kiválasztása
A szerveradapter az egyik legfontosabb összetevő egy RoCE telepítésben. Egy megfelelő RDMA hálózati kártyát ellenőrizni kell a RoCEv2 támogatás, a portsebesség, a portszám, a PCIe generálás, a firmware, az illesztőprogram-kompatibilitás, a PFC, az ECN, valamint az esetleges GPU Direct vagy storage-fabric követelmények szempontjából.
Az NVIDIA ConnectX adaptereket gyakran használják RoCE környezetekben, de a pontos ConnectX generáció és OPN továbbra is számít. Egy kétportos 25GbE SFP28 adapter eltérő kábel- és kapcsolóport-igényt támaszt egy egyportos 400GbE OSFP adapterhez képest.
- NIC modell és OPN
- Portok száma és portsebesség
- Csatlakozó típusa
- PCIe bővítőhely követelményei
- Firmware verzió
- RDMA illesztőprogram-csomag
- GPU Direct vagy tárolóintegrációs követelmények
RoCE-képes kapcsolókövetelmények
Egy RoCE-hez használt kapcsolót a forgalomkezelési képességei alapján kell értékelni, nem csak a maximális portsebessége alapján.
- Elsőbbségi áramlásszabályozás
- Kifejezett értesítés a torlódásról
- Veszteségmentes vagy veszteségtudatos sorprofilok
- Megfelelő csomagpufferelés
- DSCP vagy 802.1p forgalomosztályozás
- Torlódási értesítések kezelése
- Szükséges FEC módok
- Port kibontás támogatása
- Validált NOS és szoftververzió
Egy általános célú Ethernet kapcsoló továbbíthatja a RoCE csomagokat, de ez nem jelenti azt, hogy validált vagy kiszámítható RoCE hálózatot biztosít.
PFC, ECN, pufferek és QoS
Elsőbbségi áramlásszabályozás
A PFC a teljes kapcsolat leállítása helyett szünetelteti a kiválasztott forgalmi prioritásokat. Ez lehetővé teszi a RoCE forgalom veszteségmentes kezelését, miközben más forgalmi osztályok továbbra is használják a kapcsolatot.
Veszteségmentes RoCE profilhoz a PFC-t következetesen kell megtervezni a forgalmi útvonalon található gazdagép hálózati kártyáján, levélkapcsolóin, gerinckapcsolóin, tárolási végpontjain és távoli szerveradapterein.
- Rendeljen RoCE forgalmat egy meghatározott prioritáshoz vagy forgalmi osztályhoz.
- Konfigurálja ugyanazt a prioritási leképezést a gazdagépen és a kapcsolókon.
- Ne engedélyezze a PFC-t minden prioritáson forgalmi osztálytervezés nélkül.
- A szüneteltetett keretek és a várakozási sor viselkedésének figyelése a telepítés után.
A helytelen PFC-konfiguráció PFC-szünetviharokat, vonalvégi blokkolást, torlódás terjedését és instabil alkalmazáskésleltetést eredményezhet.
Kifejezett értesítés a torlódásról
Az ECN végponttól végpontig terjedő torlódási jelzést biztosít a RoCEv2 számára. A kapcsoló megjelöli a csomagokat, amikor a sorok elérik a konfigurált küszöbértéket, és a fogadó gazdagép részt vesz a torlódási válaszban.
- RoCE forgalmi osztályozás
- ECN-képes host hálózati kártyák
- Kapcsolójelölő küszöbértékek
- Gazdagép NIC torlódási válasz
- CNP-kezelés
- Konzisztens DSCP vagy prioritási leképezés
Puffer és ASIC különbségek
Az RoCE konfiguráció nem hordozható automatikusan a kapcsoló ASIC generációi között. Egy validált profilnak illeszkednie kell a kapcsoló ASIC-jéhez, NOS verziójához és telepítési topológiájához.
Az NVIDIA Ethernet Storage Fabrics útmutatója a Spectrum-alapú telepítések RoCE-vel kapcsolatos puffer-, sor-, PFC- és ECN-megfontolásait tárgyalja. A konfigurációt éles környezetben történő alkalmazás előtt tesztelni kell.
Kábelek, optika, elosztó és FEC
DAC és AOC
A DAC-ot általában rövid, racken belüli vagy szomszédos rackek közötti csatlakozásokhoz használják. Az AOC akkor lehet megfelelő, ha a távolság nagyobb, mint egy praktikus DAC-hossz, de nem igényel külön optikai modulokat.
Ellenőrizd minden DAC vagy AOC sebességét, csatlakozóját, hosszát, hajlítási sugarát, FEC-jét, energiafogyasztását, valamint a kapcsoló- és hálózati kártya-támogatást.
optikai adó
Hosszabb kapcsolatok esetén a darabjegyzéknek meg kell határoznia a formátumot, a sebességet, a hullámhosszt, az egymódusú vagy többmódusú szálat, a csatlakozó típusát, az elérési utat, az FEC-követelményt, a hőmérséklet-tartományt, a DOM-támogatást, valamint a kapcsoló és a hálózati kártya kompatibilitását.
Breakout kábelek
A breakout mód megváltoztatja a portszám kiszámítását. Egy 100GbE QSFP28 port négy 25GbE kapcsolattá válhat, míg más platformok támogathatják a 200GbE vagy 400GbE breakout módokat.
A darabjegyzéknek (BOM) meg kell határoznia a szülőportot és az egyes elosztósávokat. Ne számoljon egy elosztóportot négy használható interfészként, amíg a pontos kapcsolót, kábelt, NOS-t és portmódot nem ellenőrizték.
FEC és linkkódolás
Két eszköz rendelkezhet azonos névleges sebességgel és csatlakozóval, de FEC vagy kódolási különbségek miatt mégsem tudnak stabil kapcsolatot létrehozni.
- Támogatott FEC módok
- Alapértelmezett FEC-viselkedés
- Manuális vagy automatikus FEC konfiguráció
- NIC-kapcsoló FEC kompatibilitás
- Kitörési sáv FEC-követelmények
- Optikára vonatkozó kódolási követelmények
Az FEC-nek a hivatkozási munkalap részének kell lennie, nem pedig a telepítés során felfedezett problémának.
Gazdagép szoftver és infrastruktúra
Gazdagép szoftver
- Operációs rendszer
- RDMA illesztőprogram-csomag
- NIC firmware
- RDMA segédprogramok
- PFC és ECN konfiguráció
- DSCP vagy prioritási leképezés
- GPU Direct vagy tárhellyel kapcsolatos illesztőprogramok
Kapcsolószoftver
- NOS név és verzió
- ASIC-támogatás kapcsoló
- RoCE profil
- PFC és ECN konfigurációs módszer
- Pufferprofil
- Breakdown szintaxis
- Frissítési és visszaállítási eljárás
- Szoftvertámogatási szerződés
Felügyeleti és rack infrastruktúra
Egy éles RoCE hálózatnak, ahol csak lehetséges, független felügyeleti útvonalat kell tartalmaznia. Ez lehetővé teszi a mérnökök számára, hogy elérjék a switchet és a szervereket az adatsík torlódása vagy a QoS hibaelhárítása során.
- Sávon kívüli felügyeleti kapcsoló
- Konzol hozzáférés
- Felügyeleti VLAN vagy felügyeleti hálózat
- Megfigyelő-rendszer
- NTP és DNS
- Konfiguráció biztonsági mentése
- Rack áramelosztás
- Redundáns tápellátások
- Légáramlás-kompatibilis kapcsoló- és tápegység-változatok
- Kábelrendező tartozékok
- Tartalék optikák és kábelek
RoCE anyagjegyzék és árajánlatkérés ellenőrzőlista
Példa anyagjegyzék telepítési típus szerint
| bevetés | Gazdakapcsolat | Szerepváltás | Tipikus összeköttetés | Fő tervezési probléma |
|---|---|---|---|---|
| 25 GbE szerver rack | 25GbE SFP28 RDMA hálózati kártyák | Levél vagy polc tetején | SFP28 DAC, AOC vagy optika | Natív SFP28 portok száma és 100GbE feltöltés |
| 100 GbE GPU-hálózat | 100GbE QSFP28 hálózati kártyák | Levélgerincű szövet | 100GbE DAC, AOC vagy optika | PFC, ECN, túljegyzés és pufferek |
| 200GbE vagy 400GbE mesterséges intelligencia hálózat | 200/400GbE RDMA adapterek | Nagy sebességű levél vagy gerinc | QSFP56, QSFP112 vagy OSFP kábelek | FEC, breakout, tápellátás és platformtámogatás |
| RoCE tárolóhálózat | RDMA hálózati kártyák vagy tárolóadapterek | Dedikált vagy konvergált szövet | Sebességtől és távolságtól függően | Forgalomelválasztás és torlódásszabályozás |
| Vegyes vállalati és RoCE hálózat | RDMA hálózati kártyák és szabványos Ethernet-gazdagépek | Megosztott adatközponti hálózat | Vegyes optikai és réz kapcsolatok | Sorelválasztás és PFC hatókör |
RoCE árajánlatkérésben feltüntetendő információk
- Szerverek vagy GPU-csomópontok száma
- RDMA NIC modell és mennyiség
- Szükséges gazdagép oldali portsebesség
- Szükséges kapcsolóport sebesség
- Levél- és tövkapcsolók száma
- Kívánt túljegyzési arány
- RoCEv1 vagy RoCEv2 követelmény
- GPUDirect, tároló vagy HPC alkalmazás
- Állványok közötti távolságok
- DAC, AOC vagy optikai preferencia
- Száloptikai szálak típusa és csatlakozókövetelmények
- FEC-követelmények
- PFC és ECN követelmények
- NOS preferencia
- Rackmélység, légáramlás és energiaigény
- Szükséges tartalék optikák és kábelek
Gyakran ismételt kérdések
Végső elvihető
Egy teljes RoCE hálózati BOM általában tartalmaz RDMA-képes szerver- vagy GPU-hálózati kártyákat, RoCE-képes kapcsolókat, DAC-okat, AOC-kat vagy optikai adó-vevőket, host-illesztőprogramokat, egy támogatott kapcsoló NOS-t, PFC és ECN konfigurációt, felügyeleti hálózatkezelést, valamint rack-, táp-, hűtés- és kábelkezelő komponenseket.
A BOM összeállításának legbiztonságosabb módja, ha az alkalmazásból és a forgalmi mintából indulunk ki, majd a hálózati kártyát, a kapcsolót, a kábelt, az optikát, a szoftvert és a támogatási modellt egyetlen rendszerré illesztjük.
A berendezéslista véglegesítése előtt küldd el a szerverek számát, az RDMA NIC modelljét, a célsebességet, a switch preferenciáját, a kábelhosszt és az RoCE-követelményeket.















































































































































