RoCE è una progettazione di rete end-to-end. L'acquisto di uno switch con porte Ethernet ad alta velocità non crea automaticamente una struttura RoCE validata. La scheda di rete, lo switch, il cavo, il modulo ottico, il sistema operativo, il driver e la configurazione QoS devono funzionare in sinergia.
- Come l'accesso al server, i ruoli leaf, spine e storage influenzano la distinta base (BOM).
- Selezione dell'adattatore ConnectX e verifica delle funzionalità dello switch
- Requisiti di controllo della congestione per una rete RoCE prevedibile
- Come abbinare DAC, AOC, ottica, distanza, velocità e codifica
- Requisiti relativi a driver, firmware, NOS, gestione, alimentazione e rack.
- Esempi di distinte base, informazioni sugli acquisti e domande frequenti
- Le informazioni minime necessarie per creare una distinta base RoCE compatibile
Di cosa ha realmente bisogno una rete RoCE
Una rete RoCE di produzione include in genere adattatori server compatibili con RDMA, switch compatibili con RoCE, ottiche o cavi compatibili, driver host, configurazione QoS dello switch e un percorso di gestione separato.
| Categoria | Articolo richiesto | Criteri di selezione principali |
|---|---|---|
| Calcolare | GPU o nodi server | Slot PCIe, topologia GPU, sistema operativo |
| Connettività RDMA | ConnectX o un'altra scheda di rete RDMA supportata | Velocità della porta, numero di porte, generazione PCIe, firmware |
| Tessuto di rete | Spectrum o un altro switch compatibile con RoCE | PFC, ECN, buffer, QoS e supporto breakout |
| interconnessioni | DAC, AOC o ricetrasmettitori ottici | Velocità, distanza, connettore, FEC e codifica |
| Software host | Autisti e servizi RDMA | Sistema operativo, versione del driver e firmware della scheda di rete |
| Software di commutazione | Cumulus Linux, Onyx, SONiC o un altro NOS validato | Supporto hardware, supporto funzionalità e contratto |
| Infrastruttura | Gestione, rack, alimentatore e apparecchiature di raffreddamento | Ridondanza dell'alimentazione, profondità, flusso d'aria e spazio libero per i cavi |
La distinta base esatta dipende dal fatto che la rete venga realizzata per la comunicazione GPU-to-GPU, l'archiviazione distribuita, l'HPC, il traffico di database o un'infrastruttura di data center mista.
Inviaci il numero di server, il modello della scheda di rete, la velocità target, la distanza del cavo e i requisiti dello switch.
Inizia con il ruolo Rete
Prima di selezionare uno switch, è necessario stabilire se funzionerà come leaf rivolto ai server, leaf ad alta densità, spine, switch per fabric di storage, switch dedicato per cluster GPU o switch misto enterprise e RoCE.
Un piccolo rack per server potrebbe richiedere numerose connessioni 25GbE e solo pochi uplink 100GbE. Una rete GPU potrebbe invece necessitare principalmente di connessioni 100GbE, 200GbE o 400GbE. Si tratta di distinte base (BOM) diverse, anche se entrambe vengono descritte come reti RoCE.
Esempi di piattaforme Spectrum
Un design di accesso 25GbE compatto può utilizzare il MSN2010-CB2RCche fornisce porte di accesso SFP28 native insieme a collegamenti uplink QSFP28.
Un design fogliare basato su QSFP28 può utilizzare il MSN2100-CB2Fdove la pianificazione delle interruzioni diventa importante se sono necessarie connessioni server a 25 GbE.
Un tessuto ad alta densità può utilizzare il MSN2700-CS2R, con un numero maggiore di porte QSFP28 per collegamenti 40/50/100GbE o configurazioni breakout supportate.
Questi sono esempi di piattaforma, non raccomandazioni universali. La scelta finale dipende dal numero di porte, dalla sovrascrizione, dalla progettazione del rack, dall'ottica e dal sistema operativo di rete (NOS) di destinazione.
Schede di rete RDMA e switch compatibili con RoCE
Selezione della scheda di rete RDMA
L'adattatore server è uno dei componenti più importanti in un'implementazione RoCE. Una scheda di rete RDMA idonea deve essere verificata per quanto riguarda il supporto RoCEv2, la velocità delle porte, il numero di porte, la generazione PCIe, il firmware, la compatibilità dei driver, PFC, ECN ed eventuali requisiti di GPU Direct o storage fabric.
Gli adattatori NVIDIA ConnectX sono spesso utilizzati negli ambienti RoCE, ma la generazione ConnectX e l'OPN specifici sono comunque importanti. Un adattatore SFP28 a doppia porta da 25 GbE richiede cavi e porte switch diversi rispetto a un adattatore OSFP a porta singola da 400 GbE.
- Modello NIC e OPN
- Numero di porte e velocità delle porte
- Tipo di connettore
- Requisiti dello slot PCIe
- Versione del firmware
- Pacchetto driver RDMA
- Requisiti di integrazione GPU Direct o storage
Requisiti degli switch compatibili con RoCE
Uno switch utilizzato per RoCE dovrebbe essere valutato in base alle sue capacità di gestione del traffico, non solo in base alla velocità massima delle porte.
- Controllo del flusso prioritario
- Notifica di congestione esplicita
- Profili di coda senza perdita o con consapevolezza della perdita
- Buffering dei pacchetti sufficiente
- Classificazione del traffico DSCP o 802.1p
- Gestione delle notifiche di congestione
- Modalità FEC richieste
- supporto per il breakout delle porte
- Sistema operativo di rete (NOS) e versione del software validati
Uno switch Ethernet generico può inoltrare pacchetti RoCE, ma ciò non significa che fornisca una rete RoCE validata o prevedibile.
PFC, ECN, buffer e QoS
Controllo del flusso prioritario
PFC mette in pausa determinate priorità di traffico anziché interrompere l'intero collegamento. Ciò consente al traffico RoCE di ricevere un trattamento senza perdite, mentre le altre classi di traffico continuano a utilizzare il collegamento.
Per un profilo RoCE senza perdite, PFC deve essere progettato in modo coerente su tutte le schede di rete host, gli switch leaf, gli switch spine, gli endpoint di storage e gli adattatori dei server remoti lungo il percorso del traffico.
- Assegna il traffico RoCE a una priorità o classe di traffico definita.
- Configura la stessa mappatura delle priorità sia sull'host che sugli switch.
- Non abilitare PFC su ogni priorità senza una progettazione basata sulla classe di traffico.
- Monitorare i frame di pausa e il comportamento della coda dopo la distribuzione.
Una configurazione errata del PFC può causare tempeste di pause PFC, blocchi in testa alla coda, propagazione della congestione e latenza instabile delle applicazioni.
Notifica di congestione esplicita
ECN fornisce la segnalazione di congestione end-to-end per RoCEv2. Lo switch contrassegna i pacchetti quando le code raggiungono la soglia configurata e l'host ricevente partecipa alla risposta alla congestione.
- Classificazione del traffico RoCE
- Schede di rete host compatibili con ECN
- Soglie di marcatura degli interruttori
- Risposta alla congestione della scheda di rete host
- Gestione CNP
- Mappatura DSCP o prioritaria coerente
Differenze tra buffer e ASIC
La configurazione RoCE non è automaticamente portabile tra le diverse generazioni di ASIC degli switch. Un profilo validato deve corrispondere esattamente all'ASIC dello switch, alla versione del NOS e alla topologia di implementazione.
Le linee guida di NVIDIA per Ethernet Storage Fabrics trattano le considerazioni relative a buffer, code, PFC ed ECN per RoCE nelle implementazioni basate su Spectrum. La configurazione deve essere testata prima di essere applicata in produzione.
Cavi, ottiche, breakout e FEC
DAC e AOC
Il DAC viene comunemente utilizzato per brevi connessioni all'interno dello stesso rack o tra rack adiacenti. L'AOC può essere adatto quando la distanza è maggiore di quella di un collegamento DAC pratico, ma non richiede moduli ottici separati.
Verifica la velocità, il connettore, la lunghezza, il raggio di curvatura, la correzione degli errori in fase di modifica (FEC), il consumo energetico e il supporto per switch e schede di rete per ogni DAC o AOC.
ricetrasmettitori ottici
Per collegamenti più lunghi, la distinta base (BOM) deve specificare il fattore di forma, la velocità, la lunghezza d'onda, la fibra monomodale o multimodale, il tipo di connettore, la portata, i requisiti FEC, l'intervallo di temperatura, il supporto DOM e la compatibilità con switch e schede di rete.
Cavi di rottura
La funzionalità breakout modifica il calcolo del numero di porte. Una porta QSFP28 da 100 GbE può essere convertita in quattro connessioni da 25 GbE, mentre altre piattaforme possono supportare modalità breakout da 200 GbE o 400 GbE.
La distinta base (BOM) deve identificare la porta principale e ogni corsia di breakout. Non considerare una porta di breakout come quattro interfacce utilizzabili finché non siano stati verificati con precisione lo switch, il cavo, il NOS e la modalità della porta.
FEC e codifica dei link
Due dispositivi possono avere la stessa velocità nominale e lo stesso connettore, ma non riuscire comunque a stabilire un collegamento stabile a causa di differenze nella correzione degli errori in avanti (FEC) o nella codifica.
- Modalità FEC supportate
- Comportamento predefinito di FEC
- Configurazione FEC manuale o automatica
- Compatibilità FEC tra NIC e switch
- Requisiti FEC per corsie di interruzione
- Requisiti di codifica specifici per l'ottica
La correzione degli errori (FEC) dovrebbe essere inclusa nel foglio di lavoro di collegamento, anziché essere un problema scoperto durante l'installazione.
Software e infrastruttura host
Software di hosting
- Sistema operativo
- Pacchetto driver RDMA
- firmware della scheda di rete
- Servizi RDMA
- Configurazione PFC ed ECN
- DSCP o mappatura delle priorità
- Driver GPU Direct o relativi all'archiviazione
Cambia software
- Nome e versione del NOS
- Supporto ASIC per switch
- Profilo RoCE
- Metodo di configurazione PFC ed ECN
- Profilo del buffer
- Sintassi di interruzione
- Procedura di aggiornamento e ripristino
- Contratto di supporto software
Gestione e infrastruttura rack
Una rete RoCE di produzione dovrebbe includere, ove possibile, un percorso di gestione indipendente. Ciò consente ai tecnici di raggiungere lo switch e i server in caso di congestione del piano dati o durante la risoluzione di problemi di QoS.
- Interruttore di gestione fuori banda
- Accesso alla console
- VLAN di gestione o rete di gestione
- Sistema di monitoraggio
- NTP e DNS
- Backup della configurazione
- Distribuzione di potenza del rack
- Alimentazioni ridondanti
- Varianti di switch e alimentatori compatibili con il flusso d'aria
- Accessori per la gestione dei cavi
- Ottiche e cavi di ricambio
Lista di controllo per la distinta base e la richiesta di preventivo RoCE
Esempio di distinta base per tipo di implementazione
| Distribuzione | Connettività dell'ospite | Cambia ruolo | Interconnessione tipica | Principale problema di pianificazione |
|---|---|---|---|---|
| Rack per server 25GbE | Schede di rete RDMA SFP28 da 25 GbE | Foglia o parte superiore dello scaffale | DAC, AOC o ottica SFP28 | Numero nativo di porte SFP28 e uplink 100GbE |
| Fabric GPU 100GbE | Schede di rete 100GbE QSFP28 | Tessuto della spina dorsale della foglia | DAC, AOC o ottiche 100GbE | PFC, ECN, sovrascrizione e buffer |
| Infrastruttura AI da 200 GbE o 400 GbE | Adattatori RDMA 200/400GbE | foglia o spina ad alta velocità | Cavi QSFP56, QSFP112 o OSFP | FEC, breakout, alimentazione e supporto della piattaforma |
| rete di archiviazione RoCE | Schede di rete RDMA o adattatori di archiviazione | Tessuto dedicato o convergente | Dipende dalla velocità e dalla distanza | separazione del traffico e controllo della congestione |
| Imprese miste e rete RoCE | Schede di rete RDMA e host Ethernet standard | Infrastruttura del data center condivisa | Collegamenti misti in fibra ottica e rame | Isolamento delle code e ambito PFC |
Informazioni da includere in una richiesta di preventivo RoCE
- Numero di server o nodi GPU
- Modello e quantità di schede di rete RDMA
- Velocità della porta lato host richiesta
- Velocità richiesta della porta dello switch
- Numero di interruttori a foglia e spina
- Rapporto di sovrasottoscrizione desiderato
- Requisito RoCEv1 o RoCEv2
- GPUDirect, storage o applicazione HPC
- Distanze tra i rack
- DAC, AOC o preferenza ottica
- Tipo di fibra e requisiti del connettore
- Requisiti FEC
- Requisiti PFC ed ECN
- Preferenza NOS
- Profondità del rack, flusso d'aria e requisiti di alimentazione
- Ottici e cavi di ricambio necessari
Domande frequenti
Takeaway finale
Una distinta base (BOM) completa per una rete RoCE include in genere schede di rete (NIC) per server o GPU compatibili con RDMA, switch compatibili con RoCE, DAC, AOC o ricetrasmettitori ottici, driver host, un sistema operativo di rete (NOS) per switch supportato, configurazione PFC ed ECN, rete di gestione e componenti per rack, alimentazione, raffreddamento e gestione dei cavi.
Il modo più sicuro per creare la distinta base (BOM) è partire dall'applicazione e dal modello di traffico, quindi abbinare la scheda di rete, lo switch, il cavo, i moduli ottici, il software e il modello di supporto come se fossero un unico sistema.
Invia il numero di server, il modello di scheda di rete RDMA, la velocità target, la preferenza per lo switch, la lunghezza del cavo e i requisiti RoCE prima di finalizzare l'elenco delle apparecchiature.















































































































































