Quali apparecchiature sono necessarie per una rete RoCE? Schede di rete, switch, cavi e lista di controllo della distinta base.

Seguici:
Presa rapida
Una rete RoCE di produzione richiede adattatori server compatibili con RDMA, switch compatibili con RoCE, ottiche o cavi compatibili, driver host, configurazione QoS dello switch e un percorso di gestione separato. La sola velocità del collegamento non è sufficiente; è necessario verificare anche PFC, ECN, buffer, FEC, modalità breakout e classificazione del traffico end-to-end.

RoCE è una progettazione di rete end-to-end. L'acquisto di uno switch con porte Ethernet ad alta velocità non crea automaticamente una struttura RoCE validata. La scheda di rete, lo switch, il cavo, il modulo ottico, il sistema operativo, il driver e la configurazione QoS devono funzionare in sinergia.

1. Di cosa ha realmente bisogno una rete RoCE
  • I componenti hardware e software in un'implementazione completa di RoCE
2. Inizia con il ruolo di rete
  • Come l'accesso al server, i ruoli leaf, spine e storage influenzano la distinta base (BOM).
3. Schede di rete RDMA e switch compatibili con RoCE
  • Selezione dell'adattatore ConnectX e verifica delle funzionalità dello switch
4. PFC, ECN, buffer e QoS
  • Requisiti di controllo della congestione per una rete RoCE prevedibile
5. Cavi, ottica, breakout e FEC
  • Come abbinare DAC, AOC, ottica, distanza, velocità e codifica
6. Software e infrastruttura host
  • Requisiti relativi a driver, firmware, NOS, gestione, alimentazione e rack.
7. Lista di controllo per la distinta base e la richiesta di preventivo RoCE
  • Esempi di distinte base, informazioni sugli acquisti e domande frequenti
8. Conclusione finale
  • Le informazioni minime necessarie per creare una distinta base RoCE compatibile

Di cosa ha realmente bisogno una rete RoCE

Una rete RoCE di produzione include in genere adattatori server compatibili con RDMA, switch compatibili con RoCE, ottiche o cavi compatibili, driver host, configurazione QoS dello switch e un percorso di gestione separato.

Categoria Articolo richiesto Criteri di selezione principali
Calcolare GPU o nodi server Slot PCIe, topologia GPU, sistema operativo
Connettività RDMA ConnectX o un'altra scheda di rete RDMA supportata Velocità della porta, numero di porte, generazione PCIe, firmware
Tessuto di rete Spectrum o un altro switch compatibile con RoCE PFC, ECN, buffer, QoS e supporto breakout
interconnessioni DAC, AOC o ricetrasmettitori ottici Velocità, distanza, connettore, FEC e codifica
Software host Autisti e servizi RDMA Sistema operativo, versione del driver e firmware della scheda di rete
Software di commutazione Cumulus Linux, Onyx, SONiC o un altro NOS validato Supporto hardware, supporto funzionalità e contratto
Infrastruttura Gestione, rack, alimentatore e apparecchiature di raffreddamento Ridondanza dell'alimentazione, profondità, flusso d'aria e spazio libero per i cavi

La distinta base esatta dipende dal fatto che la rete venga realizzata per la comunicazione GPU-to-GPU, l'archiviazione distribuita, l'HPC, il traffico di database o un'infrastruttura di data center mista.

Stai pianificando una distinta base (BOM) per la rete RoCE?

Inviaci il numero di server, il modello della scheda di rete, la velocità target, la distanza del cavo e i requisiti dello switch.

Inizia con il ruolo Rete

Prima di selezionare uno switch, è necessario stabilire se funzionerà come leaf rivolto ai server, leaf ad alta densità, spine, switch per fabric di storage, switch dedicato per cluster GPU o switch misto enterprise e RoCE.

Un piccolo rack per server potrebbe richiedere numerose connessioni 25GbE e solo pochi uplink 100GbE. Una rete GPU potrebbe invece necessitare principalmente di connessioni 100GbE, 200GbE o 400GbE. Si tratta di distinte base (BOM) diverse, anche se entrambe vengono descritte come reti RoCE.

Esempi di piattaforme Spectrum

Un design di accesso 25GbE compatto può utilizzare il MSN2010-CB2RCche fornisce porte di accesso SFP28 native insieme a collegamenti uplink QSFP28.

Un design fogliare basato su QSFP28 può utilizzare il MSN2100-CB2Fdove la pianificazione delle interruzioni diventa importante se sono necessarie connessioni server a 25 GbE.

Un tessuto ad alta densità può utilizzare il MSN2700-CS2R, con un numero maggiore di porte QSFP28 per collegamenti 40/50/100GbE o configurazioni breakout supportate.

Questi sono esempi di piattaforma, non raccomandazioni universali. La scelta finale dipende dal numero di porte, dalla sovrascrizione, dalla progettazione del rack, dall'ottica e dal sistema operativo di rete (NOS) di destinazione.

Schede di rete RDMA e switch compatibili con RoCE

Selezione della scheda di rete RDMA

L'adattatore server è uno dei componenti più importanti in un'implementazione RoCE. Una scheda di rete RDMA idonea deve essere verificata per quanto riguarda il supporto RoCEv2, la velocità delle porte, il numero di porte, la generazione PCIe, il firmware, la compatibilità dei driver, PFC, ECN ed eventuali requisiti di GPU Direct o storage fabric.

Gli adattatori NVIDIA ConnectX sono spesso utilizzati negli ambienti RoCE, ma la generazione ConnectX e l'OPN specifici sono comunque importanti. Un adattatore SFP28 a doppia porta da 25 GbE richiede cavi e porte switch diversi rispetto a un adattatore OSFP a porta singola da 400 GbE.

  • Modello NIC e OPN
  • Numero di porte e velocità delle porte
  • Tipo di connettore
  • Requisiti dello slot PCIe
  • Versione del firmware
  • Pacchetto driver RDMA
  • Requisiti di integrazione GPU Direct o storage

Requisiti degli switch compatibili con RoCE

Uno switch utilizzato per RoCE dovrebbe essere valutato in base alle sue capacità di gestione del traffico, non solo in base alla velocità massima delle porte.

  • Controllo del flusso prioritario
  • Notifica di congestione esplicita
  • Profili di coda senza perdita o con consapevolezza della perdita
  • Buffering dei pacchetti sufficiente
  • Classificazione del traffico DSCP o 802.1p
  • Gestione delle notifiche di congestione
  • Modalità FEC richieste
  • supporto per il breakout delle porte
  • Sistema operativo di rete (NOS) e versione del software validati

Uno switch Ethernet generico può inoltrare pacchetti RoCE, ma ciò non significa che fornisca una rete RoCE validata o prevedibile.

PFC, ECN, buffer e QoS

Controllo del flusso prioritario

PFC mette in pausa determinate priorità di traffico anziché interrompere l'intero collegamento. Ciò consente al traffico RoCE di ricevere un trattamento senza perdite, mentre le altre classi di traffico continuano a utilizzare il collegamento.

Per un profilo RoCE senza perdite, PFC deve essere progettato in modo coerente su tutte le schede di rete host, gli switch leaf, gli switch spine, gli endpoint di storage e gli adattatori dei server remoti lungo il percorso del traffico.

  • Assegna il traffico RoCE a una priorità o classe di traffico definita.
  • Configura la stessa mappatura delle priorità sia sull'host che sugli switch.
  • Non abilitare PFC su ogni priorità senza una progettazione basata sulla classe di traffico.
  • Monitorare i frame di pausa e il comportamento della coda dopo la distribuzione.

Una configurazione errata del PFC può causare tempeste di pause PFC, blocchi in testa alla coda, propagazione della congestione e latenza instabile delle applicazioni.

Notifica di congestione esplicita

ECN fornisce la segnalazione di congestione end-to-end per RoCEv2. Lo switch contrassegna i pacchetti quando le code raggiungono la soglia configurata e l'host ricevente partecipa alla risposta alla congestione.

  • Classificazione del traffico RoCE
  • Schede di rete host compatibili con ECN
  • Soglie di marcatura degli interruttori
  • Risposta alla congestione della scheda di rete host
  • Gestione CNP
  • Mappatura DSCP o prioritaria coerente

Differenze tra buffer e ASIC

La configurazione RoCE non è automaticamente portabile tra le diverse generazioni di ASIC degli switch. Un profilo validato deve corrispondere esattamente all'ASIC dello switch, alla versione del NOS e alla topologia di implementazione.

Le linee guida di NVIDIA per Ethernet Storage Fabrics trattano le considerazioni relative a buffer, code, PFC ed ECN per RoCE nelle implementazioni basate su Spectrum. La configurazione deve essere testata prima di essere applicata in produzione.

Cavi, ottiche, breakout e FEC

DAC e AOC

Il DAC viene comunemente utilizzato per brevi connessioni all'interno dello stesso rack o tra rack adiacenti. L'AOC può essere adatto quando la distanza è maggiore di quella di un collegamento DAC pratico, ma non richiede moduli ottici separati.

Verifica la velocità, il connettore, la lunghezza, il raggio di curvatura, la correzione degli errori in fase di modifica (FEC), il consumo energetico e il supporto per switch e schede di rete per ogni DAC o AOC.

ricetrasmettitori ottici

Per collegamenti più lunghi, la distinta base (BOM) deve specificare il fattore di forma, la velocità, la lunghezza d'onda, la fibra monomodale o multimodale, il tipo di connettore, la portata, i requisiti FEC, l'intervallo di temperatura, il supporto DOM e la compatibilità con switch e schede di rete.

Cavi di rottura

La funzionalità breakout modifica il calcolo del numero di porte. Una porta QSFP28 da 100 GbE può essere convertita in quattro connessioni da 25 GbE, mentre altre piattaforme possono supportare modalità breakout da 200 GbE o 400 GbE.

La distinta base (BOM) deve identificare la porta principale e ogni corsia di breakout. Non considerare una porta di breakout come quattro interfacce utilizzabili finché non siano stati verificati con precisione lo switch, il cavo, il NOS e la modalità della porta.

FEC e codifica dei link

Due dispositivi possono avere la stessa velocità nominale e lo stesso connettore, ma non riuscire comunque a stabilire un collegamento stabile a causa di differenze nella correzione degli errori in avanti (FEC) o nella codifica.

  • Modalità FEC supportate
  • Comportamento predefinito di FEC
  • Configurazione FEC manuale o automatica
  • Compatibilità FEC tra NIC e switch
  • Requisiti FEC per corsie di interruzione
  • Requisiti di codifica specifici per l'ottica

La correzione degli errori (FEC) dovrebbe essere inclusa nel foglio di lavoro di collegamento, anziché essere un problema scoperto durante l'installazione.

Software e infrastruttura host

Software di hosting

  • Sistema operativo
  • Pacchetto driver RDMA
  • firmware della scheda di rete
  • Servizi RDMA
  • Configurazione PFC ed ECN
  • DSCP o mappatura delle priorità
  • Driver GPU Direct o relativi all'archiviazione

Cambia software

  • Nome e versione del NOS
  • Supporto ASIC per switch
  • Profilo RoCE
  • Metodo di configurazione PFC ed ECN
  • Profilo del buffer
  • Sintassi di interruzione
  • Procedura di aggiornamento e ripristino
  • Contratto di supporto software

Gestione e infrastruttura rack

Una rete RoCE di produzione dovrebbe includere, ove possibile, un percorso di gestione indipendente. Ciò consente ai tecnici di raggiungere lo switch e i server in caso di congestione del piano dati o durante la risoluzione di problemi di QoS.

  • Interruttore di gestione fuori banda
  • Accesso alla console
  • VLAN di gestione o rete di gestione
  • Sistema di monitoraggio
  • NTP e DNS
  • Backup della configurazione
  • Distribuzione di potenza del rack
  • Alimentazioni ridondanti
  • Varianti di switch e alimentatori compatibili con il flusso d'aria
  • Accessori per la gestione dei cavi
  • Ottiche e cavi di ricambio

Lista di controllo per la distinta base e la richiesta di preventivo RoCE

Esempio di distinta base per tipo di implementazione

Distribuzione Connettività dell'ospite Cambia ruolo Interconnessione tipica Principale problema di pianificazione
Rack per server 25GbE Schede di rete RDMA SFP28 da 25 GbE Foglia o parte superiore dello scaffale DAC, AOC o ottica SFP28 Numero nativo di porte SFP28 e uplink 100GbE
Fabric GPU 100GbE Schede di rete 100GbE QSFP28 Tessuto della spina dorsale della foglia DAC, AOC o ottiche 100GbE PFC, ECN, sovrascrizione e buffer
Infrastruttura AI da 200 GbE o 400 GbE Adattatori RDMA 200/400GbE foglia o spina ad alta velocità Cavi QSFP56, QSFP112 o OSFP FEC, breakout, alimentazione e supporto della piattaforma
rete di archiviazione RoCE Schede di rete RDMA o adattatori di archiviazione Tessuto dedicato o convergente Dipende dalla velocità e dalla distanza separazione del traffico e controllo della congestione
Imprese miste e rete RoCE Schede di rete RDMA e host Ethernet standard Infrastruttura del data center condivisa Collegamenti misti in fibra ottica e rame Isolamento delle code e ambito PFC

Informazioni da includere in una richiesta di preventivo RoCE

  1. Numero di server o nodi GPU
  2. Modello e quantità di schede di rete RDMA
  3. Velocità della porta lato host richiesta
  4. Velocità richiesta della porta dello switch
  5. Numero di interruttori a foglia e spina
  6. Rapporto di sovrasottoscrizione desiderato
  7. Requisito RoCEv1 o RoCEv2
  8. GPUDirect, storage o applicazione HPC
  9. Distanze tra i rack
  10. DAC, AOC o preferenza ottica
  11. Tipo di fibra e requisiti del connettore
  12. Requisiti FEC
  13. Requisiti PFC ed ECN
  14. Preferenza NOS
  15. Profondità del rack, flusso d'aria e requisiti di alimentazione
  16. Ottici e cavi di ricambio necessari

Domande frequenti

Q1 Ho bisogno di una scheda di rete ConnectX per RoCE?
È necessario un adattatore di rete compatibile con RDMA che supporti le funzionalità RoCE richieste. Gli adattatori ConnectX sono una scelta comune, ma è comunque necessario verificare il modello esatto, la velocità della porta, il firmware e il driver.
Q2 Qualsiasi switch 100GbE è in grado di eseguire RoCE?
No. Lo switch deve essere controllato per PFC, ECN, buffering, classificazione QoS, FEC e una configurazione NOS validata. L'elevata velocità della porta da sola non garantisce il supporto RoCE.
Q3 RoCE richiede sempre PFC?
La configurazione esatta dipende dalla versione di RoCE e dal profilo di controllo della congestione. Le implementazioni RoCE senza perdita di dati utilizzano comunemente PFC, mentre RoCEv2 utilizza anche ECN per la segnalazione di congestione end-to-end. L'host e ogni switch nel percorso devono essere configurati in modo coerente.
Q4 È necessario configurare PFC ed ECN sulla scheda di rete del server?
Sì. RoCE è una soluzione end-to-end. La configurazione di PFC o ECN solo sullo switch non garantisce il corretto funzionamento dell'host.
Q5 È possibile utilizzare i normali cavi Ethernet per RoCE?
Solo se il tipo di cavo, il connettore, la velocità, la distanza, la codifica, la correzione degli errori in avanti (FEC) e il supporto del dispositivo sono compatibili. Il cavo deve essere selezionato nell'ambito della progettazione del collegamento tra la scheda di rete e lo switch.
Q6 È possibile collegare una porta 100GbE a quattro server 25GbE?
Eventualmente, se la porta dello switch, il cavo breakout, il NOS, le interfacce NIC e la modalità della porta supportano tale configurazione. La porta principale e tutte le linee breakout devono essere documentate nella distinta base (BOM).
Q7 RoCE è adatto a una rete aziendale mista?
Può essere, ma le classi di traffico devono essere progettate con attenzione. Il traffico RoCE, di gestione, di archiviazione e il normale traffico Ethernet non dovrebbero entrare in competizione senza chiare politiche di coda, priorità e congestione.

Takeaway finale

Una distinta base (BOM) completa per una rete RoCE include in genere schede di rete (NIC) per server o GPU compatibili con RDMA, switch compatibili con RoCE, DAC, AOC o ricetrasmettitori ottici, driver host, un sistema operativo di rete (NOS) per switch supportato, configurazione PFC ed ECN, rete di gestione e componenti per rack, alimentazione, raffreddamento e gestione dei cavi.

Il modo più sicuro per creare la distinta base (BOM) è partire dall'applicazione e dal modello di traffico, quindi abbinare la scheda di rete, lo switch, il cavo, i moduli ottici, il software e il modello di supporto come se fossero un unico sistema.

Invia il numero di server, il modello di scheda di rete RDMA, la velocità target, la preferenza per lo switch, la lunghezza del cavo e i requisiti RoCE prima di finalizzare l'elenco delle apparecchiature.