Migliori Switch NVIDIA SN5610 È progettato per reti Ethernet ad alta densità, incluse le reti AI e dei data center che necessitano di connettere dispositivi 800G, 400G, 200G e 100G sulla stessa piattaforma. Questa guida spiega come funzionano le modalità breakout, come configurarle con Cumulus Linux e cosa verificare quando un'interfaccia o un collegamento split non si attiva.
Opzioni di breakout SN5610 800G
Il modulo SN5610 supporta 64 interfacce OSFP 800GbE. A seconda della velocità richiesta per l'endpoint, le porte fisiche possono essere utilizzate nativamente o suddivise in più interfacce logiche.
| Modalità fisica | Porte logiche per OSFP | Massimo su SN5610 | Limitazione principale |
|---|---|---|---|
| 800G | 1×800G | Porti 64 | Operazioni portuali locali |
| 400G | 2×400G | Porti 128 | Richiede un design di breakout bidirezionale supportato |
| 200G | 4×200G | Porti 256 | Richiede un design breakout a quattro vie supportato |
| 100G | 8×100G | Porti 256 | Utilizza 32 porte sorgente OSFP e richiede che la porta adiacente sia disabilitata. |
La modalità 100G richiede particolare attenzione. Non si tratta di una semplice conversione di tutte le 64 porte OSFP fisiche in otto porte logiche ciascuna. La restrizione delle porte adiacenti riduce il numero di porte sorgente fisiche disponibili per questa configurazione.
L'SN5610 supporta sia la codifica PAM4 che NRZ. Il funzionamento a velocità inferiore potrebbe utilizzare la codifica NRZ, mentre il comportamento esatto delle corsie dipende dalla modalità della porta, dal transceiver, dal cavo breakout e dal dispositivo peer. Verificare la matrice della piattaforma corrente prima di finalizzare la mappatura delle porte.
Per le connessioni native 800G, esaminare il fattore di forma richiesto e la portata ottica prima di selezionare un Ricetrasmettitore OSFP 800GUn ricetrasmettitore che corrisponde alla velocità di trasmissione dati pubblicizzata potrebbe comunque risultare inadatto alla topologia di breakout o all'interfaccia remota selezionata.
Cosa verificare prima della configurazione
La pianificazione di una rete breakout dovrebbe iniziare dai requisiti dei punti terminali. Non selezionare prima il cavo e poi cercare di adattare la progettazione della rete ad esso.
Confermare la forma della porta richiesta
- Numero richiesto di collegamenti da 800G, 400G, 200G e 100G
- Velocità supportata dallo switch remoto, dalla scheda di rete, dal server o dall'acceleratore
- Interfaccia OSFP, QSFP112, QSFP56 o QSFP28 a ciascuna estremità
- Requisiti per DAC, AOC, ricetrasmettitore ottico o patch in fibra
- Modalità FEC richiesta e comportamento di autonegoziazione
- Versione di Cumulus Linux in esecuzione sull'SN5610
Registrare la mappatura delle porte fisiche e logiche
Per ogni porta sorgente di breakout, registrare il numero OSFP fisico, i nomi delle interfacce logiche risultanti, il dispositivo connesso, il modello del cavo o del cavo ottico, la velocità, la FEC e l'MTU. Ciò è particolarmente importante per i progetti 8×100G perché la porta fisica adiacente potrebbe non essere disponibile.
Un record di configurazione dovrebbe inoltre specificare se il collegamento viene utilizzato per una connessione rivolta verso i server di calcolo, un collegamento uplink leaf-to-spine, una rete di storage, un percorso di gestione o un collegamento tra switch. La stessa modalità di breakout può essere adatta a un ruolo e inefficiente per un altro.
Inviaci il numero di porte, la versione di Cumulus e i requisiti relativi ai cavi.
Configurare le porte breakout in Cumulus Linux
Cumulus Linux 5.4 e versioni successive utilizzano la notazione breakout come 1x, 2x, 4xe 8xLa modalità breakout viene configurata separatamente dalla velocità delle interfacce logiche risultanti.
Esempio NVUE: da 800G a 2×400G
L'esempio seguente utilizza swp1 come porta sorgente fisica. Il nome effettivo dell'interfaccia deve corrispondere alla mappatura delle porte SN5610.
Esempio NVUE: da 800G a 4×200G
Esempio NVUE: da 800G a 8×100G
Le interfacce risultanti vengono normalmente denominate da swp1s0 attraverso swp1s7Verificare lo stato della porta adiacente prima di utilizzare questa configurazione in produzione.
metodo ports.conf
Con il metodo di configurazione Linux, definire la forma di breakout in /etc/cumulus/ports.confDi seguito è riportata una configurazione esemplificativa 8×100G. Sostituire i numeri di porta con i valori corretti per la mappatura delle porte SN5610 prevista.
La velocità della porta è configurata separatamente in NVUE o in /etc/network/interfacesDopo aver modificato il file, convalidare la sintassi e ricaricare il servizio di switching in base alla versione di Cumulus Linux installata e alla procedura di modifica in ambiente di produzione.
Su un ambiente di produzione, verificare se la procedura di ricaricamento causa un impatto temporaneo sul traffico nella modalità di configurazione selezionata. Non dare per scontato che la stessa procedura di modifica si applichi a ogni versione di Cumulus Linux o modalità ACL.
Verifica le impostazioni della corsia quando ti connetti a un'altra piattaforma
Su alcune porte QSFP-DD o OSFP a 8 corsie, Cumulus Linux utilizza un'allocazione di corsie predefinita per un breakout 4x. Se la piattaforma peer utilizza una larghezza di corsia diversa, entrambe le estremità potrebbero richiedere una configurazione di corsia esplicita. Verificare gli attributi correnti della porta prima di modificare solo la velocità.
Limiti OSFP, cavo breakout e QSA
Un cavo breakout deve corrispondere ai requisiti di porta sorgente, porta di destinazione, numero di corsie, codifica, velocità, portata e FEC. La sola forma del connettore non è sufficiente a garantire la compatibilità.
Per l'approvvigionamento, confrontare la topologia richiesta con quella disponibile Cavi breakout e DAC NVIDIA MellanoxPrima di ordinare, verificare se l'articolo selezionato è un assemblaggio da 800G a 2×400G, da 800G a 4×200G o da 800G a 8×100G.
Verificare la combinazione cavo-ottica.
- Connettore di origine e connettore di destinazione
- Mappatura delle corsie elettriche
- Velocità di trasmissione dati supportata su ogni interfaccia logica
- DAC, AOC o tipo di ricetrasmettitore ottico
- Tipo di fibra, connettore e portata massima
- Requisiti FEC per il cavo o la fibra ottica
- Stato del supporto per la versione di Cumulus Linux installata
Non dare per scontato il supporto QSA generico
Le linee guida QSA generiche per il posizionamento di un transceiver SFP in una porta QSFP non si applicano automaticamente a una porta OSFP dell'SN5610. NVIDIA documenta il comportamento QSA per le interfacce QSFP supportate, ma ciò non deve essere considerato una garanzia assoluta per il funzionamento da OSFP a SFP.
Prima di utilizzare un adattatore, verificare il modello esatto dell'adattatore, la modalità della porta OSFP, il tipo di fibra ottica (SFP o SFP28), la versione di Cumulus Linux, l'interfaccia peer e la velocità supportata. Una configurazione QSA non deve essere considerata una configurazione breakout a meno che la documentazione della piattaforma non supporti esplicitamente tale design.
Abbinamento FEC a entrambe le estremità
Il comportamento del FEC dipende dal tipo di cavo, dal modulo ottico, dalla velocità della corsia e dal dispositivo remoto. Un collegamento può rimanere inattivo se le due estremità utilizzano impostazioni FEC incompatibili, oppure può mostrare un numero crescente di errori dopo la riattivazione.
Piano SN5610 per un tessuto foglia-spina AI
In un'infrastruttura AI, la pianificazione delle interfacce dovrebbe includere collegamenti rivolti verso i nodi di calcolo, collegamenti uplink leaf-to-spine, ridondanza, sovrascrizione e possibilità di espansione futura. Un numero maggiore di porte logiche non si traduce automaticamente in una progettazione migliore.
| Requisiti di implementazione | Modalità di valutazione | Focus sulla pianificazione |
|---|---|---|
| Collegamenti spinali o centrali ad alta larghezza di banda | 800 g o 2 × 400 g | Ottica, FEC, ridondanza e portata del collegamento |
| Collegamenti foglia-spina | 400G o 200G | Conteggio dei collegamenti in entrata, sovraiscrizione e domini di errore |
| Connessioni 200G acceleratore o NIC | Evasione 4×200G | Connettore del punto finale, lunghezza del cavo e mappatura delle corsie |
| Connessioni server 100G o connessioni legacy | Evasione 8×100G | Restrizione delle porte adiacenti e allocazione delle porte logiche |
| Migrazione a velocità mista | 800G, 400G, 200G e 100G | Porti riservati, ottiche, FEC e mappa portuale documentata |
Per ogni leaf e spine, documentare la porta OSFP fisica, la modalità breakout, l'interfaccia logica, l'endpoint, il modello di cavo o ottico, FEC, MTU e il percorso di failover previsto. Ciò renderà la successiva sostituzione e la risoluzione dei problemi molto più rapide.
Le architetture di riferimento NVIDIA forniscono esempi di connessioni di classe 400G nell'infrastruttura AI, ma la topologia corretta dipende ancora dalla piattaforma dell'acceleratore, dalla velocità della NIC, dalla dimensione del fabric, dal modello di ridondanza e dall'obiettivo di oversubscription. Utilizzare il Architettura di riferimento di NVIDIA AI Factory come riferimento progettuale piuttosto che come piano portuale universale.
Mantenere l'MTU costante lungo tutto il percorso
Cumulus Linux utilizza comunemente un MTU di 9216 byte sulle interfacce del piano dati, ma l'MTU effettivo del percorso dipende da ogni interfaccia fisica, bond, bridge, VLAN, VXLAN e dispositivo peer. Una modifica di un breakout non richiede di per sé un nuovo MTU, ma le reti AI e overlay devono utilizzare un piano MTU end-to-end.
Risoluzione dei problemi relativi a porte mancanti e guasti di collegamento
Se il modulo OSFP fisico viene rilevato ma le interfacce divise previste non vengono visualizzate, prima di modificare l'MTU, verificare la modalità breakout, la restrizione delle porte adiacenti, la velocità dell'interfaccia divisa, la configurazione delle corsie e il supporto per cavi o fibra ottica.
| Sintomo | Causa probabile | Primi controlli |
|---|---|---|
| Le interfacce divise non vengono visualizzate | La modalità breakout non è stata applicata oppure la mappatura delle porte non è corretta. | nv show interface, cat /etc/cumulus/ports.conf |
| Il porto adiacente è fuori servizio | Restrizione di breakout 8×100G | Verificare l'allocazione della porta sorgente e della porta adiacente. |
| Il dispositivo ottico viene rilevato, ma il collegamento è interrotto. | Velocità errata, cavo errato, mappatura della corsia errata o FEC | nv show platform transceiver, ethtool |
| Il collegamento si alza e poi svolazza | Problema relativo alla FEC, alla qualità del cavo o alla negoziazione tra pari. | Confrontare i contatori FEC e di errore su entrambe le estremità |
| I pacchetti di grandi dimensioni non funzionano | Mancata corrispondenza dell'MTU o overhead di sovrapposizione | Verifica l'MTU fisico, di aggregazione, di bridge, VLAN, VXLAN e peer. |
Verificare lo stato del breakout e del ricetrasmettitore.
Verifica la velocità del collegamento e l'FEC
Confronta i valori operativi e applicati per l'interfaccia divisa. Se la velocità è corretta ma il collegamento rimane inattivo, confronta la modalità FEC e il numero di corsie con il dispositivo peer.
Verificare l'MTU solo dopo aver accertato la correttezza del collegamento fisico.
Utilizzare i seguenti comandi per verificare l'MTU configurato e funzionante. Se il collegamento fisico, la velocità, l'FEC e il ricetrasmettitore sono corretti, confrontare l'MTU sull'intero percorso di inoltro.
Domande frequenti
Takeaway finale
Lo switch SN5610 può funzionare come switch nativo a 800G o come piattaforma ad alta densità a 400G, 200G o 100G. Il dettaglio progettuale principale da ricordare è che la modalità 8×100G utilizza 32 porte sorgente OSFP e richiede che la restrizione delle porte adiacenti sia inclusa nel piano delle porte.
Una distribuzione affidabile dovrebbe documentare insieme la modalità di breakout, i nomi delle interfacce logiche, il modello del cavo o dell'ottica, la configurazione delle corsie, la velocità, l'FEC e l'MTU. Se hai bisogno di aiuto per convalidare una mappa delle porte o per abbinare le ottiche e i cavi richiesti, Invia i requisiti SN5610 per la revisione.