Lo switch del data center giusto Non si tratta semplicemente del modello con la velocità di porta più elevata o con il maggior numero di porte. Uno switch leaf per l'accesso ai server, uno switch backend per l'intelligenza artificiale, uno switch di storage e uno switch spine possono richiedere hardware, software, ottiche e funzionalità di rete molto diversi.
Definire il ruolo nella rete
Prima di confrontare marche o modelli, è necessario definire la posizione dello switch all'interno della rete. Lo stesso data center può utilizzare diversi tipi di switch per l'accesso ai server, la connettività leaf-spine, lo storage, la gestione e il traffico backend per l'intelligenza artificiale.
| Ruolo di rete | Connessioni tipiche | Priorità di selezione principale |
|---|---|---|
| Accesso al server o ToR | Server, nodi di archiviazione e dispositivi di gestione | Densità delle porte, velocità lato server e uplink |
| foglia | Server, GPU, sistemi di archiviazione e switch di rete | Configurazione delle porte, sovrascrizione, instradamento e telemetria |
| Spina dorsale | Interruttori Leaf e collegamenti fabric ad alta velocità | Densità, latenza e scalabilità 100G/400G/800G |
| Tessuto di stoccaggio | Dispositivi di archiviazione NVMe, Ethernet o Fibre Channel | Comportamento senza perdita di dati, latenza, buffer e protocollo |
| infrastruttura di backend AI | Comunicazione GPU-to-GPU | RoCE o InfiniBand, controllo della congestione e progettazione ferroviaria |
Uno switch adatto a una rete di gestione potrebbe non esserlo per un backend di intelligenza artificiale. Allo stesso modo, uno switch spine ad alta densità potrebbe risultare inefficiente per una piccola implementazione di accesso ai server.
Scegliere la struttura di rete
Il protocollo di rete influenza lo switch, l'adattatore, il cavo, il sistema operativo e il modello operativo. Definisci l'infrastruttura prima di selezionare l'hardware.
| Tessuto | Carichi di lavoro adatti | Requisiti importanti |
|---|---|---|
| Ethernet | Traffico generale di data center, server, storage e gestione | VLAN, routing, EVPN-VXLAN, ridondanza e telemetria |
| RoCEv2 | Intelligenza artificiale, GPU, NVMe-oF e reti Ethernet a bassa latenza | Monitoraggio di PFC, ECN, QoS, DCQCN e congestione |
| InfiniBand | Addestramento di IA su larga scala e calcolo ad alte prestazioni (HPC) | Gestore di sottorete, compatibilità HCA, topologia fabric e cablaggio OSFP |
| Fibre Channel | SAN dedicato e storage mission-critical | Velocità FC, zonizzazione, compatibilità HBA e gestione SAN |
Ethernet e InfiniBand non devono essere considerati intercambiabili solo perché utilizzano velocità di linea simili. Un adattatore InfiniBand 400G NDR non è automaticamente compatibile con uno switch Ethernet 400GbE.
Per le progettazioni Ethernet basate sull'intelligenza artificiale, Cisco ha documentato reti RoCEv2 basate su Nexus che utilizzano PFC, gestione della congestione e connettività GPU ottimizzata per il rail. La progettazione richiede ancora una validazione end-to-end dello switch, della scheda di rete, dei componenti ottici, dei cavi e del software.
Per i progetti NDR InfiniBand, rivedere il Documentazione hardware ufficiale di NVIDIA QM97xx prima di selezionare la combinazione di interruttore e adattatore.
Seleziona velocità e densità delle porte
Il numero di porte è una delle specifiche più facili da confrontare e anche una delle più facili da calcolare in modo errato. Iniziate dal numero di endpoint, piani di rete, uplink e porte di espansione previste.
Porte necessarie rivolte verso il server = numero di server × porte NIC per server × numero di piani di rete
Aggiungere quindi le porte per i collegamenti spine, le connessioni di storage, la gestione, i percorsi ridondanti, la manutenzione e la crescita futura. Non utilizzare il numero totale di porte pubblicizzato come capacità utilizzabile del server.
10G e 25G
10G e 25G sono comuni per server generici, cluster di virtualizzazione, accesso allo storage, reti di gestione e porte leaf rivolte verso i server. Un modello come N9K-C93180YC-FX3 Può essere adatto a un'architettura di accesso server a 25G o ToR che richiede 48 porte SFP28 da 1/10/25G e uplink da 40/100G.
100G
La tecnologia 100G è comunemente utilizzata per connessioni server ad alte prestazioni, uplink leaf-to-spine, reti di storage, reti frontend GPU e ambienti di intelligenza artificiale o calcolo ad alte prestazioni (HPC) di medie dimensioni.
200G e 400G
Le velocità di 200G e 400G sono più comuni nelle reti di backend per l'IA, nelle reti spine ad alta densità, nei cluster GPU e nelle reti di storage con un traffico est-ovest significativo. Lo switch, la scheda di rete, il ricetrasmettitore, la modalità FEC e il cavo devono essere convalidati come un unico percorso.
Migliori N9K-C9364D-GX2A è un esempio di piattaforma Ethernet 400G ad alta densità per architetture di rete per intelligenza artificiale e data center.
800G
La tecnologia 800G è generalmente considerata adatta per reti super-spine basate sull'intelligenza artificiale, cluster GPU di grandi dimensioni e progetti di breakout 400G ad alta densità. Le opzioni di breakout effettive dipendono dallo switch, dal connettore, dal cavo, dalla mappatura delle corsie e dalla modalità operativa.
Condividi il tuo ruolo nella rete, i requisiti delle porte, la struttura di rete e l'hardware esistente.
Confronta i modelli di switch per data center
Gli esempi che seguono sono organizzati in base al ruolo nella rete. Non si tratta di una classifica dei migliori marchi. Il modello più adatto dipende dal carico di lavoro, dal protocollo, dal software e dall'infrastruttura esistente.
Accesso al server e switch leaf da 25G
| Modello | Posizione tipica | Scenario adatto | Controlli importanti |
|---|---|---|---|
| N9K-C93180YC-FX3 | Foglia da 25 g o ToR | Reti di server, storage e virtualizzazione ad alta densità | NX-OS, vPC, EVPN-VXLAN, moduli ottici SFP28 e uplink a 100G |
| N9K-C93108TC-FX3 | Server in rame o scheda di gestione | Connessioni server 10GBASE-T e reti di gestione | Cablaggio RJ45, consumo energetico, uplink 100G e flusso d'aria nel rack |
| NVIDIA SN3420 | Accesso Ethernet o foglia | Accesso al server 25G con uplink ad alta velocità | Opzione NOS, modalità breakout, ottiche e flusso d'aria |
Piattaforme Leaf-Spine da 100G e 400G
| Modello | Posizione tipica | Scenario adatto | Controlli importanti |
|---|---|---|---|
| N9K-C9364D-GX2A | 400 g Foglia o spina | Intelligenza artificiale RoCEv2 e reti Ethernet ad alta densità | PFC, ECN, QoS, ottiche QSFP-DD e dashboard Nexus |
| NVIDIA SN4700 | 400 g Foglia o spina | Ethernet a 400G e infrastrutture ad alta velocità per data center. | 32 porte QSFP-DD da 400G, NOS, breakout e compatibilità con i cavi. |
| NVIDIA SN5400 | Dorso ad alta densità da 400 g | Grandi reti Ethernet e sistemi di archiviazione ad alta larghezza di banda | Densità delle porte, potenza, raffreddamento e sovrascrizione |
| Arista 7060X5/7060X6 | Foglia o spina dell'IA | Reti Ethernet 400G/800G e reti AI multilivello | EOS, CloudVision, controllo della congestione e telemetria |
| Juniper QFX5700 | Tessuto 400G o IP | EVPN-VXLAN, storage e reti ad alta velocità per data center. | Junos, Apstra, scala di routing e ottica |
Piattaforme spinali e super-spinali con intelligenza artificiale da 800G
| Modello | Posizione tipica | Scenario adatto | Controlli importanti |
|---|---|---|---|
| NVIDIA SN5600 | Spina dorsale da 800 g o super spina dorsale | Infrastrutture di intelligenza artificiale ed Ethernet ad alta densità | OSFP, breakout, alimentazione, raffreddamento e NOS |
| NVIDIA SN5610 | Spina dorsale da 800 g o super spina dorsale | Reti di intelligenza artificiale che richiedono breakout a 800G e velocità inferiori | Mappatura delle porte, cavi sdoppiati, flusso d'aria e alimentazione |
| Arista 7060X6-64PE | Spina AI da 800 g | Backend di intelligenza artificiale e reti di data center ad alta densità | OSFP800, EOS, buffer, telemetria e controllo della congestione |
| Juniper QFX5240/QFX5241 | Foglia, spina o super-spina AI | Tessuti fogliari, spina dorsale e di accumulo basati su IA/ML | RoCEv2, PFC, ECN, breakout e Apstra |
| Cisco Nexus 9364E-SG2 | Spina dorsale da 800 g o super spina dorsale | Progetti di intelligenza artificiale basati su Cisco e Ethernet ad alta larghezza di banda | NX-OS, RoCE, opzioni QSFP-DD/OSFP e ottiche |
Piattaforme NDR InfiniBand per IA e HPC
| Modello | Modello di gestione | Scenario adatto | Controlli importanti |
|---|---|---|---|
| MQM9700-NS2F | Gestito | Tessuto 400G NDR InfiniBand AI e HPC | Gestore di sottorete, cavi OSFP, adattatori NDR e flusso d'aria P2C |
| MQM9790-NS2F | Non gestito o gestito esternamente | Infrastruttura NDR controllata da una piattaforma di gestione esterna | Gestione esterna, ottica NDR e flusso d'aria P2C |
| MQM9790-NS2R | Non gestito o gestito esternamente | Tessuto NDR che richiede flusso d'aria per rack C2P | Direzione del flusso d'aria, alimentazione, cavi OSFP e software di gestione della struttura |
Convalidare schede di rete, componenti ottici, cavi e software.
Uno switch per data center non deve essere selezionato indipendentemente dalla scheda di rete (NIC), dall'HCA, dall'HBA, dal ricetrasmettitore e dal cavo ad esso collegati.
| Requisito | Controlli lato interruttore |
|---|---|
| Scheda di rete server 100GbE | Supporto QSFP28, ottica 100G, FEC, portata del cavo e modalità porta |
| Scheda di rete Ethernet 400GbE | QSFP-DD o OSFP, breakout, funzionalità RoCE e controllo della congestione |
| Adattatore InfiniBand NDR da 400G | Supporto per switch NDR, Subnet Manager, OSFP e modalità fabric |
| Scheda di rete a doppia porta | Piani di rete separati, porte switch aggiuntive e mappatura dei binari |
| Adattatore 800G o XDR | Abbinamento di generazione di switch, cavi, firmware, PCIe e protocollo |
Ad esempio, un adattatore server 100GbE appartiene a un percorso di progettazione diverso rispetto a un adattatore InfiniBand NDR 400G. Lo stesso valore di velocità non garantisce la compatibilità del protocollo.
Ottica, cavi e breakout
- Tipo di connettore e modalità di porta supportata
- Modello di DAC, AOC o ricetrasmettitore ottico
- Fibra monomodale o multimodale
- Distanza ottica e bilancio di collegamento
- Requisiti FEC
- Configurazione breakout e mappatura corsia
- Combinazioni di polarità del cavo e velocità supportate
Una porta 400G può supportare una connessione 400G, due connessioni 200G, quattro connessioni 100G o un'altra configurazione supportata. Prima di ordinare, verificare le opzioni di breakout esatte per lo switch e il cavo.
NOS e gestione
| Requisito di distribuzione | Esempi da valutare |
|---|---|
| operazioni del data center Cisco | NX-OS, vPC, EVPN-VXLAN e Nexus Dashboard |
| Operazioni Ethernet aperte | Cumulus Linux, SONiC e ONIE |
| Implementazione di Arista | EOS, CloudVision, telemetria e automazione |
| Implementazione Juniper | Junos, Apstra, EVPN-VXLAN e policy di routing |
| Tessuto InfiniBand | Gestore di sottorete e software dedicato per la gestione della rete |
Prima di effettuare l'ordine, verificare i protocolli di routing, EVPN-VXLAN, MLAG o vPC, RoCEv2, PFC, ECN, MACsec, telemetria, API, automazione e i requisiti di integrazione del controller.
Scegliere in base allo scenario di implementazione
Rete di server e storage per uso generico
Dare priorità alle porte server da 10G o 25G, ai collegamenti uplink da 100G, al routing di livello 3, a EVPN-VXLAN o MLAG, a dispositivi ottici compatibili e a una capacità di espansione sufficiente.
Rete Ethernet AI o RoCE
Dai priorità alla connettività server a 100G, 200G o 400G, PFC, ECN, QoS, monitoraggio della congestione, progettazione ottimizzata per il rail, schede di rete compatibili e supporto breakout.
Rete InfiniBand AI o HPC
Dare priorità alla compatibilità con NDR o XDR, Subnet Manager, HCA e switch, cablaggio OSFP, topologia fat-tree o ottimizzata per rail e monitoraggio della rete.
Rete focalizzata sullo storage
Dare priorità alla latenza, al comportamento del buffer, ai requisiti Ethernet senza perdita di dati o Fibre Channel, al protocollo di archiviazione, alla ridondanza e ai collegamenti uplink 100G/200G/400G.
Rete di gestione
Dare priorità alla connettività stabile a 1G o 10G, alla densità delle porte in rame, alla gestione fuori banda, alla facilità di sostituzione e alla riduzione dei costi operativi.
Lista di controllo per l'acquisto e domande frequenti
Informazioni da includere in una richiesta di preventivo
- Ruolo nella rete: ToR, foglia, spina dorsale, archiviazione, gestione o backend AI
- Numero di server, GPU o nodi di archiviazione
- Velocità di connessione al server e di uplink richieste
- Requisiti per binario singolo o doppio
- Ethernet, RoCE, InfiniBand o Fibre Channel
- Modelli esistenti di NIC, HCA, HBA e switch
- Requisiti per ottica, DAC, AOC e breakout
- Requisiti del sistema operativo e del software
- Alimentazione CA/CC e direzione del flusso d'aria
- Profondità del rack, quantità, regione di implementazione e data di consegna prevista
Domande frequenti
Per una revisione specifica della configurazione, è possibile Inviaci i requisiti per lo switch del tuo data center, inclusi il ruolo nella rete, la mappatura delle porte, il tipo di infrastruttura, i modelli di schede di rete, i componenti ottici, i requisiti dei cavi e la regione di consegna.
Takeaway finale
La scelta di uno switch per data center è una decisione di progettazione della rete, non semplicemente una questione di nome del prodotto.
Iniziate definendo il ruolo dello switch, il protocollo di rete, le connessioni a server e storage e la crescita prevista. Successivamente, validate la configurazione delle porte, i collegamenti uplink, i moduli ottici, i cavi, il sistema operativo di rete (NOS), le funzionalità di gestione della congestione, l'alimentazione, il flusso d'aria e il supporto del ciclo di vita.
Una lista ristretta e affidabile dovrebbe rispondere a tre domande: Lo switch è adatto al carico di lavoro? È compatibile con l'infrastruttura pianificata? Può essere supportato, ampliato e acquistato entro i tempi previsti dal progetto?