• Intro
  • Guida alla progettazione
  • Prodotto consigliato
  • Confronto
  • Utilizza casi

Che cos'è l'architettura di rete del cluster GPU?

Che
  • L'architettura di rete del cluster GPU è un fabric ad alta larghezza di banda e bassa latenza che interconnette server GPU, storage e servizi per il training dell'intelligenza artificiale, l'inferenza e i carichi di lavoro HPC. Basata su switch per data center Cisco Nexus/Catalyst 9000 da 25G/100G/400G e Juniper QFX/EX, utilizza design spine-leaf non bloccanti per mantenere le pipeline GPU completamente utilizzate e ridurre al minimo i colli di bottiglia nelle comunicazioni durante i lavori distribuiti su larga scala.

    Le funzionalità principali includono EVPN-VXLAN per fabric layer 2/3 scalabili, underlay ottimizzato per RoCE con QoS e PFC e transceiver ottici 40G/100G/400G ad alta densità, oltre a cablaggio DAC/AOC QSFP+/QSFP28/QSFP-DD. Questa combinazione offre latenza deterministica, throughput prevedibile e scalabilità orizzontale flessibile, consentendo ad architetti e ingegneri di progettare cluster GPU che accelerano l'addestramento dei modelli, riducono i tempi di risposta e supportano l'espansione elastica dei data center AI/HPC.

Progettazione di Ethernet Fabric per cluster GPU

Scopri come progettare strutture Ethernet ad alta larghezza di banda e bassa latenza per cluster GPU, dall'architettura leaf-spine e sottostanti RoCE alle scelte di ottica e cablaggio per carichi di lavoro AI e HPC scalabili.

Progettazione
  • Requisiti GPU Fabric per carichi di lavoro AI e HPC

    I moderni cluster GPU che gestiscono carichi di lavoro di addestramento, inferenza e HPC basati sull'intelligenza artificiale richiedono larghezza di banda non bloccante, latenza a livello di microsecondi e comportamenti di congestione prevedibili. Gli architetti devono tenere conto dei modelli di traffico est-ovest, degli scambi all-to-all su larga scala e del trasporto basato su RoCE. Questa sezione chiarisce le metriche target per l'oversubscription, il comportamento ECN e PFC, i domini di errore e il margine di espansione, in modo da poter tradurre gli SLA delle applicazioni in requisiti concreti del fabric Ethernet prima di selezionare switch, componenti ottici e cablaggio.

    Discuti le tue esigenze
Progettazione
  • Progettazione del sottofondo Leaf-Spine, EVPN-VXLAN e RoCE-Ready

    Una volta definiti i requisiti del fabric, il passo successivo è la selezione di una topologia e di un piano di controllo appropriati. Un'architettura leaf-spine con EVPN-VXLAN offre connettività scalabile di livello 2/3 e isolamento dei tenant, mentre un underlay attentamente ottimizzato consente il traffico RoCE sensibile alle perdite. Qui delineiamo i modelli di progettazione best practice per porte 25G/100G/400G, ECMP, MTU, QoS e pianificazione del buffer, in modo che il fabric Ethernet offra prestazioni deterministiche per la pianificazione dei job GPU e i cluster multi-tenant.

    Ottieni indicazioni sulla progettazione del tessuto

Caratteristiche principali di GPU Fabric Switch e ottica

Switch spine-leaf Ethernet Cisco e Juniper 25G/100G/400G, ottica e cablaggio per cluster GPU HPC e AI non bloccanti a bassa latenza.

Tessuto scalabile 100G/400G

Crea una leaf-spine non bloccante con porte da 25G a 400G e una capacità di elaborazione fino a 12.8T.

Ethernet ottimizzata per GPU

Supporto pronto per RoCE con ECN, PFC e telemetria ottimizzati per la perdita di dati nel tessuto di addestramento dell'IA.

Automazione EVPN-VXLAN

EVPN-VXLAN basato su standard per cluster AI multi-tenant e scalabilità fluida della GPU fabric.

Ethernet GPU Fabrics vs InfiniBand: confronto tra AI e HPC

Confronta InfiniBand con i moderni fabric GPU Ethernet 100G/400G per bilanciare latenza, scalabilità e costi per cluster AI e HPC.

AspettoTessuti InfiniBand tradizionali
Cluster di GPU Ethernet (100G/400G)
Risultato per te
Latenza e jitterLatenza estremamente bassa, rigorosamente controllata ma su uno stack proprietario.Latenza quasi InfiniBand con Ethernet Cisco/Juniper 100G/400G ottimizzata per RoCE.Tempi di completamento dei lavori GPU prevedibili senza vincolarsi a un singolo fornitore di fabric.
Velocità di trasmissione e portaAmpia larghezza di banda ma ecosistema limitato per 400G e futuri aggiornamenti.Ampia roadmap 25G/100G/400G con ottica QSFP standard e cablaggio DAC/AOC.Aumenta la larghezza di banda per l'addestramento dell'IA utilizzando switch e ottiche da 400G ampiamente disponibili e convenienti.
Scalabilità e progettazione del tessutoSi adatta bene, ma i grandi tessuti Clos sono complessi e strettamente vincolati a un unico fornitore.I fabric leaf-spine EVPN-VXLAN si ridimensionano orizzontalmente su pod e domini.Aggiungere rack e spine GPU in modo incrementale senza riprogettare l'intera interconnessione.
Ecosistema e aperturaStrumenti proprietari e integrazione limitata con le reti DC tradizionali.Ethernet basata su standard che interagisce con gli attuali Cisco Nexus, Catalyst e Juniper QFX/EX.Unifica intelligenza artificiale, storage e traffico aziendale in un'unica struttura, semplificando le operazioni e il riutilizzo delle competenze.
Strumenti e competenze operativeGestione specializzata; meno ingegneri con una profonda esperienza con InfiniBand.Sfrutta i noti framework DC Ops, telemetria e automazione per Ethernet.Distribuzione e risoluzione dei problemi più rapide grazie agli strumenti che il tuo team già conosce.
TCO e approvvigionamentoCosti più elevati per porto, approvvigionamento limitato e dipendenza da un unico fornitore primario.Prezzi competitivi per switch, componenti ottici e cavi di diversi fornitori Ethernet.Ridurre i costi in conto capitale e i rischi della supply chain, mantenendo al contempo le prestazioni dei cluster GPU.
Adattamento del carico di lavoro (IA e HPC)Ideale per MPI strettamente accoppiati e carichi di lavoro di nicchia estremamente sensibili alla latenza.Ottimizzato per l'addestramento AI su larga scala, l'inferenza e l'HPC misto su strutture condivise.Supporta le attuali esigenze di formazione GPU e i futuri servizi di intelligenza artificiale multi-tenant su un'unica architettura.

Hai bisogno di aiuto? Esperti tecnici disponibili subito.

  • +1-626-655-0998 (Stati Uniti)
    UTC 15:00-00:00
  • +852-2592-5389 (Hong Kong)
    UTC 00:00-09:00
  • +852-2592-5411 (Hong Kong)
    UTC 06:00-15:00
Hai bisogno di aiuto? Esperti tecnici disponibili subito.

Casi d'uso della rete di cluster GPU

Scopri dove gli switch, le ottiche e i cavi Cisco e Juniper 25G/100G/400G consentono cluster GPU scalabili e a bassa latenza per carichi di lavoro AI, ML e HPC.

Tessuti di formazione AI

Tessuti di formazione AI

  • Progetta cluster GPU non bloccanti per l'addestramento di modelli su larga scala utilizzando Cisco Nexus/Catalyst 9000 e Juniper QFX/EX in strutture spine-leaf EVPN-VXLAN. Porte 100G/400G ad alta densità, underlay ottimizzati per RoCE e controllo della congestione senza perdite garantiscono il completamento deterministico dei processi e l'utilizzo efficiente della GPU su larga scala.
Inferenza in tempo reale

Inferenza in tempo reale

  • Supportano servizi di inferenza critici per la latenza per piattaforme fintech, ad tech e personalizzazione con ToR 25G e aggregazione 100G/400G. Gli switch per data center Cisco e Juniper con QoS, PFC ed ECN precisi offrono latenza a livello di microsecondi, throughput costante e prestazioni prevedibili su nodi GPU e livelli applicativi front-end.
Simulazioni HPC

Simulazioni HPC

  • Crea interconnessioni ad alta capacità per carichi di lavoro CFD, elaborazione sismica, genomica e ingegneria. I design spine-leaf da 100G/400G con ottica QSFP+/QSFP28/QSFP-DD e cablaggio DAC/AOC forniscono una larghezza di banda est-ovest densa, consentendo l'esecuzione efficiente di processi HPC accelerati da MPI e GPU su cluster di grandi dimensioni con scalabilità prevedibile e contesa di rete minima.
Cloud di intelligenza artificiale aziendale

Cloud di intelligenza artificiale aziendale

  • Fornisci piattaforme di intelligenza artificiale e MLOps private per grandi aziende che utilizzano switch Cisco e Juniper 25G/100G/400G. I fabric EVPN-VXLAN collegano pool di GPU, storage e reti tenant con elevata segmentazione, automazione e visibilità, consentendo servizi di intelligenza artificiale multi-tenant sicuri e prestazioni prevedibili per diverse pipeline di formazione e inferenza.

Domande frequenti

Come faccio a scegliere tra gli switch Cisco e Juniper per la mia architettura di rete del cluster GPU?

Sia Cisco (Nexus, Catalyst 9000) che Juniper (QFX, EX) offrono fabric Ethernet a bassa latenza e ad alta velocità per AI/ML e HPC. La scelta giusta dipende solitamente dallo standard del data center esistente, dal NOS preferito (NX-OS, IOS-XE, Junos), dallo stack di automazione (Ansible, Terraform, Python) e dalle competenze operative. Dal punto di vista del networking di cluster GPU, è importante concentrarsi su una densità di porte 100G/400G coerente, un'architettura buffer RoCE-ready, il supporto EVPN-VXLAN e design spine-leaf non bloccanti. Router-switch.com può aiutarti a confrontare modelli concreti, ottiche e opzioni di cablaggio per allinearli ai tuoi obiettivi di prestazioni e budget.

Di quale larghezza di banda e topologia di rete ho bisogno per l'addestramento AI delle GPU: 25G/100G/400G e spine-leaf?

  • La maggior parte dei cluster di addestramento GPU moderni utilizza un uplink da 100 G per server GPU allo switch ToR e uplink da 100 G/400 G da ToR a spine per creare un fabric leaf-spine non bloccante o con bassa sovra-sottoscrizione per il traffico AI est-ovest.
  • Per ambienti AI/ML e HPC su larga scala, gli switch spine 400G con opzioni di breakout 4×100G o 8×50G offrono una maggiore larghezza di banda bisezionale, una migliore scalabilità e prestazioni più deterministiche per le comunicazioni GPU basate su RoCE nei fabric EVPN-VXLAN.

Quali cavi ottici, DAC e AOC dovrei utilizzare tra server GPU, ToR e switch spine?

Per la connettività a corto raggio tra server GPU e ToR all'interno del rack, il DAC passivo (QSFP+/QSFP28/QSFP-DD) è in genere preferito per 40G/100G/400G per la sua bassa latenza, il basso consumo energetico e il costo inferiore. Per le connessioni inter-rack o row-to-row tra switch ToR e spine, i clienti solitamente combinano DAC/AOC attivi per distanze medie e transceiver ottici 40G/100G/400G con fibra multimodale o monomodale per tratte più lunghe, a seconda della configurazione del data center e dei piani di capacità futuri.
    Scelte di cablaggio consigliate per cluster GPU
  • In rack: DAC o AOC da 25G/100G dalle schede di rete GPU alle porte ToR per una latenza minima e una gestione semplificata.
  • Fine riga/aggregazione: AOC 100G/400G o transceiver ottici (ad esempio, QSFP28 SR4/DR, QSFP-DD DR4/FR4) per interconnessioni spine-leaf scalabili.
    Considerazioni sulla compatibilità e l'interoperabilità
  • Abbinare il fattore di forma e la codifica del transceiver (QSFP+/QSFP28/QSFP‑DD) a ciascuna porta Cisco Nexus/Catalyst o Juniper QFX/EX e assicurarsi che l'ottica sia codificata o testata per quel fornitore per evitare problemi di collegamento o supporto.
  • Quando si combinano fornitori nella stessa struttura, convalidare l'interoperabilità a livello di collegamento (modalità FEC, autonegoziazione, mapping di breakout) in un laboratorio o PoC prima di distribuirla ai nodi GPU di produzione.

Ethernet con EVPN‑VXLAN e RoCE può davvero sostituire InfiniBand per i cluster AI e GPU HPC?

I moderni fabric Ethernet per data center da 100G/400G che utilizzano Cisco Nexus/Catalyst 9000 o Juniper QFX con EVPN-VXLAN e un'infrastruttura RoCE (RDMA su Ethernet convergente) ben ottimizzata possono raggiungere una latenza nell'ordine dei microsecondi e un throughput elevato, competitivo con molte implementazioni InfiniBand. Per molti carichi di lavoro di addestramento AI, inferenza e HPC misti, questo approccio Ethernet convergente semplifica le operazioni, riduce i costi e offre una migliore interoperabilità con le reti IP esistenti, garantendo al contempo prestazioni deterministiche per i cluster GPU.

Quanto è scalabile questa architettura di rete cluster GPU basata su Cisco e Juniper? Posso espanderla in seguito da 100G a 400G?

L'architettura del cluster GPU proposta è basata su fabric spine-leaf che utilizzano switch 100G/400G modulari o fissi che supportano la configurazione porta per porta, breakout e ottiche flessibili. È possibile iniziare con l'accesso server 25G/100G al ToR e uplink 100G allo spine, quindi introdurre switch spine 400G o schede di linea spine e migrare i trunk critici a 400G man mano che le dimensioni del cluster e i processi di training aumentano. L'utilizzo di EVPN-VXLAN e di cavi ottici/DAC/AOC standardizzati protegge l'investimento iniziale, consentendo al contempo la scalabilità orizzontale lineare di server GPU, storage e capacità del fabric.

Che dire della garanzia, dell'assistenza e del ciclo di vita quando si acquistano switch Cisco o Juniper e ottiche per fabric GPU?

Quando si progetta un fabric GPU con Cisco Nexus/Catalyst e Juniper QFX/EX, è importante allineare le scelte hardware e ottiche con le policy ufficiali del ciclo di vita, le roadmap software e i contratti di supporto disponibili dei fornitori, in particolare per la formazione AI mission-critical e i cluster HPC. Molti clienti combinano il supporto del fornitore con servizi a valore aggiunto di partner come router-switch.com Per la convalida della progettazione, l'ottimizzazione della distinta base (BOM) e la pianificazione della migrazione. Nota: i termini di garanzia e i servizi di supporto specifici possono variare in base al prodotto e alla regione. Per dettagli accurati, fare riferimento alle informazioni ufficiali. Per ulteriori informazioni, contattare: router-switch.com.

Recensioni in evidenza

David Henderson

Avevamo bisogno di un fabric deterministico a bassa latenza per l'addestramento della GPU senza far saltare le nostre spese in conto capitale. Router-switch.com Ci hanno fornito un mix Cisco-Juniper di switch 100G/400G, ottiche e DAC, che si integravano direttamente nel nostro progetto EVPN-VXLAN. Il loro prezzo, l'affidabilità delle scorte e le indicazioni progettuali ci hanno aiutato a scalare più rapidamente, mantenendo bassi i rischi di interoperabilità.

Aiko tanaka

Il nostro team di intelligenza artificiale aveva bisogno di prestazioni RoCE prevedibili e di un percorso di migrazione chiaro da 100G a 400G. Router-switch.com ha proposto un sistema spine-leaf basato su QFX con ottiche Cisco e Juniper abbinate che funziona alla perfezione. Gli ordini sono arrivati ​​rapidamente, completamente compatibili, e i loro tecnici di prevendita hanno contribuito a perfezionare le impostazioni di buffer e QoS per carichi di lavoro GPU stabili.

Markus Vogel

Progettando un nuovo cluster GPU, abbiamo faticato a bilanciare produttività, latenza e scalabilità a lungo termine. Router-switch.com Forniamo switch Nexus e QFX con ottiche 100G/400G e DAC in un bundle convalidato. Il fabric è non-blocking, compatibile con RoCE e il supporto post-vendita sulla compatibilità delle ottiche e sulla gestione delle richieste RMA è stato eccezionale.

Altre soluzioni

Ethernet vs InfiniBand for AI & HPC Networks

Ethernet vs InfiniBand per reti AI e HPC

Un confronto mirato tra Ethernet e InfiniBand per strutture AI/HPC: latenza, scalabilità, RDMA e compromessi sui costi.

Reti AI e HPC
Beyond Bandwidth: The 100G+ Data Center Architecture

Oltre la larghezza di banda: l'architettura del data center 100G+

La base indispensabile per il 100G: crescita pronta per l'intelligenza artificiale, prestazioni a latenza zero

Banca dati
Copper vs Fiber vs DAC/AOC Interconnects Guide

Guida alle interconnessioni in rame, fibra e DAC/AOC

Un confronto completo tra rame, fibra, DAC e AOC: latenza, portata, costo e idoneità all'implementazione 10G/25G/100G/400G.

Cablaggio e ricetrasmettitori