Gdy trening LLM z 2,048 procesorami GPU nagle zatrzymuje się o 3:00 nad ranem z powodu błędu przekroczenia limitu czasu komunikacji zbiorczej, winowajcą rzadko jest krzem obliczeniowy. Zamiast tego, prawie zawsze jest to gwałtowny wzrost opóźnienia końcowego lub bezgłośna utrata pakietów w strukturze sieci. Wraz ze skalowaniem klastrów AI do dziesiątek tysięcy akceleratorów, połączenia międzysystemowe przestają być jedynie instalacją hydrauliczną; stają się głównym czynnikiem decydującym o wydajności wykonywania zadań przez GPU. Wybór między przełącznikiem NVIDIA Quantum-2 QM9700 NDR InfiniBand a przełącznikiem Ethernet Spectrum-4 SN5400 to nie tylko wybór typu okablowania – to fundamentalna decyzja architektoniczna dotycząca wyboru między zarządzaną sprzętowo, bezstratną strukturą a wysoce dostrajaną siecią Ethernet z komutacją pakietów.
Architektura na poziomie krzemu: potoki ASIC Quantum-2 kontra Spectrum-4
Aby zrozumieć różnice w wydajności tych dwóch platform, musimy przyjrzeć się bliżej ich architekturze krzemowej. Portfolio układów NVIDIA Quantum-2 serii QM9700 Jest on napędzany przez układ ASIC Quantum-2, wykonany w procesie technologicznym 7 nm, zapewniający łączną przepustowość dwukierunkową 51.2 Tb/s. Układ ASIC Quantum-2 został zaprojektowany specjalnie z myślą o ultraniskim opóźnieniu i routingu typu cut-through, osiągając opóźnienie między portami poniżej 150 nanosekund.
Cechą charakterystyczną krzemu Quantum-2 jest jego zintegrowana sprzętowo SHARPv3 (protokół skalowalnej hierarchicznej agregacji i redukcji) Silnik. W przeciwieństwie do tradycyjnych przełączników, które jedynie przekazują pakiety, QM9700 aktywnie uczestniczy w obliczeniach. Przechwytuje operacje komunikacji zbiorczej (takie jak All-Reduce, All-Gather i Reduce-Scatter używane w PyTorch Distributed Data Parallel) i wykonuje redukcję matematyczną bezpośrednio w jednostkach arytmetycznych (ALU) układu ASIC przełącznika. Odciąża to rdzenie Tensor GPU z narzutu obliczeniowego i zmniejsza ilość danych przesyłanych przez strukturę nawet o 50%, co przekłada się na 32-krotny wzrost wydajności akceleracji AI w porównaniu z poprzednimi generacjami.
Natomiast Spectrum-4 SN5400 został zbudowany na układzie ASIC Spectrum-4, monolitycznym układzie Ethernet 51.2 Tb/s, zaprojektowanym do obsługi ogromnych, nieprzewidywalnych wzorców pakietów w środowiskach chmurowych z wieloma użytkownikami. Potok Spectrum-4 wykorzystuje w pełni współdzieloną, dynamiczną architekturę bufora pakietów (160 MB), aby absorbować mikropęknięcia bez utraty pakietów.
Choć opóźnienie przecięcia jest nieco wyższe niż w przypadku InfiniBand (~500 do 600 nanosekund), Spectrum-4 rekompensuje to niezwykle elastycznym analizatorem pakietów i zaawansowanymi silnikami telemetrycznymi, takimi jak WJH (Co się właśnie wydarzyło), który zapewnia diagnostykę utraty pakietów na poziomie sprzętu w czasie rzeczywistym, aż do dokładnej kolejki buforowej i kodu przyczyny.
Bitwa protokołów: natywny InfiniBand kontra RoCEv2 Ethernet w klastrach AI
Wybór pomiędzy QM9700 a SN5400 jest w zasadzie kwestią debaty nad tym, w jaki sposób osiągana jest bezstratność na poziomie warstwy transportowej.
Natywny InfiniBand (QM9700): InfiniBand to oparta na kredycie, zorientowana na połączenie struktura sieciowa. Zanim nadawca będzie mógł wysłać pakiet, musi otrzymać „kredyt” z portu odbiorczego, wskazujący na dostępność bufora. Ta sprzętowa kontrola przepływu gwarantuje 100% bezstratną strukturę sieciową w każdych warunkach obciążenia. Ponadto, QM9700 wykorzystuje… Trasowanie adaptacyjnePonieważ InfiniBand Subnet Manager (SM) utrzymuje globalny widok topologii, układ ASIC przełącznika może dynamicznie kierować pakiety indywidualnie na niezatłoczonych ścieżkach, całkowicie eliminując problemy z punktami zapalnymi i nieuporządkowaną dostawą pakietów.
RoCEv2 Ethernet (SN5400): Ethernet jest z natury medium stratnym, wymagającym maksymalnego wysiłku. Aby uruchomić RDMA przez Ethernet (RoCEv2), SN5400 musi emulować bezstratność, wykorzystując kombinację Kontrola przepływu priorytetowego (PFC) oraz Jawne powiadomienie o przeciążeniu (ECN).
- PFC działa na warstwie 2, odsyłając ramki pauzy do nadajnika po przekroczeniu określonego progu bufora kolejki. Jednak PFC jest podatny na „zakleszczenia PFC” i „blokowanie na początku linii (HoL)”.
- ECN działa na warstwie 3, oznaczając nagłówek IP pakietów, gdy wzrasta zajętość bufora, sygnalizując hostom końcowym konieczność ograniczenia szybkości transmisji.
Aby osiągnąć wydajność równą wydajności InfiniBand, inżynierowie sieci muszą starannie dostroić te progi. Aby dowiedzieć się więcej o optymalizacji Ethernetu pod kątem obciążeń AI, zapoznaj się z naszym Analiza sieci AI NVIDIA Spectrum-X i Ethernet.
Specyfikacje sprzętu i wymiary w warunkach rzeczywistych
Podczas projektowania fizycznego klastra, zasilanie, chłodzenie i gęstość portów determinują fizyczny układ architektury Leaf-Spine. Model QM9700 mieści 64 porty NDR 400 Gb/s InfiniBand w obudowie 1U, wykorzystując 32 fizyczne klatki OSFP. Model SN5400, zazwyczaj montowany w obudowie 2U, oferuje do 64 fizycznych portów 800 Gb/s (lub do 128 portów 400 Gb/s poprzez rozdzielenie), oferując wyższą gęstość przepustowości na jednostkę rack, ale kosztem wyższych wymagań termicznych i energetycznych.
| Specyfikacja / Funkcja | NVIDIA Quantum-2 QM9700 | NVIDIA Spectrum-4 SN5400 |
|---|---|---|
| Protokół | Natywny InfiniBand (NDR) | Ethernet (RoCEv2, TCP/IP) |
| Maksymalna przepustowość | 51.2 Tb/s (dwukierunkowo) | 51.2 Tb/s (dwukierunkowo) |
| Konfiguracja portu | 64x 400 Gb/s NDR (przez 32x OSFP) | 64x 800 Gb/s lub 128x 400 Gb/s (OSFP) |
| Opóźnienie ASIC (przejście) | <150 ns | 500 – 600 ns |
| Bufor pakietów | Rozproszony bufor na chipie | 160 MB w pełni współdzielonego bufora dynamicznego |
| Przetwarzanie w sieci | SHARPv3 (zbiorcze odciążanie sprzętu) | Nie (opiera się na redukcji obciążenia procesora graficznego na hoście) |
| Kontrola przepływu | Oparte na kredytach (natywne sprzętowo) | PFC (Priorytetowa kontrola przepływu) + ECN |
| Maksymalny pobór mocy | 1,084 W (pasywne), 1,720 W (optyczne) | ~1,600 W do 2,100 W (w zależności od optyki) |
| Zarządzanie systemem operacyjnym | MLNX-OS / Menedżer dostępu NVIDIA | Cumulus Linux / SONiC / Onyx |
Sprawdź stan magazynowy, porównaj opcje lub porozmawiaj z naszym zespołem.
Konfiguracja i dostrajanie interfejsu CLI: łagodzenie przeciążeń i utraty pakietów
W klastrze AI opartym na sieci Ethernet, wykorzystującym Spectrum-4 SN5400, konfiguracja RoCEv2 ze ścisłym PFC i ECN jest obowiązkowa, aby zapobiec utracie pakietów, która w przeciwnym razie spowodowałaby retransmisję TCP i zatrzymanie szkolenia GPU. Poniżej znajduje się skrypt konfiguracyjny klasy produkcyjnej dla Cumulus Linux (zgodnego z SONiC) na Spectrum-4 SN5400, umożliwiający bezstratne przesyłanie RoCEv2 na portach SWP1 do SWP8.
Aby sprawdzić, czy przełącznik QM9700 InfiniBand nie doświadcza błędów symboli warstwy fizycznej lub utraty bufora, należy użyć interfejsu wiersza poleceń MLNX-OS CLI w celu sprawdzenia liczników portów:
Optymalizacja łańcucha dostaw i zakupów w przypadku globalnych wdrożeń sztucznej inteligencji
Budowa klastra AI to wyścig z czasem. Każdego tygodnia, gdy Twoje procesory graficzne stoją bezczynnie, czekając na przełączniki sieciowe, Twoja organizacja traci przewagę konkurencyjną i ponosi ogromne straty kapitałowe. Tradycyjne kanały dystrybucji wysokiej klasy sprzętu sieciowego AI często podają terminy realizacji zamówienia wynoszące od 16 do 24 tygodni, co dodatkowo potęgują wielopoziomowe marże dystrybutorów regionalnych, które zawyżają zestawienie materiałowe (BOM).
Przełączniki routerowe rozwiązują te wąskie gardła wdrożeniowe za pomocą solidnego, globalnego modelu łańcucha dostaw:
- Natychmiastowa dostępność: Utrzymujemy zapasy magazynowe o wartości ponad 20 mln USD w globalnych centrach obejmujących wiele magazynów, co umożliwia wysyłkę tego samego tygodnia na kluczowe rynki rozwoju sztucznej inteligencji, w tym do Stanów Zjednoczonych (USA), Singapuru (SG) i Niemiec (DE).
- Optymalizacja kosztów: Omijając regionalnych pośredników, oferujemy bezpośrednie ceny hurtowe zarówno w przypadku zakupu hurtowego, Przełącznik NDR InfiniBand NVIDIA Quantum-2 QM9700 i platform Spectrum-4, co znacznie obniży nakłady inwestycyjne klastra.
- Ograniczenie ryzyka: Każdy wysyłany przełącznik ma gwarancję oryginalności i 100% autentyczności, a jego numer seryjny można w pełni zweryfikować w oficjalnych bazach danych dostawców przed wysyłką.
- Wsparcie klasy korporacyjnej: Aby zastąpić drogie, sztywne umowy wsparcia, oferujemy bezpłatne indywidualne konsultacje inżynieryjne na poziomie CCIE/CCDE w zakresie projektowania tkanin, a także nasze bezpłatne 3-letnia opieka RS Rozszerzona gwarancja. Obejmuje usługę szybkiej wymiany RMA w trybie gotowości, aby zminimalizować średni czas naprawy (MTTR) klastra.