Mellanox Spectrum SN2700 vs SN3700: Jaka jest ścieżka modernizacji centrum danych?

Gdy przeprowadzasz migrację NVMe-over-Fabrics (NVMe-oF) o północy lub skalujesz klaster obliczeniowy AI z obsługą RDMA i zaczynasz zauważać ciche utraty pakietów i retransmisje TCP na starszych przełącznikach typu leaf, winowajcą rzadko jest światłowód. W środowiskach pamięci masowej o wysokiej przepustowości i niskich opóźnieniach, mikroprzepływy łatwo przeciążają statyczne bufory pakietów, co prowadzi do wąskich gardeł w serializacji buforów pakietów. Przez lata Mellanox Spectrum SN2700 był głównym elementem struktury leaf/spine w centrach danych 100 GbE. Jednak wraz z przejściem obciążeń na rozproszone uczenie maszynowe i pamięć masową flash o wysokiej gęstości, ograniczenia krzemu pierwszej generacji stają się oczywiste.

Modernizacja z układu Mellanox Spectrum SN2700 (Spectrum-1 ASIC) do SN3700 (Spectrum-2 ASIC) to nie tylko przejście ze 100 GbE do 200 GbE; to fundamentalna zmiana architektury w zakresie alokacji buforów pakietów, możliwości telemetrycznych i zarządzania przeciążeniem. Ta dogłębna analiza techniczna ocenia potoki krzemowe, metryki wydajności i rzeczywiste strategie wdrażania niezbędne do przeprowadzenia bezproblemowej migracji centrum danych ze 100 GbE do 200 GbE.

Spis treści

• Ewolucja potoków krzemowych: architektura ASIC Spectrum-1 kontra Spectrum-2
• Specyfikacje sprzętu i skalowanie wydajności w warunkach rzeczywistych
• Łagodzenie trzepotania portów i niezgodności FEC we wdrożeniach 100G/200G
• Strategiczna migracja i zaopatrzenie: optymalizacja nakładów inwestycyjnych na centra danych
• Rozwiązywanie problemów przez ekspertów i pytania i odpowiedzi społeczności

Ewolucja potoków krzemowych: architektura ASIC Spectrum-1 kontra Spectrum-2

Różnice architektoniczne między Mellanox Spectrum SN2700 a SN3700 zaczynają się na poziomie krzemu. SN2700 oparty jest na układzie ASIC Spectrum-1 pierwszej generacji, wykonanym w procesie technologicznym 28 nm. SN3700 Wykorzystuje układ ASIC Spectrum-2, zbudowany w oparciu o wysoce wydajny proces technologiczny FinFET 16 nm. To zmniejszenie matrycy pozwoliło firmie Mellanox podwoić przepustowość przełączania, a jednocześnie wprowadzić zaawansowane potoki przetwarzania pakietów.

Serializacja bufora pakietów i łagodzenie mikrowybuchów

Najważniejszą modernizacją architektury ASIC Spectrum-2 jest model alokacji bufora pakietów:

• Widmo-1 (SN2700): Posiada 16 MB w pełni współdzielonego bufora pakietów. Choć jest on lepszy od buforów segmentowanych/wyciętych w nowoczesnych układach Broadcom Tomahawk, 16 MB może szybko ulec nasyceniu przy intensywnych wzorcach incast (np. zapisach danych w trybie wiele do jednego).
• Widmo-2 (SN3700):Posiada ogromny, dynamicznie współdzielony bufor pakietów o pojemności 42 MB. Bufor ten nie jest statycznie partycjonowany dla każdego portu; zamiast tego, algorytm dynamicznej alokacji przydziela przestrzeń buforową na żądanie portom doświadczającym przejściowego przeciążenia. To znacząco zmienia profil odrzucania pakietów typu microburst, umożliwiając SN3700 absorbowanie pakietów nawet 2.6 razy większych niż SN2700 przed zainicjowaniem odrzucania pakietów typu tail drop lub uruchomieniem funkcji Priority Flow Control (PFC).

Profile opóźnień

W handlu o wysokiej częstotliwości (HFT) i klastrowaniu o ultraniskich opóźnieniach, opóźnienie między portami jest kluczowym parametrem. Model SN2700 zapewnia ultraniskie opóźnienie przecięcia (cut-through) wynoszące 300 ns dla pakietów 100 GbE. Co ciekawe, model SN3700 charakteryzuje się nieco wyższym profilem opóźnienia, wynoszącym około 425 ns. Ten niewielki wzrost jest kompromisem za zwiększoną głębokość potoku, większe tabele wyszukiwania buforów i zaawansowane możliwości analizy pakietów oferowane przez Spectrum-2. W przypadku 99% korporacyjnych centrów danych i obciążeń AI, ogromna pojemność bufora i mechanizmy unikania przeciążenia modelu SN3700 znacznie przewyższają różnicę w opóźnieniu wynoszącą 125 ns.

Telemetria sprzętowa: co się właśnie wydarzyło (WJH)

Układ ASIC Spectrum-1 opiera się na tradycyjnych algorytmach sFlow i SNMP, które często pomijają przejściowe mikroprzepływy występujące w zakresie milisekund. Układ ASIC Spectrum-2 wprowadza sprzętowe Co się właśnie wydarzyło (WJH) Telemetria. WJH analizuje pakiety utracone na poziomie ASIC i przesyła strumieniowo szczegółowe metadane diagnostyczne (w tym dokładną przyczynę utraty, taką jak niezgodność VLAN, utrata listy kontroli dostępu (ACL) lub utrata końca bufora) bezpośrednio do narzędzi monitorujących w czasie rzeczywistym. Eliminuje to domysły podczas skomplikowanego rozwiązywania problemów sieciowych.

Specyfikacje sprzętu i skalowanie wydajności w warunkach rzeczywistych

Planując ścieżkę modernizacji przełącznika Mellanox SN2700, architekci sieci muszą ocenić fizyczne i logiczne ograniczenia skalowalności obu platform. SN2700 to platforma wyłącznie 100 GbE, podczas gdy rodzina SN3700 oferuje wiele wariantów SKU, w tym SN3700C (32-portowy przełącznik 100 GbE zaprojektowany jako bezpośredni zamiennik SN2700, ale z zaletami Spectrum-2) oraz standardowy SN3700 (obsługujący 32 porty 200 GbE przez interfejsy QSFP56).

Aby zoptymalizować zakupy i ocenić alokację budżetu, możesz zapoznać się z Specyfikacje i ceny przełącznika Mellanox Spectrum SN2700 porównanie kosztów wdrożenia starszego sprzętu z kosztami wdrożenia sprzętu nowej generacji.

Poniższa tabela przedstawia specyfikacje techniczne modeli SN2700, SN3700C i SN3700:

Łagodzenie trzepotania portów i niezgodności FEC we wdrożeniach 100G/200G

W przypadku migracji centrum danych ze 100G do 200G typowym problemem inżynieryjnym w świecie rzeczywistym jest Niezgodności w korekcji błędów do przodu (FEC)Podczas podłączania starszej karty sieciowej 100G (takiej jak ConnectX-4 lub ConnectX-5) do nowszego portu przełącznika Spectrum-2 lub podczas korzystania z transceiverów innych firm, często zdarza się, że połączenie nie zostaje nawiązane lub port ciągle trzepocze.

Dzieje się tak, ponieważ domyślny tryb FEC w urządzeniu SN3700 (zwykle FEC Reeda-Solomona lub rs) nie może automatycznie negocjować ze starszą kartą sieciową, co mogłoby się wydawać no-fec lub Firecode FEC (fc).

Aby rozwiązać ten problem, inżynierowie sieciowi muszą ręcznie skonfigurować prędkość portu, opcje rozgałęzienia i tryby FEC. Poniżej znajduje się gotowy do skopiowania i wklejenia skrypt konfiguracyjny dla systemu Mellanox Onyx (MLNX-OS), który umożliwia podzielenie portu 200G w routerze SN3700 na dwa interfejsy 100G i ręczne ustawienie trybu FEC na rs aby zapobiec trzepotaniu i sprawdzić liczniki pominiętych buforów pakietów.

# Enter global configuration mode
enable
configure terminal

# Step 1: Configure port breakout on interface 1/1 (Split 200G QSFP56 to 2x 100G)
interface ethernet 1/1 module-type qsfp-split-2

# Step 2: Navigate to the newly created sub-interfaces and configure FEC
interface ethernet 1/1/1
  description Uplink_To_Legacy_100G_Leaf
  speed 100G
  fec rs
  no shutdown
exit

interface ethernet 1/1/2
  description Storage_Node_Connection
  speed 100G
  fec rs
  no shutdown
exit

# Step 3: Configure RoCEv2 Congestion Control (Explicit Congestion Notification - ECN)
interface ethernet 1/1/1 traffic-class 3 congestion-control ecn minimum-threshold 150kb maximum-threshold 1500kb mark-probability 10

# Step 4: Verification and Diagnostics
show interfaces ethernet 1/1/1 status
show interfaces ethernet 1/1/1 counters drop
show system wjh-records

Strategiczna migracja i zaopatrzenie: optymalizacja nakładów inwestycyjnych na centra danych

Migracja aktywnej struktury centrum danych z SN2700 do SN3700 wymaga starannego planowania, aby uniknąć przestojów sieci i przekroczenia budżetu. Tradycyjne kanały dystrybucji często podają czas realizacji od 6 do 8 tygodni dla przełączników o wysokiej gęstości, co może opóźnić rozbudowę infrastruktury krytycznej i skutkować karami za opóźnienie projektu.

Przełączniki routerowe rozwiązują te wąskie gardła w łańcuchu dostaw, utrzymując ponad 20 milionów dolarów w zapasach magazynowych na półkach, umożliwiając wysyłkę w tym samym tygodniu do miejsc docelowych na całym świecie, w tym na rynek amerykański. Ta szybka dostępność jest kluczowa dla klientów korporacyjnych przeprowadzających migracje etapowe, gdzie sprzęt musi dotrzeć dokładnie wtedy, gdy otwierają się okna konserwacyjne.

Ponadto płaski łańcuch dostaw przełączników Router-switch omija liczne warstwy regionalnych marż dystrybutorów, umożliwiając integratorom systemów i działom IT przedsiębiorstw zabezpieczenie bezpośrednich rabatów przy zakupie hurtowym zarówno starszej serii SN2700 (w celu oszczędzania lub rozbudowy istniejących modułów), jak i nowszej serii SN3700.

Aby ograniczyć ryzyko po wdrożeniu, każdy dostarczany przełącznik jest objęty wsparciem 100% oryginalna gwarancja oryginalności, z numerami seryjnymi w pełni weryfikowalnymi w oficjalnej bazie danych producenta przed wysyłką. Zamiast polegać na drogich, sztywnych umowach wsparcia technicznego z dostawcą, wdrożenia są wspierane przez bezpłatne, indywidualne konsultacje inżynieryjne na poziomie CCIE/CCDE oferowane przez Router-switch oraz bezpłatny 3-letnia rozszerzona gwarancja RS Care, która obejmuje usługę szybkiej wymiany RMA w celu zminimalizowania średniego czasu naprawy (MTTR).

Rozwiązywanie problemów przez ekspertów i pytania i odpowiedzi społeczności

P1: Czy mogę łączyć przełączniki SN2700 i SN3700 w tej samej strukturze EVPN-VXLAN?

Tak. Zarówno układy ASIC Spectrum-1 (SN2700), jak i Spectrum-2 (SN3700) w pełni obsługują płaszczyzny sterowania EVPN-VXLAN. Należy jednak zaprojektować infrastrukturę sieciową, mając na uwadze najmniejszy wspólny mianownik w zakresie skalowalności. Model SN2700 ma mniejsze tablice ARP/ND i MAC w porównaniu z modelem SN3700. Jeśli używasz przełączników SN2700 jako węzłów liściowych, a przełączników SN3700 jako węzłów szkieletowych, upewnij się, że węzły liściowe nie przekraczają limitów routingu i tablic hostów L3 wynoszących 256 KB.

P2: Dlaczego mój SN3700 wyświetla komunikaty o utracie pakietów, mimo że średnie wykorzystanie przepustowości wynosi poniżej 40%?

To klasyczny objaw mikroprzepływu. Średnia przepustowość jest zazwyczaj obliczana w odstępach 1- lub 5-minutowych przez protokół SNMP. Mikroprzepływ występuje w mikrosekundach, gdy wiele portów serwera jednocześnie wysyła ruch do jednego portu uplink. Jeśli przekroczona zostanie pojemność bufora przejściowego, przełącznik odrzuca pakiety. Chociaż bufor 42 MB w przełączniku SN3700 znacznie łagodzi to zjawisko w porównaniu z buforem 16 MB w przełączniku SN2700, nadal może być konieczne włączenie tej funkcji. Jawne powiadomienie o przeciążeniu (ECN) oraz Kontrola przepływu priorytetowego (PFC) aby umożliwić RoCEv2 ograniczenie przepustowości wysyłających kart sieciowych przed wystąpieniem przerw.

P3: Czy mogę uruchomić Cumulus Linux lub SONiC zarówno na SN2700, jak i SN3700?

Tak. Oba przełączniki zbudowane są w oparciu o architekturę otwartej platformy. Obsługują systemy Mellanox Onyx (MLNX-OS), Cumulus Linux oraz SONiC (oprogramowanie do otwartych sieci w chmurze). Podczas migracji należy upewnić się, że skrypty automatyzacji sieci (Ansible/Terraform) są zaktualizowane, ponieważ konwencje nazewnictwa interfejsów i sprzętowe profile buforów różnią się między układami ASIC Spectrum-1 i Spectrum-2 w otwartych systemach operacyjnych.

P4: Jak różnią się możliwości wydzielenia portów w przypadku migracji z modelu SN2700 do SN3700?

Przełącznik SN2700 (QSFP28) obsługuje rozdzielenie pojedynczego portu 100G na 4 interfejsy 25G lub 4 interfejsy 10G. Przełącznik SN3700 (QSFP56) umożliwia rozdzielenie pojedynczego portu 200G na 2 interfejsy 100G, 4 interfejsy 50G lub 4 interfejsy 25G. Zapewnia to dwukrotnie większą gęstość połączeń 25G/50G na jednostkę rack, dzięki czemu SN3700 jest wyjątkowo gęstym przełącznikiem typu leaf switch dla wysokowydajnych węzłów obliczeniowych.