Jaki sprzęt jest potrzebny do sieci RoCE? Karty sieciowe, przełączniki, kable i lista kontrolna BOM

Obserwuj nas:
Szybki start
Sieć produkcyjna RoCE wymaga adapterów serwerowych obsługujących RDMA, przełączników obsługujących RoCE, kompatybilnych światłowodów lub kabli, sterowników hosta, konfiguracji QoS przełącznika oraz oddzielnej ścieżki zarządzania. Sama prędkość łącza nie wystarczy; konieczna jest również weryfikacja PFC, ECN, buforów, FEC, trybu breakout oraz klasyfikacji ruchu end-to-end.

RoCE to kompleksowy projekt sieciowy. Zakup przełącznika z szybkimi portami Ethernet nie oznacza automatycznie utworzenia zatwierdzonej struktury RoCE. Karta sieciowa, przełącznik, kabel, moduł optyczny, system operacyjny, sterownik i konfiguracja QoS muszą ze sobą współdziałać.

1. Czego tak naprawdę potrzebuje sieć RoCE
  • Komponenty sprzętowe i programowe w kompletnym wdrożeniu RoCE
2. Zacznij od roli sieciowej
  • W jaki sposób dostęp do serwera, role „liścia”, „kręgosłupa” i „pamięci masowej” wpływają na BOM
3. Karty sieciowe RDMA i przełączniki obsługujące RoCE
  • Wybór adaptera ConnectX i sprawdzenie możliwości przełączania
4. PFC, ECN, bufory i QoS
  • Wymagania dotyczące kontroli przeciążenia dla przewidywalnej struktury RoCE
5. Kable, optyka, złącza wyjściowe i FEC
  • Jak dopasować DAC, AOC, optykę, odległość, prędkość i kodowanie
6. Oprogramowanie i infrastruktura hosta
  • Wymagania dotyczące sterowników, oprogramowania sprzętowego, systemu operacyjnego (NOS), zarządzania, zasilania i stojaka
7. Lista kontrolna RoCE BOM i prośba o wycenę
  • Przykłady zestawień materiałów, informacje o zamówieniach i często zadawane pytania
8. Podsumowanie
  • Minimalne informacje potrzebne do zbudowania zgodnego zestawienia materiałów RoCE

Czego tak naprawdę potrzebuje sieć RoCE

Sieć produkcyjna RoCE zwykle obejmuje karty serwerowe z obsługą protokołu RDMA, przełączniki obsługujące protokół RoCE, zgodne urządzenia optyczne lub kable, sterowniki hosta, konfigurację QoS przełącznika i osobną ścieżkę zarządzania.

Kategoria Wymagany element Główne kryteria wyboru
obliczać Węzły GPU lub serwerowe Gniazda PCIe, topologia GPU, system operacyjny
Łączność RDMA ConnectX lub inna obsługiwana karta sieciowa RDMA Prędkość portu, liczba portów, generacja PCIe, oprogramowanie układowe
Struktura sieciowa Spectrum lub inny przełącznik obsługujący RoCE Obsługa PFC, ECN, buforów, QoS i wyjść breakout
interkonekty DAC, AOC lub transceivery optyczne Prędkość, odległość, złącze, FEC i kodowanie
Oprogramowanie hosta Sterowniki i narzędzia RDMA System operacyjny, wersja sterownika i oprogramowanie układowe karty sieciowej
Oprogramowanie przełącznika Cumulus Linux, Onyx, SONiC lub inny sprawdzony system operacyjny NOS Wsparcie sprzętowe, wsparcie funkcji i umowa
Infrastruktura Zarządzanie, stojaki, zasilacze i urządzenia chłodzące Nadmiarowość zasilania, głębokość, przepływ powietrza i odstęp od kabli

Dokładny wykaz materiałów (BOM) zależy od tego, czy sieć jest budowana na potrzeby komunikacji między procesorami graficznymi GPU, rozproszonego przechowywania danych, obliczeń o wysokiej wydajności (HPC), ruchu baz danych czy mieszanej struktury centrum danych.

Planujesz zestawienie materiałów (BOM) sieci RoCE?

Wyślij liczbę serwerów, model karty sieciowej, docelową prędkość, długość kabla i wymagania dotyczące przełącznika.

Zacznij od roli sieciowej

Przed wyborem przełącznika należy ustalić, czy będzie on działał jako przełącznik typu leaf skierowany na serwer, leaf o wysokiej gęstości, spine, storage fabric, przełącznik dedykowanego klastra GPU czy też jako przełącznik mieszany typu enterprise i RoCE.

Mała szafa serwerowa może wymagać wielu połączeń 25 GbE i tylko kilku łączy uplink 100 GbE. Struktura GPU może wymagać głównie połączeń 100 GbE, 200 GbE lub 400 GbE. To różne specyfikacje materiałowe, nawet jeśli obie są opisane jako sieci RoCE.

Przykłady platform Spectrum

Kompaktowa konstrukcja dostępu 25GbE może wykorzystywać MSN2010-CB2RC, który zapewnia natywne porty dostępowe SFP28 wraz z łączami uplink QSFP28.

Konstrukcja liścia oparta na QSFP28 może wykorzystywać MSN2100-CB2F, gdzie planowanie podziału staje się ważne, jeśli wymagane są połączenia serwerowe 25GbE.

Tkanina o wyższej gęstości może wykorzystywać MSN2700-CS2Rz większą liczbą portów QSFP28 do połączeń 40/50/100GbE lub obsługiwanych konfiguracji rozdzielonych.

To przykłady platform, a nie uniwersalne zalecenia. Ostateczny wybór zależy od liczby portów, nadsubskrypcji, konstrukcji szafy, optyki i docelowego systemu operacyjnego (NOS).

Karty sieciowe RDMA i przełączniki obsługujące technologię RoCE

Wybór karty sieciowej RDMA

Karta sieciowa serwera jest jednym z najważniejszych komponentów wdrożenia RoCE. Należy sprawdzić odpowiednią kartę sieciową RDMA pod kątem obsługi RoCEv2, szybkości portu, liczby portów, generacji PCIe, oprogramowania sprzętowego, zgodności sterowników, PFC, ECN oraz wszelkich wymagań dotyczących GPU Direct lub Storage Fabric.

Karty NVIDIA ConnectX są często używane w środowiskach RoCE, ale dokładna generacja ConnectX i OPN nadal mają znaczenie. Dwuportowy adapter 25GbE SFP28 wymaga innego okablowania i portów przełącznika niż jednoportowy adapter 400GbE OSFP.

  • Model NIC i OPN
  • Liczba portów i prędkość portu
  • Typ złącza
  • Wymagania dotyczące gniazda PCIe
  • Wersja oprogramowania
  • Pakiet sterowników RDMA
  • Wymagania dotyczące integracji GPU Direct lub pamięci masowej

Wymagania dotyczące przełączników obsługujących RoCE

Przełącznik używany do RoCE należy oceniać pod kątem jego możliwości zarządzania ruchem, a nie tylko maksymalnej szybkości portu.

  • Kontrola przepływu priorytetowego
  • Jawne powiadomienie o zatorach
  • Profile kolejek bezstratnych lub uwzględniających straty
  • Wystarczające buforowanie pakietów
  • Klasyfikacja ruchu DSCP lub 802.1p
  • Obsługa powiadomień o przeciążeniu
  • Wymagane tryby FEC
  • Obsługa wyłamywania portów
  • Zweryfikowany NOS i wersja oprogramowania

Przełącznik Ethernet ogólnego przeznaczenia może przekazywać pakiety RoCE, ale nie oznacza to, że zapewnia sprawdzoną i przewidywalną strukturę RoCE.

PFC, ECN, bufory i QoS

Kontrola przepływu priorytetowego

PFC wstrzymuje wybrane priorytety ruchu zamiast blokować całe łącze. Dzięki temu ruch RoCE może być obsługiwany bezstratnie, podczas gdy inne klasy ruchu nadal korzystają z łącza.

Aby uzyskać bezstratny profil RoCE, protokół PFC musi być zaprojektowany spójnie dla wszystkich kart sieciowych hosta, przełączników typu leaf, spine, punktów końcowych pamięci masowej i zdalnych kart serwerowych na ścieżce ruchu.

  • Przypisz ruch RoCE do określonego priorytetu lub klasy ruchu.
  • Skonfiguruj to samo mapowanie priorytetów na hoście i przełącznikach.
  • Nie należy włączać PFC dla każdego priorytetu bez zaprojektowania klasy ruchu.
  • Monitoruj klatki pauzy i zachowanie kolejki po wdrożeniu.

Nieprawidłowa konfiguracja PFC może skutkować burzami pauz PFC, blokowaniem na początku linii, rozprzestrzenianiem się przeciążenia i niestabilnym opóźnieniem aplikacji.

Jawne powiadomienie o zatorach

ECN zapewnia kompleksową sygnalizację przeciążenia dla RoCEv2. Przełącznik znakuje pakiety, gdy kolejki osiągną skonfigurowany próg, a host odbierający uczestniczy w reagowaniu na przeciążenie.

  • Klasyfikacja ruchu RoCE
  • Karty sieciowe hosta obsługujące ECN
  • Przełączanie progów znakowania
  • Odpowiedź na przeciążenie karty sieciowej hosta
  • Obsługa CNP
  • Spójne mapowanie DSCP lub priorytetów

Różnice między buforami i układami ASIC

Konfiguracja RoCE nie jest automatycznie przenośna między generacjami układów ASIC przełącznika. Zweryfikowany profil powinien być dopasowany do konkretnego układu ASIC przełącznika, wersji systemu operacyjnego (NOS) i topologii wdrożenia.

Wskazówki firmy NVIDIA dotyczące sieciowych struktur pamięci masowej Ethernet obejmują zagadnienia związane z buforem RoCE, kolejką, korekcją PFC i ECN w przypadku wdrożeń opartych na technologii Spectrum. Konfigurację należy przetestować przed jej wdrożeniem w środowisku produkcyjnym.

Kable, optyka, złącza breakout i FEC

DAC i AOC

DAC jest powszechnie używany do krótkich połączeń w szafie lub między szafami. AOC może być odpowiedni, gdy odległość jest większa niż praktyczna odległość między szafami DAC, ale nie wymaga oddzielnych modułów optycznych.

Sprawdź prędkość, złącze, długość, promień gięcia, FEC, pobór mocy oraz obsługę przełączników i kart sieciowych dla każdego DAC lub AOC.

odbiorniki optyczne

W przypadku dłuższych łączy w specyfikacji BOM należy określić współczynnik kształtu, prędkość, długość fali, światłowód jednomodowy lub wielomodowy, typ złącza, zasięg, wymagania FEC, zakres temperatur, obsługę DOM oraz zgodność przełączników i kart sieciowych.

Kable Breakout

Funkcja breakout zmienia sposób obliczania liczby portów. Jeden port 100GbE QSFP28 może stać się czterema połączeniami 25GbE, podczas gdy inne platformy mogą obsługiwać tryby breakout 200GbE lub 400GbE.

BOM musi określać port nadrzędny i każdy pas wyprowadzeń. Nie należy liczyć portu wyprowadzeń jako czterech użytecznych interfejsów, dopóki nie zostanie zweryfikowany dokładny przełącznik, kabel, sieć operacyjna (NOS) i tryb portu.

FEC i kodowanie łącza

Dwa urządzenia mogą mieć taką samą nominalną prędkość i złącze, ale mimo to nie być w stanie nawiązać stabilnego połączenia z powodu różnic w FEC lub kodowaniu.

  • Obsługiwane tryby FEC
  • Domyślne zachowanie FEC
  • Ręczna lub automatyczna konfiguracja FEC
  • Zgodność FEC między kartą sieciową a przełącznikiem
  • Wymagania FEC dla linii wyjściowo-wyjściowych
  • Wymagania dotyczące kodowania specyficzne dla optyki

FEC powinien być częścią arkusza kalkulacyjnego łącza, a nie problemem odkrytym podczas instalacji.

Oprogramowanie i infrastruktura hosta

Oprogramowanie hosta

  • System operacyjny
  • Pakiet sterowników RDMA
  • Oprogramowanie układowe karty sieciowej
  • Narzędzia RDMA
  • Konfiguracja PFC i ECN
  • DSCP lub mapowanie priorytetów
  • Sterowniki GPU Direct lub sterowniki związane z pamięcią masową

Oprogramowanie przełącznika

  • Nazwa i wersja NOS
  • Obsługa przełącznika ASIC
  • Profil RoCE
  • Metoda konfiguracji PFC i ECN
  • Profil bufora
  • Składnia breakout
  • Procedura aktualizacji i przywracania
  • Umowa o wsparcie oprogramowania

Zarządzanie i infrastruktura rackowa

Sieć produkcyjna RoCE powinna, w miarę możliwości, zawierać niezależną ścieżkę zarządzania. Umożliwia to inżynierom dostęp do przełączników i serwerów podczas przeciążenia płaszczyzny danych lub rozwiązywania problemów z jakością usług (QoS).

  • Przełącznik zarządzania poza pasmem
  • Dostęp do konsoli
  • Sieć VLAN zarządzająca lub sieć zarządzająca
  • System monitorujący
  • NTP i DNS
  • Kopia zapasowa konfiguracji
  • Dystrybucja zasilania w szafie
  • Nadmiarowe źródła zasilania
  • Warianty przełączników i zasilaczy zgodnych z przepływem powietrza
  • Akcesoria do zarządzania kablami
  • Zapasowa optyka i kable

Lista kontrolna RoCE BOM i wniosków o wycenę

Przykładowy BOM według typu wdrożenia

Rozlokowanie Łączność hosta Zmień rolę Typowe połączenie międzysystemowe Główny problem planistyczny
Szafa serwerowa 25GbE Karty sieciowe 25GbE SFP28 RDMA Liść lub góra półki SFP28 DAC, AOC lub optyka Liczba natywnych portów SFP28 i łącza uplink 100GbE
Struktura GPU 100GbE Karty sieciowe 100GbE QSFP28 Tkanina grzbietowo-liściowa 100GbE DAC, AOC lub optyka PFC, ECN, nadsubskrypcja i bufory
Struktura AI 200GbE lub 400GbE Adaptery RDMA 200/400GbE Liść lub grzbiet o dużej prędkości Kable QSFP56, QSFP112 lub OSFP FEC, breakout, zasilanie i obsługa platformy
Sieć magazynów RoCE Karty sieciowe RDMA lub adaptery pamięci masowej Tkanina dedykowana lub konwergentna Zależne od prędkości i odległości Separacja ruchu i kontrola zatorów
Sieć mieszana przedsiębiorstw i RoCE Karty sieciowe RDMA i standardowe hosty Ethernet Wspólna struktura centrum danych Łącza mieszane optyczne i miedziane Izolacja kolejki i zakres PFC

Informacje, które należy uwzględnić w prośbie o wycenę RoCE

  1. Liczba serwerów lub węzłów GPU
  2. Model i ilość karty sieciowej RDMA
  3. Wymagana prędkość portu po stronie hosta
  4. Wymagana prędkość portu przełącznika
  5. Liczba przełączników liści i grzbietów
  6. Pożądany współczynnik nadsubskrypcji
  7. Wymagania RoCEv1 lub RoCEv2
  8. GPUDirect, pamięć masowa lub aplikacja HPC
  9. Odległości między regałami
  10. Preferencje dotyczące DAC, AOC lub optyki
  11. Wymagania dotyczące typu włókna i złącza
  12. Wymagania FEC
  13. Wymagania PFC i ECN
  14. Preferencje NOS
  15. Głębokość szafy, przepływ powietrza i wymagania dotyczące zasilania
  16. Wymagana zapasowa optyka i kable

Najczęściej zadawane pytania

Q1 Czy potrzebuję karty sieciowej ConnectX dla RoCE?
Potrzebujesz karty sieciowej obsługującej RDMA i obsługującej wymagane funkcje RoCE. Karty ConnectX to powszechny wybór, ale dokładny model, prędkość portu, oprogramowanie układowe i sterownik nadal wymagają weryfikacji.
Q2 Czy RoCE może działać na każdym przełączniku 100GbE?
Nie. Przełącznik należy sprawdzić pod kątem PFC, ECN, buforowania, klasyfikacji QoS, FEC oraz zweryfikowanej konfiguracji NOS. Wysoka prędkość portu sama w sobie nie potwierdza obsługi RoCE.
Q3 Czy RoCE zawsze wymaga PFC?
Dokładny projekt zależy od wersji RoCE i profilu kontroli przeciążenia. Wdrożenia bezstratne RoCE zazwyczaj wykorzystują PFC, podczas gdy RoCEv2 wykorzystuje również ECN do kompleksowej sygnalizacji przeciążenia. Host i każdy przełącznik na ścieżce muszą być spójnie skonfigurowane.
Q4 Czy PFC i ECN muszą być skonfigurowane na karcie sieciowej serwera?
Tak. RoCE to rozwiązanie kompleksowe. Konfiguracja PFC lub ECN tylko na przełączniku nie gwarantuje poprawnego działania hosta.
Q5 Czy do RoCE można używać zwykłych kabli Ethernet?
Tylko jeśli typ kabla, złącze, prędkość, odległość, kodowanie, kodowanie FEC i obsługa urządzenia są kompatybilne. Kabel musi zostać wybrany w ramach projektu łącza między kartą sieciową a przełącznikiem.
Q6 Czy jeden port 100GbE może połączyć się z czterema serwerami 25GbE?
Możliwe, jeśli konkretny port przełącznika, kabel rozgałęziający, sieć systemowa (NOS), interfejsy NIC i tryb portu obsługują tę konfigurację. Port nadrzędny i wszystkie linie rozgałęziające muszą być udokumentowane w specyfikacji BOM.
Q7 Czy RoCE nadaje się do mieszanej sieci korporacyjnej?
Może tak być, ale klasy ruchu muszą być starannie zaprojektowane. RoCE, zarządzanie, przechowywanie i zwykły ruch Ethernet nie powinny ze sobą konkurować bez jasnych zasad dotyczących kolejek, priorytetów i przeciążenia.

Ostateczne jedzenie na wynos

Kompletny wykaz materiałów sieciowych RoCE zazwyczaj obejmuje serwery z obsługą protokołu RDMA lub karty sieciowe GPU, przełączniki obsługujące protokół RoCE, przetworniki DAC, przetworniki AOC lub transceivery optyczne, sterowniki hosta, obsługiwany system operacyjny przełącznika, konfigurację PFC i ECN, sieć zarządzania oraz komponenty związane z szafą, zasilaniem, chłodzeniem i zarządzaniem okablowaniem.

Najbezpieczniejszym sposobem tworzenia wykazu materiałów (BOM) jest rozpoczęcie od aplikacji i wzorca ruchu, a następnie dopasowanie karty sieciowej, przełącznika, kabla, optyki, oprogramowania i modelu wsparcia jako jednego systemu.

Przed sfinalizowaniem listy sprzętu należy przesłać liczbę serwerów, model karty sieciowej RDMA, docelową prędkość, preferowany przełącznik, długość kabla i wymagania RoCE.