RoCE to kompleksowy projekt sieciowy. Zakup przełącznika z szybkimi portami Ethernet nie oznacza automatycznie utworzenia zatwierdzonej struktury RoCE. Karta sieciowa, przełącznik, kabel, moduł optyczny, system operacyjny, sterownik i konfiguracja QoS muszą ze sobą współdziałać.
- W jaki sposób dostęp do serwera, role „liścia”, „kręgosłupa” i „pamięci masowej” wpływają na BOM
- Wybór adaptera ConnectX i sprawdzenie możliwości przełączania
- Wymagania dotyczące kontroli przeciążenia dla przewidywalnej struktury RoCE
- Jak dopasować DAC, AOC, optykę, odległość, prędkość i kodowanie
- Wymagania dotyczące sterowników, oprogramowania sprzętowego, systemu operacyjnego (NOS), zarządzania, zasilania i stojaka
- Przykłady zestawień materiałów, informacje o zamówieniach i często zadawane pytania
- Minimalne informacje potrzebne do zbudowania zgodnego zestawienia materiałów RoCE
Czego tak naprawdę potrzebuje sieć RoCE
Sieć produkcyjna RoCE zwykle obejmuje karty serwerowe z obsługą protokołu RDMA, przełączniki obsługujące protokół RoCE, zgodne urządzenia optyczne lub kable, sterowniki hosta, konfigurację QoS przełącznika i osobną ścieżkę zarządzania.
| Kategoria | Wymagany element | Główne kryteria wyboru |
|---|---|---|
| obliczać | Węzły GPU lub serwerowe | Gniazda PCIe, topologia GPU, system operacyjny |
| Łączność RDMA | ConnectX lub inna obsługiwana karta sieciowa RDMA | Prędkość portu, liczba portów, generacja PCIe, oprogramowanie układowe |
| Struktura sieciowa | Spectrum lub inny przełącznik obsługujący RoCE | Obsługa PFC, ECN, buforów, QoS i wyjść breakout |
| interkonekty | DAC, AOC lub transceivery optyczne | Prędkość, odległość, złącze, FEC i kodowanie |
| Oprogramowanie hosta | Sterowniki i narzędzia RDMA | System operacyjny, wersja sterownika i oprogramowanie układowe karty sieciowej |
| Oprogramowanie przełącznika | Cumulus Linux, Onyx, SONiC lub inny sprawdzony system operacyjny NOS | Wsparcie sprzętowe, wsparcie funkcji i umowa |
| Infrastruktura | Zarządzanie, stojaki, zasilacze i urządzenia chłodzące | Nadmiarowość zasilania, głębokość, przepływ powietrza i odstęp od kabli |
Dokładny wykaz materiałów (BOM) zależy od tego, czy sieć jest budowana na potrzeby komunikacji między procesorami graficznymi GPU, rozproszonego przechowywania danych, obliczeń o wysokiej wydajności (HPC), ruchu baz danych czy mieszanej struktury centrum danych.
Wyślij liczbę serwerów, model karty sieciowej, docelową prędkość, długość kabla i wymagania dotyczące przełącznika.
Zacznij od roli sieciowej
Przed wyborem przełącznika należy ustalić, czy będzie on działał jako przełącznik typu leaf skierowany na serwer, leaf o wysokiej gęstości, spine, storage fabric, przełącznik dedykowanego klastra GPU czy też jako przełącznik mieszany typu enterprise i RoCE.
Mała szafa serwerowa może wymagać wielu połączeń 25 GbE i tylko kilku łączy uplink 100 GbE. Struktura GPU może wymagać głównie połączeń 100 GbE, 200 GbE lub 400 GbE. To różne specyfikacje materiałowe, nawet jeśli obie są opisane jako sieci RoCE.
Przykłady platform Spectrum
Kompaktowa konstrukcja dostępu 25GbE może wykorzystywać MSN2010-CB2RC, który zapewnia natywne porty dostępowe SFP28 wraz z łączami uplink QSFP28.
Konstrukcja liścia oparta na QSFP28 może wykorzystywać MSN2100-CB2F, gdzie planowanie podziału staje się ważne, jeśli wymagane są połączenia serwerowe 25GbE.
Tkanina o wyższej gęstości może wykorzystywać MSN2700-CS2Rz większą liczbą portów QSFP28 do połączeń 40/50/100GbE lub obsługiwanych konfiguracji rozdzielonych.
To przykłady platform, a nie uniwersalne zalecenia. Ostateczny wybór zależy od liczby portów, nadsubskrypcji, konstrukcji szafy, optyki i docelowego systemu operacyjnego (NOS).
Karty sieciowe RDMA i przełączniki obsługujące technologię RoCE
Wybór karty sieciowej RDMA
Karta sieciowa serwera jest jednym z najważniejszych komponentów wdrożenia RoCE. Należy sprawdzić odpowiednią kartę sieciową RDMA pod kątem obsługi RoCEv2, szybkości portu, liczby portów, generacji PCIe, oprogramowania sprzętowego, zgodności sterowników, PFC, ECN oraz wszelkich wymagań dotyczących GPU Direct lub Storage Fabric.
Karty NVIDIA ConnectX są często używane w środowiskach RoCE, ale dokładna generacja ConnectX i OPN nadal mają znaczenie. Dwuportowy adapter 25GbE SFP28 wymaga innego okablowania i portów przełącznika niż jednoportowy adapter 400GbE OSFP.
- Model NIC i OPN
- Liczba portów i prędkość portu
- Typ złącza
- Wymagania dotyczące gniazda PCIe
- Wersja oprogramowania
- Pakiet sterowników RDMA
- Wymagania dotyczące integracji GPU Direct lub pamięci masowej
Wymagania dotyczące przełączników obsługujących RoCE
Przełącznik używany do RoCE należy oceniać pod kątem jego możliwości zarządzania ruchem, a nie tylko maksymalnej szybkości portu.
- Kontrola przepływu priorytetowego
- Jawne powiadomienie o zatorach
- Profile kolejek bezstratnych lub uwzględniających straty
- Wystarczające buforowanie pakietów
- Klasyfikacja ruchu DSCP lub 802.1p
- Obsługa powiadomień o przeciążeniu
- Wymagane tryby FEC
- Obsługa wyłamywania portów
- Zweryfikowany NOS i wersja oprogramowania
Przełącznik Ethernet ogólnego przeznaczenia może przekazywać pakiety RoCE, ale nie oznacza to, że zapewnia sprawdzoną i przewidywalną strukturę RoCE.
PFC, ECN, bufory i QoS
Kontrola przepływu priorytetowego
PFC wstrzymuje wybrane priorytety ruchu zamiast blokować całe łącze. Dzięki temu ruch RoCE może być obsługiwany bezstratnie, podczas gdy inne klasy ruchu nadal korzystają z łącza.
Aby uzyskać bezstratny profil RoCE, protokół PFC musi być zaprojektowany spójnie dla wszystkich kart sieciowych hosta, przełączników typu leaf, spine, punktów końcowych pamięci masowej i zdalnych kart serwerowych na ścieżce ruchu.
- Przypisz ruch RoCE do określonego priorytetu lub klasy ruchu.
- Skonfiguruj to samo mapowanie priorytetów na hoście i przełącznikach.
- Nie należy włączać PFC dla każdego priorytetu bez zaprojektowania klasy ruchu.
- Monitoruj klatki pauzy i zachowanie kolejki po wdrożeniu.
Nieprawidłowa konfiguracja PFC może skutkować burzami pauz PFC, blokowaniem na początku linii, rozprzestrzenianiem się przeciążenia i niestabilnym opóźnieniem aplikacji.
Jawne powiadomienie o zatorach
ECN zapewnia kompleksową sygnalizację przeciążenia dla RoCEv2. Przełącznik znakuje pakiety, gdy kolejki osiągną skonfigurowany próg, a host odbierający uczestniczy w reagowaniu na przeciążenie.
- Klasyfikacja ruchu RoCE
- Karty sieciowe hosta obsługujące ECN
- Przełączanie progów znakowania
- Odpowiedź na przeciążenie karty sieciowej hosta
- Obsługa CNP
- Spójne mapowanie DSCP lub priorytetów
Różnice między buforami i układami ASIC
Konfiguracja RoCE nie jest automatycznie przenośna między generacjami układów ASIC przełącznika. Zweryfikowany profil powinien być dopasowany do konkretnego układu ASIC przełącznika, wersji systemu operacyjnego (NOS) i topologii wdrożenia.
Wskazówki firmy NVIDIA dotyczące sieciowych struktur pamięci masowej Ethernet obejmują zagadnienia związane z buforem RoCE, kolejką, korekcją PFC i ECN w przypadku wdrożeń opartych na technologii Spectrum. Konfigurację należy przetestować przed jej wdrożeniem w środowisku produkcyjnym.
Kable, optyka, złącza breakout i FEC
DAC i AOC
DAC jest powszechnie używany do krótkich połączeń w szafie lub między szafami. AOC może być odpowiedni, gdy odległość jest większa niż praktyczna odległość między szafami DAC, ale nie wymaga oddzielnych modułów optycznych.
Sprawdź prędkość, złącze, długość, promień gięcia, FEC, pobór mocy oraz obsługę przełączników i kart sieciowych dla każdego DAC lub AOC.
odbiorniki optyczne
W przypadku dłuższych łączy w specyfikacji BOM należy określić współczynnik kształtu, prędkość, długość fali, światłowód jednomodowy lub wielomodowy, typ złącza, zasięg, wymagania FEC, zakres temperatur, obsługę DOM oraz zgodność przełączników i kart sieciowych.
Kable Breakout
Funkcja breakout zmienia sposób obliczania liczby portów. Jeden port 100GbE QSFP28 może stać się czterema połączeniami 25GbE, podczas gdy inne platformy mogą obsługiwać tryby breakout 200GbE lub 400GbE.
BOM musi określać port nadrzędny i każdy pas wyprowadzeń. Nie należy liczyć portu wyprowadzeń jako czterech użytecznych interfejsów, dopóki nie zostanie zweryfikowany dokładny przełącznik, kabel, sieć operacyjna (NOS) i tryb portu.
FEC i kodowanie łącza
Dwa urządzenia mogą mieć taką samą nominalną prędkość i złącze, ale mimo to nie być w stanie nawiązać stabilnego połączenia z powodu różnic w FEC lub kodowaniu.
- Obsługiwane tryby FEC
- Domyślne zachowanie FEC
- Ręczna lub automatyczna konfiguracja FEC
- Zgodność FEC między kartą sieciową a przełącznikiem
- Wymagania FEC dla linii wyjściowo-wyjściowych
- Wymagania dotyczące kodowania specyficzne dla optyki
FEC powinien być częścią arkusza kalkulacyjnego łącza, a nie problemem odkrytym podczas instalacji.
Oprogramowanie i infrastruktura hosta
Oprogramowanie hosta
- System operacyjny
- Pakiet sterowników RDMA
- Oprogramowanie układowe karty sieciowej
- Narzędzia RDMA
- Konfiguracja PFC i ECN
- DSCP lub mapowanie priorytetów
- Sterowniki GPU Direct lub sterowniki związane z pamięcią masową
Oprogramowanie przełącznika
- Nazwa i wersja NOS
- Obsługa przełącznika ASIC
- Profil RoCE
- Metoda konfiguracji PFC i ECN
- Profil bufora
- Składnia breakout
- Procedura aktualizacji i przywracania
- Umowa o wsparcie oprogramowania
Zarządzanie i infrastruktura rackowa
Sieć produkcyjna RoCE powinna, w miarę możliwości, zawierać niezależną ścieżkę zarządzania. Umożliwia to inżynierom dostęp do przełączników i serwerów podczas przeciążenia płaszczyzny danych lub rozwiązywania problemów z jakością usług (QoS).
- Przełącznik zarządzania poza pasmem
- Dostęp do konsoli
- Sieć VLAN zarządzająca lub sieć zarządzająca
- System monitorujący
- NTP i DNS
- Kopia zapasowa konfiguracji
- Dystrybucja zasilania w szafie
- Nadmiarowe źródła zasilania
- Warianty przełączników i zasilaczy zgodnych z przepływem powietrza
- Akcesoria do zarządzania kablami
- Zapasowa optyka i kable
Lista kontrolna RoCE BOM i wniosków o wycenę
Przykładowy BOM według typu wdrożenia
| Rozlokowanie | Łączność hosta | Zmień rolę | Typowe połączenie międzysystemowe | Główny problem planistyczny |
|---|---|---|---|---|
| Szafa serwerowa 25GbE | Karty sieciowe 25GbE SFP28 RDMA | Liść lub góra półki | SFP28 DAC, AOC lub optyka | Liczba natywnych portów SFP28 i łącza uplink 100GbE |
| Struktura GPU 100GbE | Karty sieciowe 100GbE QSFP28 | Tkanina grzbietowo-liściowa | 100GbE DAC, AOC lub optyka | PFC, ECN, nadsubskrypcja i bufory |
| Struktura AI 200GbE lub 400GbE | Adaptery RDMA 200/400GbE | Liść lub grzbiet o dużej prędkości | Kable QSFP56, QSFP112 lub OSFP | FEC, breakout, zasilanie i obsługa platformy |
| Sieć magazynów RoCE | Karty sieciowe RDMA lub adaptery pamięci masowej | Tkanina dedykowana lub konwergentna | Zależne od prędkości i odległości | Separacja ruchu i kontrola zatorów |
| Sieć mieszana przedsiębiorstw i RoCE | Karty sieciowe RDMA i standardowe hosty Ethernet | Wspólna struktura centrum danych | Łącza mieszane optyczne i miedziane | Izolacja kolejki i zakres PFC |
Informacje, które należy uwzględnić w prośbie o wycenę RoCE
- Liczba serwerów lub węzłów GPU
- Model i ilość karty sieciowej RDMA
- Wymagana prędkość portu po stronie hosta
- Wymagana prędkość portu przełącznika
- Liczba przełączników liści i grzbietów
- Pożądany współczynnik nadsubskrypcji
- Wymagania RoCEv1 lub RoCEv2
- GPUDirect, pamięć masowa lub aplikacja HPC
- Odległości między regałami
- Preferencje dotyczące DAC, AOC lub optyki
- Wymagania dotyczące typu włókna i złącza
- Wymagania FEC
- Wymagania PFC i ECN
- Preferencje NOS
- Głębokość szafy, przepływ powietrza i wymagania dotyczące zasilania
- Wymagana zapasowa optyka i kable
Najczęściej zadawane pytania
Ostateczne jedzenie na wynos
Kompletny wykaz materiałów sieciowych RoCE zazwyczaj obejmuje serwery z obsługą protokołu RDMA lub karty sieciowe GPU, przełączniki obsługujące protokół RoCE, przetworniki DAC, przetworniki AOC lub transceivery optyczne, sterowniki hosta, obsługiwany system operacyjny przełącznika, konfigurację PFC i ECN, sieć zarządzania oraz komponenty związane z szafą, zasilaniem, chłodzeniem i zarządzaniem okablowaniem.
Najbezpieczniejszym sposobem tworzenia wykazu materiałów (BOM) jest rozpoczęcie od aplikacji i wzorca ruchu, a następnie dopasowanie karty sieciowej, przełącznika, kabla, optyki, oprogramowania i modelu wsparcia jako jednego systemu.
Przed sfinalizowaniem listy sprzętu należy przesłać liczbę serwerów, model karty sieciowej RDMA, docelową prędkość, preferowany przełącznik, długość kabla i wymagania RoCE.















































































































































