Przełącznik NVIDIA SN5610 jest przeznaczony dla sieci Ethernet o wysokiej gęstości, w tym sieci AI i centrów danych, które wymagają połączenia urządzeń 800G, 400G, 200G i 100G na tej samej platformie. Ten przewodnik wyjaśnia, jak działają tryby podziału, jak je skonfigurować w systemie Cumulus Linux oraz co sprawdzić, gdy nie pojawi się rozdzielony interfejs lub łącze.
Opcje rozgałęzienia SN5610 800G
SN5610 obsługuje 64 interfejsy OSFP 800GbE. W zależności od wymaganej prędkości punktu końcowego, porty fizyczne mogą być używane natywnie lub podzielone na wiele interfejsów logicznych.
| Tryb fizyczny | Porty logiczne na OSFP | Maksymalna wartość na SN5610 | Główne ograniczenie |
|---|---|---|---|
| 800G | 1×800G | Porty 64 | Natywna działalność portowa |
| 400G | 2×400G | Porty 128 | Wymaga obsługiwanej dwukierunkowej konstrukcji wyprowadzenia |
| 200G | 4×200G | Porty 256 | Wymaga obsługiwanej konstrukcji z czterema wyjściami |
| 100G | 8×100G | Porty 256 | Używa 32 portów źródłowych OSFP i wymaga wyłączenia sąsiedniego portu |
Tryb 100G wymaga szczególnej uwagi. Nie jest to prosta konwersja wszystkich 64 fizycznych portów OSFP na osiem portów logicznych. Ograniczenie liczby portów sąsiednich zmniejsza liczbę fizycznych portów źródłowych dostępnych dla tej konfiguracji.
SN5610 obsługuje kodowanie PAM4 i NRZ. Praca z niższą prędkością może wykorzystywać kodowanie NRZ, natomiast dokładne zachowanie toru zależy od trybu portu, transceivera, kabla rozgałęźnego i urządzenia równorzędnego. Przed sfinalizowaniem mapy portów należy sprawdzić aktualną macierz platformy.
W przypadku połączeń natywnych 800G przed wyborem sprawdź wymagany współczynnik kształtu i zasięg optyczny Transceiver OSFP 800GTransceiver, który spełnia deklarowaną przepustowość, może nadal nie nadawać się do wybranej topologii breakout lub zdalnego interfejsu.
Co należy potwierdzić przed konfiguracją
Planowanie podziału powinno rozpocząć się od wymagań dotyczących punktów końcowych. Nie wybieraj najpierw kabla i nie próbuj dostosowywać projektu sieci do niego.
Potwierdź wymagany kształt portu
- Wymagana liczba łączy 800G, 400G, 200G i 100G
- Prędkość obsługiwana przez przełącznik zdalny, kartę sieciową, serwer lub akcelerator
- Interfejs OSFP, QSFP112, QSFP56 lub QSFP28 na każdym końcu
- Wymagania dotyczące DAC, AOC, transceivera optycznego lub światłowodu
- Wymagany tryb FEC i zachowanie autonegocjacji
- Wersja Cumulus Linux działająca na SN5610
Zapisz mapę portów fizyczno-logicznych
Dla każdego portu źródłowego rozgałęzienia zapisz fizyczny numer OSFP, wynikające z niego nazwy logicznych interfejsów, podłączone urządzenie, model kabla lub światłowodu, prędkość, kodowanie błędów (FEC) i MTU. Jest to szczególnie ważne w przypadku projektów 8×100G, ponieważ sąsiedni port fizyczny może być niedostępny.
Rekord konfiguracji powinien również określać, czy łącze jest używane do połączenia skierowanego do komputerów, łącza uplink typu leaf-to-spine, sieci pamięci masowej, ścieżki zarządzania czy łącza między przełącznikami. Ten sam tryb podziału może być odpowiedni dla jednej roli, a nieefektywny dla innej.
Wyślij informacje o liczbie portów, wersji Cumulusa i wymaganiach dotyczących kabli.
Konfigurowanie portów breakout w systemie Cumulus Linux
Cumulus Linux 5.4 i nowsze wersje wykorzystują notację podziału, taką jak 1x, 2x, 4x, 8xTryb wydzielenia jest konfigurowany niezależnie od szybkości wynikowych interfejsów logicznych.
Przykład NVUE: 800G do 2×400G
Poniższy przykład używa swp1 jako fizyczny port źródłowy. Rzeczywista nazwa interfejsu musi być zgodna z mapą portów SN5610.
Przykład NVUE: 800G do 4×200G
Przykład NVUE: 800G do 8×100G
Powstałe interfejsy są zazwyczaj nazywane od swp1s0 przez swp1s7Przed użyciem tej konfiguracji w środowisku produkcyjnym należy potwierdzić stan portu sąsiedniego.
metoda ports.conf
Za pomocą metody konfiguracji Linux zdefiniuj kształt wybicia w /etc/cumulus/ports.confPoniżej przedstawiono przykładową konfigurację 8×100G. Zastąp numery portów prawidłowymi wartościami dla planowanej mapy portów SN5610.
Prędkość portu jest konfigurowana osobno w NVUE lub w /etc/network/interfacesPo edycji pliku należy sprawdzić poprawność składni i ponownie załadować usługę przełączającą zgodnie z zainstalowaną wersją Cumulus Linux i procedurą zmiany środowiska produkcyjnego.
Na platformie produkcyjnej sprawdź, czy procedura ponownego ładowania powoduje tymczasowe zakłócenia w ruchu w wybranym trybie konfiguracji. Nie zakładaj, że ta sama procedura zmiany dotyczy każdej wersji Cumulus Linux lub trybu ACL.
Sprawdź ustawienia pasa podczas łączenia się z inną platformą
Na niektórych 8-torowych portach QSFP-DD lub OSFP, Cumulus Linux używa domyślnego przydziału torów dla podziału 4x. Jeśli platforma peer używa innej szerokości torów, oba końce mogą wymagać jawnej konfiguracji torów. Sprawdź bieżące atrybuty portu przed zmianą samej prędkości.
Limity OSFP, kabla breakout i QSA
Kabel rozgałęźny musi być zgodny z wymaganiami portu źródłowego, portu docelowego, liczby torów, kodowania, prędkości, zasięgu i FEC. Sam kształt złącza nie jest wystarczającym dowodem na kompatybilność.
W celu zakupu należy porównać wymaganą topologię z dostępną Kable rozdzielcze i DAC NVIDIA MellanoxPrzed złożeniem zamówienia sprawdź, czy wybrany element to zestaw 800G-2×400G, 800G-4×200G lub 800G-8×100G.
Sprawdź połączenie kabla i optyki
- Złącze źródłowe i złącze docelowe
- Mapowanie pasów elektrycznych
- Obsługiwana prędkość transmisji danych na każdym interfejsie logicznym
- Typ DAC, AOC lub transceivera optycznego
- Typ włókna, złącze i maksymalny zasięg
- Wymagania FEC dla kabla lub światłowodu
- Status wsparcia dla zainstalowanej wersji Cumulus Linux
Nie zakładaj ogólnego wsparcia QSA
Ogólne wytyczne QSA dotyczące umieszczania transceivera SFP w porcie QSFP nie mają automatycznie zastosowania do portu OSFP SN5610. NVIDIA dokumentuje zachowanie QSA dla obsługiwanych interfejsów QSFP, ale nie należy tego traktować jako ogólnej gwarancji działania OSFP-SFP.
Przed użyciem adaptera należy sprawdzić dokładny model adaptera, tryb portu OSFP, interfejs optyczny SFP lub SFP28, wersję systemu Cumulus Linux, interfejs peer-to-peer oraz obsługiwaną prędkość. Konfiguracji QSA nie należy traktować jako konfiguracji typu breakout, chyba że dokumentacja platformy wyraźnie potwierdza taką konfigurację.
Dopasuj FEC na obu końcach
Zachowanie FEC zależy od typu kabla, modułu optycznego, prędkości łącza i urządzenia zdalnego. Łącze może pozostać zerwane, gdy oba końce używają niezgodnych ustawień FEC, lub może wykazywać narastające błędy po nawiązaniu połączenia.
Plan SN5610 dla tkaniny AI Leaf-Spine
W strukturze AI planowanie wydzielenia powinno uwzględniać łącza skierowane do komputerów, łącza uplink typu leaf-to-spine, redundancję, nadsubskrypcję i przyszłą rozbudowę. Większa liczba logicznych portów nie oznacza automatycznie lepszej konstrukcji.
| Wymagania dotyczące wdrożenia | Tryb oceny | Planowanie skupienia |
|---|---|---|
| Łącza szkieletowe lub rdzeniowe o dużej przepustowości | 800G lub 2×400G | Optyka, FEC, redundancja i zasięg łącza |
| Połączenia w górę od liścia do kręgosłupa | 400G lub 200G | Liczba łączy w górę, nadsubskrypcja i domeny awarii |
| Połączenia akceleratora 200G lub karty sieciowej | Wybicie 4×200G | Złącze końcowe, długość kabla i mapowanie pasów |
| Serwer 100G lub połączenia starszej generacji | Wybicie 8×100G | Ograniczenie portu sąsiedniego i przydział portu logicznego |
| Migracja o mieszanej prędkości | 800G, 400G, 200G i 100G | Zarezerwowane porty, optyka, FEC i udokumentowana mapa portów |
Dla każdego elementu „liść” i „szpic” należy udokumentować fizyczny port OSFP, tryb rozgałęzienia, interfejs logiczny, punkt końcowy, model kabla lub światłowodu, kodowanie błędów (FEC), wartość MTU oraz oczekiwaną ścieżkę przełączania awaryjnego. Dzięki temu późniejsza wymiana i rozwiązywanie problemów będą znacznie szybsze.
Architektury referencyjne NVIDIA dostarczają przykładów połączeń klasy 400G w infrastrukturze AI, ale prawidłowa topologia nadal zależy od platformy akceleratora, szybkości karty sieciowej, rozmiaru struktury, modelu redundancji i celu nadsubskrypcji. Użyj Architektura referencyjna NVIDIA AI Factory jako punkt odniesienia projektowego, a nie uniwersalny plan portu.
Zachowaj spójność MTU na całej ścieżce
Cumulus Linux zazwyczaj używa 9216-bajtowego MTU na interfejsach płaszczyzny danych, ale efektywne MTU ścieżki zależy od każdego interfejsu fizycznego, połączenia, mostu, sieci VLAN, sieci VXLAN i urządzenia równorzędnego. Zmiana podziału sama w sobie nie wymaga nowego MTU, ale sieci AI i nakładkowe muszą korzystać z kompleksowego planu MTU.
Rozwiązywanie problemów z brakującymi portami i awariami łączy
Jeśli fizyczny moduł OSFP zostanie wykryty, ale oczekiwane podzielone interfejsy się nie pojawią, przed zmianą MTU sprawdź tryb podziału, ograniczenia sąsiednich portów, prędkość podzielonego interfejsu, konfigurację pasma oraz obsługę kabla lub światłowodu.
| Objaw | Prawdopodobna przyczyna | Pierwsze kontrole |
|---|---|---|
| Podział interfejsów nie jest widoczny | Tryb breakout nie został zastosowany lub mapa portów jest nieprawidłowa | nv show interface, cat /etc/cumulus/ports.conf |
| Sąsiedni port jest zamknięty | Ograniczenie przełamania 8×100G | Sprawdź port źródłowy i przydział portu sąsiedniego |
| Wykryto układ optyczny, ale połączenie jest zerwane | Nieprawidłowa prędkość, kabel, mapowanie pasów lub FEC | nv show platform transceiver, ethtool |
| Link pojawia się i zaczyna trzepotać | Problem z FEC, jakością kabla lub negocjacjami między partnerami | Porównaj FEC i liczniki błędów po obu stronach |
| Duże pakiety nie działają | Niedopasowanie MTU lub narzut nałożony | Sprawdź fizyczną, wiązaną, mostową, VLAN, VXLAN i równorzędną wartość MTU |
Sprawdź stan wyjścia i transceivera
Sprawdź prędkość łącza i FEC
Porównaj wartości operacyjne i zastosowane dla interfejsu dzielonego. Jeśli prędkość jest prawidłowa, ale łącze pozostaje zerwane, porównaj tryb FEC i liczbę pasm z urządzeniem równorzędnym.
Sprawdź MTU dopiero po poprawnym połączeniu fizycznym
Użyj poniższych poleceń, aby potwierdzić skonfigurowaną i działającą wartość MTU. Jeśli łącze fizyczne, prędkość, FEC i transceiver są poprawne, porównaj wartość MTU na całej ścieżce przekazywania.
Najczęściej zadawane pytania
Ostateczne jedzenie na wynos
SN5610 może działać jako natywny przełącznik 800G lub jako platforma o wysokiej gęstości 400G, 200G lub 100G. Głównym szczegółem konstrukcyjnym, o którym należy pamiętać, jest to, że tryb 8×100G wykorzystuje 32 porty źródłowe OSFP i wymaga uwzględnienia ograniczenia liczby portów sąsiednich w planie portów.
Niezawodne wdrożenie powinno dokumentować tryb rozgałęzienia, logiczne nazwy interfejsów, model kabla lub światłowodu, konfigurację torów, prędkość, FEC i MTU. Jeśli potrzebujesz pomocy w walidacji mapy portów lub dopasowaniu wymaganej optyki i kabli, prześlij swoje wymagania SN5610 do przeglądu.