Das NVIDIA SN5610 Schalter Diese Lösung ist für hochdichte Ethernet-Netzwerke konzipiert, darunter KI- und Rechenzentrumsnetzwerke, die 800G-, 400G-, 200G- und 100G-Geräte auf derselben Plattform verbinden müssen. Dieser Leitfaden erklärt die Funktionsweise der Breakout-Modi, deren Konfiguration unter Cumulus Linux und die Vorgehensweise bei Problemen mit einer geteilten Schnittstelle oder Verbindung.
SN5610 800G Breakout-Optionen
Der SN5610 unterstützt 64 OSFP 800GbE-Schnittstellen. Je nach benötigter Endgerätegeschwindigkeit können die physischen Ports nativ genutzt oder in mehrere logische Schnittstellen aufgeteilt werden.
| Physischer Modus | Logische Ports pro OSFP | Maximalwert auf SN5610 | Hauptbeschränkung |
|---|---|---|---|
| 800G | 1×800G | 64 Häfen | Betrieb des Heimathafens |
| 400G | 2×400G | 128 Häfen | Erfordert ein unterstütztes bidirektionales Breakout-Design |
| 200G | 4×200G | 256 Häfen | Erfordert ein unterstütztes Vier-Wege-Breakout-Design |
| 100G | 8×100G | 256 Häfen | Verwendet 32 OSFP-Quellports und erfordert, dass der benachbarte Port deaktiviert ist. |
Der 100G-Modus erfordert besondere Aufmerksamkeit. Es handelt sich nicht um eine einfache Umwandlung aller 64 physischen OSFP-Ports in jeweils acht logische Ports. Die Beschränkung benachbarter Ports reduziert die Anzahl der für diese Konfiguration verfügbaren physischen Quellports.
Der SN5610 unterstützt sowohl PAM4- als auch NRZ-Codierung. Bei niedrigeren Übertragungsgeschwindigkeiten kann NRZ-Codierung zum Einsatz kommen. Das genaue Verhalten der einzelnen Lanes hängt vom Portmodus, Transceiver, Breakout-Kabel und Peer-Gerät ab. Prüfen Sie die aktuelle Plattformmatrix, bevor Sie die Portzuordnung abschließen.
Bei nativen 800G-Verbindungen sollten Sie vor der Auswahl eines Geräts den erforderlichen Formfaktor und die optische Reichweite prüfen. 800G OSFP-TransceiverEin Transceiver, der die beworbene Datenrate erreicht, ist möglicherweise dennoch ungeeignet für die gewählte Breakout-Topologie oder Remote-Schnittstelle.
Was vor der Konfiguration zu bestätigen ist
Die Planung von Breakout-Räumen sollte mit den Anforderungen an die Endgeräte beginnen. Wählen Sie nicht zuerst das Kabel aus und versuchen Sie nicht, das Netzwerkdesign daran anzupassen.
Bestätigen Sie die erforderliche Portform.
- Erforderliche Anzahl von 800G-, 400G-, 200G- und 100G-Verbindungen
- Vom Remote-Switch, der Netzwerkkarte, dem Server oder dem Beschleuniger unterstützte Geschwindigkeit
- OSFP-, QSFP112-, QSFP56- oder QSFP28-Schnittstelle an jedem Ende
- Anforderungen an DAC, AOC, optische Transceiver oder Glasfaser-Patchkabel
- Erforderlicher FEC-Modus und automatisches Aushandlungsverhalten
- Cumulus Linux-Version, die auf dem SN5610 läuft
Zeichnen Sie die Zuordnung von physischen zu logischen Ports auf.
Für jeden Breakout-Quellport sollten die physische OSFP-Nummer, die resultierenden logischen Schnittstellennamen, das angeschlossene Gerät, das Kabel- oder Optikmodell, die Geschwindigkeit, FEC und MTU erfasst werden. Dies ist besonders wichtig bei 8×100G-Designs, da der benachbarte physische Port möglicherweise nicht verfügbar ist.
Ein Konfigurationsdatensatz sollte außerdem angeben, ob die Verbindung für eine Rechenschnittstelle, eine Leaf-to-Spine-Uplink-Verbindung, ein Speichernetzwerk, einen Managementpfad oder eine Verbindung zwischen Switches verwendet wird. Derselbe Breakout-Modus kann für eine Aufgabe geeignet, für eine andere jedoch ineffizient sein.
Bitte senden Sie uns Ihre Portanzahl, die Cumulus-Version und die Kabelanforderungen.
Breakout-Ports in Cumulus Linux konfigurieren
Cumulus Linux 5.4 und höher verwendet die Breakout-Notation wie zum Beispiel 1x, 2x, 4x und 8xDer Breakout-Modus wird unabhängig von der Geschwindigkeit der resultierenden logischen Schnittstellen konfiguriert.
NVUE-Beispiel: 800G auf 2×400G
Das folgende Beispiel verwendet swp1 als physischer Quellport. Der tatsächliche Schnittstellenname muss mit der Portzuordnung des SN5610 übereinstimmen.
NVUE-Beispiel: 800G auf 4×200G
NVUE-Beispiel: 800G auf 8×100G
Die resultierenden Schnittstellen werden normalerweise benannt nach swp1s0 - durch Konsolidierung, swp1s7Bitte überprüfen Sie den Status der benachbarten Ports, bevor Sie diese Konfiguration in der Produktion einsetzen.
ports.conf-Methode
Definieren Sie mit der Linux-Konfigurationsmethode die Breakout-Form in /etc/cumulus/ports.confNachfolgend finden Sie eine beispielhafte 8×100G-Konfiguration. Ersetzen Sie die Portnummern durch die korrekten Werte für die geplante Portbelegung des SN5610.
Die Portgeschwindigkeit wird separat in NVUE oder in /etc/network/interfacesNach der Bearbeitung der Datei überprüfen Sie die Syntax und laden Sie den Switching-Dienst entsprechend der installierten Cumulus Linux-Version und dem Verfahren für Produktionsänderungen neu.
Prüfen Sie in einer Produktionsumgebung, ob der Neustartvorgang im gewählten Konfigurationsmodus vorübergehende Auswirkungen auf den Datenverkehr hat. Gehen Sie nicht davon aus, dass dasselbe Änderungsverfahren für jede Cumulus Linux-Version oder jeden ACL-Modus gilt.
Überprüfen Sie die Lane-Einstellungen beim Verbinden mit einer anderen Plattform.
Bei einigen 8-Lane-QSFP-DD- oder OSFP-Ports verwendet Cumulus Linux eine Standard-Lane-Zuweisung für einen 4x-Breakout. Falls die Gegenstelle eine andere Lane-Breite verwendet, ist möglicherweise an beiden Enden eine explizite Lane-Konfiguration erforderlich. Überprüfen Sie die aktuellen Port-Attribute, bevor Sie nur die Geschwindigkeit ändern.
OSFP-, Breakout-Kabel- und QSA-Grenzwerte
Ein Breakout-Kabel muss hinsichtlich Quell- und Zielport, Anzahl der Lanes, Kodierung, Geschwindigkeit, Reichweite und FEC-Anforderungen kompatibel sein. Die Steckerform allein reicht nicht aus, um Kompatibilität nachzuweisen.
Vergleichen Sie bei der Beschaffung die erforderliche Topologie mit der verfügbaren. NVIDIA Mellanox Breakout- und DAC-KabelBitte prüfen Sie vor der Bestellung, ob es sich bei dem ausgewählten Artikel um eine 800G-zu-2×400G-, 800G-zu-4×200G- oder 800G-zu-8×100G-Baugruppe handelt.
Überprüfen Sie die Kabel- und Optikkombination.
- Quellanschluss und Zielanschluss
- Elektrische Fahrspurkartierung
- Unterstützte Datenrate auf jeder logischen Schnittstelle
- DAC-, AOC- oder optischer Transceiver-Typ
- Fasertyp, Stecker und maximale Reichweite
- FEC-Anforderung für das Kabel oder die Optik
- Supportstatus der installierten Cumulus Linux-Version
Gehen Sie nicht von allgemeiner QSA-Unterstützung aus.
Die allgemeinen QSA-Richtlinien für die Platzierung eines SFP-Transceivers in einem QSFP-Port gelten nicht automatisch für einen SN5610 OSFP-Port. NVIDIA dokumentiert zwar das QSA-Verhalten für unterstützte QSFP-Schnittstellen, dies sollte jedoch nicht als generelle Garantie für den OSFP-zu-SFP-Betrieb verstanden werden.
Vor der Verwendung eines Adapters müssen das genaue Adaptermodell, der OSFP-Portmodus, die SFP- oder SFP28-Optik, die Cumulus-Linux-Version, die Peer-Schnittstelle und die unterstützte Geschwindigkeit überprüft werden. Eine QSA-Konfiguration sollte nicht als Breakout-Konfiguration behandelt werden, es sei denn, die Plattformdokumentation unterstützt dieses Design ausdrücklich.
FEC an beiden Enden
Das FEC-Verhalten hängt vom Kabeltyp, dem optischen Modul, der Übertragungsgeschwindigkeit und dem entfernten Gerät ab. Eine Verbindung kann unterbrochen bleiben, wenn die beiden Enden inkompatible FEC-Einstellungen verwenden, oder es können nach dem Verbindungsaufbau vermehrt Fehler auftreten.
Plan SN5610 für ein KI-Blattstachelgewebe
In einer KI-Infrastruktur sollte die Planung von Breakout-Slots rechenseitige Verbindungen, Uplinks zwischen Leaf- und Spine-Knoten, Redundanz, Überbelegung und zukünftige Erweiterungsmöglichkeiten umfassen. Eine höhere Anzahl logischer Ports führt nicht automatisch zu einem besseren Design.
| Bereitstellungsanforderung | Modus zur Bewertung | Planungsschwerpunkte |
|---|---|---|
| Hochbandbreiten Spine- oder Core-Verbindungen | 800G oder 2×400G | Optik, FEC, Redundanz und Verbindungsreichweite |
| Blatt-zu-Dornen-Uplinks | 400G oder 200G | Uplink-Anzahl, Überbelegung und Ausfalldomänen |
| 200G-Beschleuniger- oder NIC-Anschlüsse | 4×200G Breakout | Endpunktanschluss, Kabellänge und Spurzuordnung |
| 100G-Server- oder Legacy-Verbindungen | 8×100G Breakout | Beschränkung benachbarter Ports und logische Portzuweisung |
| Migration mit unterschiedlichen Geschwindigkeiten | 800G, 400G, 200G und 100G | Reservierte Häfen, Optiken, FEC und dokumentierte Hafenkarte |
Dokumentieren Sie für jedes Leaf- und Spine-Modul den physischen OSFP-Port, den Breakout-Modus, die logische Schnittstelle, den Endpunkt, das Kabel- oder Optikmodell, FEC, MTU und den erwarteten Failover-Pfad. Dies beschleunigt spätere Austauschvorgänge und die Fehlersuche erheblich.
Die NVIDIA-Referenzarchitekturen liefern Beispiele für 400G-Verbindungen in KI-Infrastrukturen, die korrekte Topologie hängt jedoch weiterhin von der Beschleunigerplattform, der Netzwerkgeschwindigkeit, der Fabric-Größe, dem Redundanzmodell und dem Überbuchungsziel ab. NVIDIA AI Factory Referenzarchitektur als Entwurfsvorlage und nicht als universeller Hafenplan.
Die MTU sollte über den gesamten Pfad hinweg einheitlich bleiben.
Cumulus Linux verwendet üblicherweise eine MTU von 9216 Byte auf Datenschnittstellen. Die effektive Pfad-MTU hängt jedoch von jeder physischen Schnittstelle, jedem Bond, jeder Bridge, jedem VLAN, VXLAN und jedem Peer-Gerät ab. Eine Breakout-Änderung erfordert an sich keine neue MTU, KI- und Overlay-Netzwerke benötigen jedoch einen durchgängigen MTU-Plan.
Behebung fehlender Ports und Verbindungsfehler
Wenn das physische OSFP-Modul erkannt wird, die erwarteten Split-Interfaces aber nicht angezeigt werden, überprüfen Sie vor dem Ändern der MTU den Breakout-Modus, die Beschränkung benachbarter Ports, die Split-Interface-Geschwindigkeit, die Lane-Konfiguration und die Kabel- oder Glasfaserunterstützung.
| Symptom | Wahrscheinliche Ursache | Erste Überprüfungen |
|---|---|---|
| Geteilte Benutzeroberflächen erscheinen nicht. | Der Breakout-Modus wurde nicht angewendet oder die Portzuordnung ist fehlerhaft. | nv show interface, cat /etc/cumulus/ports.conf |
| Der benachbarte Hafen ist außer Betrieb. | 8×100G-Durchbruchsbeschränkung | Überprüfen Sie die Quellport- und Nachbarportzuweisung. |
| Das optische Signal wurde erkannt, aber die Verbindung ist unterbrochen. | Falsche Geschwindigkeit, falsches Kabel, falsche Fahrspurzuordnung oder falsche FEC | nv show platform transceiver, ethtool |
| Die Verbindung stellt sich her und dann flattert sie. | FEC-, Kabelqualitäts- oder Peer-Verhandlungsproblem | Vergleichen Sie FEC und Fehlerzähler an beiden Enden |
| Große Pakete schlagen fehl | MTU-Fehlanpassung oder Overlay-Overhead | Überprüfen Sie die MTU für physische Verbindungen, Brücken, VLANs, VXLANs und Peers. |
Überprüfen Sie den Status des Breakout- und Transceivers.
Überprüfen Sie die Verbindungsgeschwindigkeit und FEC.
Vergleichen Sie die Betriebs- und Anwendungswerte für die geteilte Schnittstelle. Wenn die Geschwindigkeit korrekt ist, die Verbindung aber weiterhin unterbrochen bleibt, vergleichen Sie den FEC-Modus und die Anzahl der Lanes mit dem Peer-Gerät.
Überprüfen Sie die MTU erst, nachdem die physische Verbindung korrekt ist.
Verwenden Sie die folgenden Befehle, um die konfigurierte und betriebsbereite MTU zu überprüfen. Wenn die physikalische Verbindung, die Geschwindigkeit, die FEC und der Transceiver korrekt sind, vergleichen Sie die MTU über den gesamten Weiterleitungspfad.
Häufig gestellte Fragen
Letzter Imbiss
Der SN5610 kann als nativer 800G-Switch oder als hochdichte 400G-, 200G- oder 100G-Plattform betrieben werden. Wichtig zu beachten ist, dass der 8×100G-Modus 32 OSFP-Quellports nutzt und die Beschränkung benachbarter Ports im Portplan berücksichtigt werden muss.
Eine zuverlässige Implementierung sollte den Breakout-Modus, die logischen Schnittstellennamen, das Kabel- oder Optikmodell, die Lane-Konfiguration, die Geschwindigkeit, FEC und MTU gemeinsam dokumentieren. Wenn Sie Hilfe bei der Validierung einer Portzuordnung oder der Zuordnung der erforderlichen Optiken und Kabel benötigen, Senden Sie Ihre SN5610-Anforderungen zur Überprüfung ein..