Bei der nächtlichen Bereitstellung eines HGX H100 GPU-Clusters mit mehreren Knoten ist nichts so hinderlich wie ein Verbindungsfehler auf der physikalischen Schicht. Sie schieben einen hochwertigen OSFP-Transceiver in ein Quantum-2 QM9700 Schalter Sie versuchen, einen BlueField-3 DPU mit einem Leaf-Switch über einen nicht zugelassenen Transceiver zu verbinden, was jedoch zu einem kontinuierlichen Port-Flapping aufgrund von Fehlern in der Vorwärtsfehlerkorrektur (FEC) führt. Dabei stellen Sie fest, dass der Port aufgrund einer Inkompatibilität zwischen dem OSFP-Anschluss des Hosts (flache Oberseite) und dem Kühlkörper des Switches (gerippte Oberseite) weiterhin unbeschaltet bleibt. Alternativ versuchen Sie, eine BlueField-3 DPU mit einem Leaf-Switch über einen nicht zugelassenen Transceiver zu verbinden, was wiederum zu einem kontinuierlichen Port-Flapping führt.
In leistungsstarken KI-Architekturen ist die Verbindung kein passives Zubehör mehr, sondern eine entscheidende Erweiterung des Siliziums. Das genaue Verständnis der Kompatibilitätsmatrix des NVIDIA LinkX DAC- und Transceiver-Portfolios ist unerlässlich, um kostspielige Fehlersuche auf der physikalischen Schicht zu vermeiden und die Einhaltung von Projektzeitplänen sicherzustellen.
Architektur der physikalischen Schicht: 100G-PAM4-Modulation und Formfaktorabweichung
Moderne KI-Workloads erfordern massive Bisektionsbandbreiten und treiben so den Übergang von 50G-PAM4 (verwendet in HDR 200G- und frühen 400G-QSFP-DD-Systemen) 100G-PAM4 Die Signalisierung pro Lane bildet die Grundlage sowohl für 400-Gbit/s- (4x100G) als auch für 800-Gbit/s-Architekturen (8x100G). Die Verarbeitung von 100G-PAM4-Signalen stellt jedoch erhebliche Herausforderungen hinsichtlich der thermischen Eigenschaften und der Signalintegrität dar, was zu unterschiedlichen Transceiver-Bauformen führt.
Die thermische Aufteilung des OSFP: Kühlrippen oben vs. flache Oberseite
Im Gegensatz zu herkömmlichen optischen Transceivern verwenden die Quantum-2 InfiniBand- und Spectrum-4 Ethernet-Switches von NVIDIA OSFP-Käfige ohne integrierte Kühlkörper. Stattdessen ist die Wärmeableitung direkt im Transceiver integriert.
- OSFP mit Lamellenoberseite: Diese Module verfügen über integrierte Kühlrippen an der Oberseite des Steckergehäuses. Sie sind für luftgekühlte Switches (wie den Quantum-2 QM9700 und den Spectrum-4 SN5600) zwingend erforderlich, da der Switch die Wärme über die Kühlrippen des Transceivers an den Luftstrom im Gehäuse abführt.
- OSFP mit flacher Oberseite: Diese Module besitzen eine glatte Oberfläche. Sie sind für Hostsysteme wie DGX H100 GPU-Systeme oder Server mit OSFP-basierten ConnectX-7 SmartNICs konzipiert. Diese Hostsysteme verfügen über interne Kühlkörper, die direkt auf der flachen Oberfläche des OSFP-Moduls aufliegen und so die Wärme abführen.
Warnung: Das Einsetzen eines OSFP-Moduls mit flacher Oberseite in einen luftgekühlten Switch-Käfig führt zu einer schnellen thermischen Überhitzung und löst aufgrund mangelnder Wärmeabfuhr innerhalb weniger Minuten eine automatische Portabschaltung aus.
Die QSFP112-Alternative
Während OSFP bei Switch-zu-Switch- und Switch-zu-GPU-Verbindungen dominiert, QSFP112-Transceiver Der Standard spielt eine entscheidende Rolle bei hochdichten SmartNIC- und DPU-Implementierungen. QSFP112 behält den bewährten QSFP-Formfaktor bei, erweitert aber die elektrischen Leitungen zur Unterstützung von 100G-PAM4.
- BlueField-3-DPUs Akzeptiert ausschließlich die Formfaktoren QSFP112, QSFP56 und QSFP28; OSFP wird nicht unterstützt.
- ConnectX-7 SmartNICs Die Netzwerkkarten werden in zwei unterschiedlichen Varianten hergestellt: eine mit OSFP-Käfig und eine mit QSFP112-Käfig. Die zuständigen Ingenieure müssen die genaue NIC-Artikelnummer (SKU) vor dem Kauf der Kabel überprüfen.
Detaillierte Spezifikationen für den Host-seitigen Adapter finden Sie in den ConnectX-7 SmartNIC-Spezifikationen, um die Formfaktor-Konformität sicherzustellen.
Prüfen Sie den Lagerbestand, vergleichen Sie die Optionen oder sprechen Sie mit unserem Team.
Bezugsquellen- und Kompatibilitätsmatrix: InfiniBand vs. Ethernet-Verbindungen
NVIDIA LinkX-Kabel und -Transceiver sind so konstruiert, dass sie sowohl InfiniBand- als auch Ethernet-Protokolle unterstützen. Die physikalischen Bauformen und optischen Aufteilungskonfigurationen unterscheiden sich jedoch je nach Switch- und Host-Architektur erheblich.
| Produkttyp / Artikelnummer | Formfaktor (Switch / Host) | Maximale Reichweite | Modulation & Protokoll | Stromverbrauch (typisch) | Primäre Anwendung |
|---|---|---|---|---|---|
| NDR Passiver DAC | OSFP (mit Finnen) zu OSFP (flach) | 3.0 Meter | 100G-PAM4 (IB NDR / 400GbE) | 0.1 W (Passiv) | Umschaltung auf ConnectX-7 (OSFP) oder DGX H100 |
| NDR Aktives Kupfer (ACC) | OSFP (mit Finnen) zu OSFP (flach) | 5.0 Meter | 100G-PAM4 (IB NDR / 400GbE) | ~1.5 W pro Ende | Verbindungen zwischen Switches und Hosts mit mittlerer Reichweite zwischen Racks |
| QSFP112 Passiver DAC | QSFP112 bis QSFP112 | 2.0 Meter | 100G-PAM4 (400GbE / NDR200) | 0.1 W (Passiv) | Umschaltung auf BlueField-3 DPU oder ConnectX-7 (QSFP112) |
| MMA4Z00-NS (SR8) | OSFP (gerippt) Doppelanschluss | 50 Meter (MMF) | 2x400G (800G) PAM4 (IB/EN) | 15 Watt | Hochdichte Quantum-2 / Spectrum-4 Switch-Uplinks |
| MMA1Z00-NS400 (SR4) | QSFP112 Einzelport | 100 Meter (MMF) | 400G PAM4 (Ethernet / NDR) | ~8 Watt | BlueField-3 DPU-zu-Leaf-Switch-Verbindungen |
| MMS4X00-NS (DR8) | OSFP (gerippt) Doppelanschluss | 100 Meter (SMF) | 2x400G (800G) PAM4 (IB/EN) | 17 Watt | optische Einzelmodenverteilung zwischen Dornen und Blatt |
Um Ihre Adapter-Switch-Topologie effektiv zu planen, konsultieren Sie den ConnectX-7 400G DAC und AOC Verkabelungsleitfaden für validierte Breakout-Konfigurationen.
Praxisnahe Implementierung & CLI-Diagnose: Behebung von FEC-Fehlern und DOM-Überwachung
Bei 100G-PAM4-Signalisierung ist die Vorwärtsfehlerkorrektur (FEC) zwingend erforderlich, um eine akzeptable Bitfehlerrate (BER) zu gewährleisten. Unterschiedliche Betriebssysteme (wie NVIDIA Onyx/MLNX-OS, Cumulus Linux oder SONiC) können jedoch unterschiedliche FEC-Standardeinstellungen verwenden. Eine Inkompatibilität zwischen einem Spectrum-4-Switch-Port und einer BlueField-3-DPU verhindert das Training der Verbindung und führt zu einem dauerhaften Verbindungsabbruch oder Portflapping.
Nachfolgend finden Sie ein zum Kopieren und Einfügen bereites CLI-Konfigurations- und Diagnoseskript für NVIDIA Onyx (MLNX-OS) Switches zur Fehlerbehebung und Lösung von Transceiver-Verbindungsproblemen:
Wenn Sie BlueField-3 DPUs im Standard-Ethernet-Modus einsetzen, müssen Sie außerdem sicherstellen, dass der Host-seitige Treiber mit der FEC-Konfiguration des Switches übereinstimmt. Details zur Hardwarebereitstellung finden Sie in der Dokumentation zur Beschaffung von NVIDIA BlueField-3 DPUs.
Strategische Beschaffung: Verkürzung der Lieferzeiten und Optimierung der Stückliste für KI-Cluster
Der Aufbau eines KI-Rechenzentrums erfordert einen engen Zeitplan. Traditionelle Vertriebskanäle geben oft Lieferzeiten von 6 bis 8 Wochen für optische Hochgeschwindigkeitsverbindungen an, was die Implementierung von GPUs im Wert von mehreren Millionen Dollar verzögern und zu Vertragsstrafen führen kann.
Router-Switches beheben diese Engpässe in der Lieferkette durch ein hochoptimiertes Beschaffungsmodell:
- Sofortige Verfügbarkeit: Durch die Vorhaltung von Lagerbeständen im Wert von über 20 Millionen US-Dollar in globalen Lagern ermöglicht Router-switch den Versand noch in derselben Woche in wichtige Märkte wie die USA, Singapur und Japan. Dies reduziert die Lieferzeiten für kritische Komponenten wie NVIDIA LinkX DAC-Kabel und QSFP112-Transceiver drastisch.
- Stücklistenoptimierung: Durch unsere direkte Lieferkette werden mehrere Zwischenhändler mit ihren Gewinnspannen umgangen, sodass Systemintegratoren und Unternehmenskunden bei Großeinkäufen wettbewerbsfähige Preise erzielen können.
- Garantierte Echtheit: Jedes versendete NVIDIA LinkX-Kabel und jeder Transceiver ist garantiert 100% original und authentisch, die Seriennummern sind vor dem Versand vollständig in offiziellen Herstellerdatenbanken überprüfbar.
- Umfassender Support & Garantie: Um Risiken nach der Implementierung zu minimieren, bietet Router-Switch kostenlose individuelle technische Beratung auf CCIE-Niveau sowie eine kostenlose dreijährige RS Care-Garantieverlängerung. Diese beinhaltet einen schnellen RMA-Austauschservice, um die mittlere Reparaturzeit (MTTR) in Produktionsumgebungen zu verkürzen.