Prepínač NVIDIA SN5610 je určený pre ethernetové siete s vysokou hustotou, vrátane sietí umelej inteligencie a dátových centier, ktoré potrebujú pripojiť zariadenia s rýchlosťou 800G, 400G, 200G a 100G na rovnakej platforme. Táto príručka vysvetľuje, ako fungujú režimy breakout, ako ich konfigurovať v systéme Cumulus Linux a čo skontrolovať, keď sa rozdelené rozhranie alebo prepojenie neobnoví.
Možnosti rozbočovača SN5610 800G
SN5610 podporuje 64 rozhraní OSFP 800GbE. V závislosti od požadovanej rýchlosti koncového bodu je možné fyzické porty používať natívne alebo rozdeliť do viacerých logických rozhraní.
| Fyzický režim | Logické porty na OSFP | Maximum na SN5610 | Hlavné obmedzenie |
|---|---|---|---|
| 800G | 1×800G | 64 porty | Natívna prevádzka portu |
| 400G | 2×400G | 128 porty | Vyžaduje podporovaný obojsmerný rozbočovací dizajn |
| 200G | 4×200G | 256 porty | Vyžaduje podporovaný štvorcestný rozbočovací dizajn |
| 100G | 8×100G | 256 porty | Používa 32 zdrojových portov OSFP a vyžaduje, aby bol susedný port deaktivovaný. |
Režim 100G si vyžaduje osobitnú pozornosť. Nejde o jednoduchú konverziu všetkých 64 fyzických OSFP portov na osem logických portov. Obmedzenie susedných portov znižuje počet fyzických zdrojových portov dostupných pre túto konfiguráciu.
SN5610 podporuje kódovanie PAM4 aj NRZ. Prevádzka pri nižších rýchlostiach môže používať kódovanie NRZ, zatiaľ čo presné správanie jazdného pruhu závisí od režimu portu, transceivera, prepojovacího kábla a peer zariadenia. Pred finalizáciou mapy portov skontrolujte aktuálnu maticu platformy.
V prípade natívnych pripojení 800G si pred výberom skontrolujte požadovaný tvarový faktor a optický dosah. 800G OSFP vysielač/prijímačVysielač/prijímač, ktorý zodpovedá inzerovanej dátovej rýchlosti, môže byť stále nevhodný pre zvolenú topológiu prepojenia alebo vzdialené rozhranie.
Čo je potrebné overiť pred konfiguráciou
Plánovanie prepojenia by malo začať s požiadavkami na koncové body. Nevyberajte najprv kábel a nesnažte sa prispôsobiť návrh siete tomu.
Potvrďte požadovaný tvar portu
- Požadovaný počet liniek 800G, 400G, 200G a 100G
- Rýchlosť podporovaná vzdialeným prepínačom, sieťovou kartou, serverom alebo akcelerátorom
- Rozhranie OSFP, QSFP112, QSFP56 alebo QSFP28 na každom konci
- Požiadavky na DAC, AOC, optický transceiver alebo optické prepojenie
- Požadovaný režim FEC a správanie pri automatickom vyjednávaní
- Verzia Cumulus Linux bežiaca na SN5610
Zaznamenajte mapu fyzických a logických portov
Pre každý zdrojový port prepojenia zaznamenajte fyzické číslo OSFP, výsledné názvy logických rozhraní, pripojené zariadenie, model kábla alebo optiky, rýchlosť, FEC a MTU. Toto je obzvlášť dôležité pre návrhy 8×100G, pretože susedný fyzický port nemusí byť k dispozícii.
Konfiguračný záznam by mal tiež identifikovať, či sa prepojenie používa pre pripojenie orientované na výpočty, uplink typu leaf-to-spine, sieť úložiska, cestu správy alebo prepojenie medzi prepínačmi. Ten istý režim prepojenia môže byť vhodný pre jednu rolu a neefektívny pre inú.
Pošlite počet portov, verziu Cumulusu a požiadavky na kábel.
Konfigurácia Breakout portov v Cumulus Linux
Cumulus Linux 5.4 a novšie verzie používajú breakout notáciu, ako napríklad 1x, 2x, 4xa 8xRežim prerušenia sa konfiguruje oddelene od rýchlosti výsledných logických rozhraní.
Príklad NVUE: 800G až 2×400G
Nasledujúci príklad používa swp1 ako fyzický zdrojový port. Skutočný názov rozhrania sa musí zhodovať s mapou portov SN5610.
Príklad NVUE: 800G až 4×200G
Príklad NVUE: 800G až 8×100G
Výsledné rozhrania sú zvyčajne pomenované podľa swp1s0 cez swp1s7Pred použitím tejto konfigurácie v produkčnom prostredí overte stav susedného portu.
metóda ports.conf
Pomocou metódy konfigurácie Linuxu definujte tvar prerušenia v /etc/cumulus/ports.confNasleduje ilustratívna konfigurácia 8×100G. Nahraďte čísla portov správnymi hodnotami pre plánovanú mapu portov SN5610.
Rýchlosť portu sa konfiguruje samostatne v NVUE alebo v /etc/network/interfacesPo úprave súboru overte syntax a znova načítajte službu prepínania podľa nainštalovanej verzie systému Cumulus Linux a postupu zmeny produkcie.
V produkčnej štruktúre overte, či procedúra opätovného načítania spôsobuje dočasný vplyv na prevádzku vo vybranom konfiguračnom režime. Nepredpokladajte, že rovnaký postup zmeny platí pre každú verziu alebo režim ACL systému Cumulus Linux.
Pri pripájaní na inú platformu skontrolujte nastavenia jazdných pruhov
Na niektorých 8-pruhových portoch QSFP-DD alebo OSFP používa systém Cumulus Linux predvolenú alokáciu línií pre 4x breakout. Ak peer platforma používa inú šírku línií, oba konce môžu vyžadovať explicitnú konfiguráciu línií. Pred zmenou samotnej rýchlosti skontrolujte aktuálne atribúty portu.
Limity OSFP, prepojovacích káblov a QSA
Prepojovací kábel musí zodpovedať požiadavkám na zdrojový port, cieľový port, počet línií, kódovanie, rýchlosť, dosah a FEC. Samotný tvar konektora nie je dostatočným dôkazom kompatibility.
Pri obstarávaní porovnajte požadovanú topológiu s dostupnou Káble NVIDIA Mellanox breakout a DACPred objednaním si overte, či je vybraná položka zostava 800G na 2×400G, 800G na 4×200G alebo 800G na 8×100G.
Skontrolujte kombináciu kábla a optiky
- Zdrojový konektor a cieľový konektor
- Mapovanie elektrických jazdných pruhov
- Podporovaná prenosová rýchlosť na každom logickom rozhraní
- Typ DAC, AOC alebo optického vysielača/prijímača
- Typ vlákna, konektor a maximálny dosah
- Požiadavka FEC pre kábel alebo optický kábel
- Stav podpory pre nainštalovanú verziu Cumulus Linux
Nepredpokladajte všeobecnú podporu QSA
Všeobecné pokyny QSA pre umiestnenie transceivera SFP do portu QSFP sa automaticky nevzťahujú na port SN5610 OSFP. NVIDIA dokumentuje správanie QSA pre podporované rozhrania QSFP, ale to by sa nemalo považovať za všeobecnú záruku prevádzky OSFP-SFP.
Pred použitím adaptéra si overte presný model adaptéra, režim portu OSFP, optický port SFP alebo SFP28, verziu systému Cumulus Linux, peer rozhranie a podporovanú rýchlosť. Konfigurácia QSA by sa nemala považovať za konfiguráciu breakout, pokiaľ dokumentácia platformy tento návrh výslovne nepodporuje.
Zhoda FEC na oboch koncoch
Správanie FEC závisí od typu kábla, optického modulu, rýchlosti v jazdnom pruhu a vzdialeného zariadenia. Spojenie môže zostať nefunkčné, ak oba konce používajú nekompatibilné nastavenia FEC, alebo môže po nadviazaní vykazovať narastajúce chyby.
Plán SN5610 pre tkaninu s AI Leaf-Spine
V rámci AI fabric by plánovanie breakoutu malo zahŕňať prepojenia orientované na výpočty, uplinky typu leaf-spine, redundanciu, nadmerné predplatné a budúce rozšírenie. Vyšší počet logických portov automaticky nevedie k lepšiemu dizajnu.
| Požiadavka na nasadenie | Režim hodnotenia | Zameranie na plánovanie |
|---|---|---|
| Vysokopásmové chrbticové alebo jadrové spojenia | 800G alebo 2×400G | Optika, FEC, redundancia a dosah spojenia |
| Vzostupné odkazy z listu do chrbtice | 400G alebo 200G | Počet uplinkov, nadmerný počet predplatiteľov a domény zlyhania |
| Pripojenia akcelerátora 200G alebo sieťovej karty | 4×200G únik | Koncový konektor, dĺžka kábla a mapovanie jazdných pruhov |
| 100G server alebo staršie pripojenia | 8×100G únik | Obmedzenie susedných portov a alokácia logických portov |
| Migrácia so zmiešanou rýchlosťou | 800G, 400G, 200G a 100G | Rezervované porty, optika, FEC a zdokumentovaná mapa portov |
Pre každý list a chrbticu zdokumentujte fyzický port OSFP, režim prepojenia, logické rozhranie, koncový bod, model kábla alebo optiky, FEC, MTU a očakávanú cestu prepnutia pri zlyhaní. To výrazne urýchli neskoršiu výmenu a riešenie problémov.
Referenčné architektúry NVIDIA poskytujú príklady pripojení triedy 400G v infraštruktúre AI, ale správna topológia stále závisí od platformy akcelerátora, rýchlosti sieťovej karty, veľkosti siete, modelu redundancie a cieľa nadmerného predplatného. Použite Referenčná architektúra NVIDIA AI Factory ako referenčný návrh, a nie ako univerzálny plán prístavu.
Udržujte MTU konzistentnú v celej trase
Cumulus Linux bežne používa 9216-bajtovú MTU na rozhraniach dátovej roviny, ale efektívna MTU cesty závisí od každého fyzického rozhrania, väzby, mosta, VLAN, VXLAN a peer zariadenia. Zmena pripojenia sama o sebe nevyžaduje novú MTU, ale siete AI a prekrývajúce siete musia používať end-to-end plán MTU.
Riešenie problémov s chýbajúcimi portami a zlyhaniami pripojenia
Ak je fyzický modul OSFP detekovaný, ale očakávané rozdelené rozhrania sa nezobrazujú, pred zmenou MTU skontrolujte režim breakout, obmedzenie susedných portov, rýchlosť rozdeleného rozhrania, konfiguráciu línií a podporu káblov alebo optiky.
| symptóm | Pravdepodobná príčina | Prvé kontroly |
|---|---|---|
| Rozdelené rozhrania sa nezobrazujú | Režim Breakout nebol použitý alebo je mapa portov nesprávna. | nv show interface, cat /etc/cumulus/ports.conf |
| Susedný port je nefunkčný | Obmedzenie prerušenia 8×100G | Skontrolujte alokáciu zdrojového portu a susedného portu |
| Optika je detekovaná, ale spojenie je nefunkčné. | Nesprávna rýchlosť, kábel, mapovanie jazdných pruhov alebo FEC | nv show platform transceiver, ethtool |
| Spojenie sa objaví a potom sa zachveje | Problém s FEC, kvalitou kábla alebo vyjednávaním medzi peermi | Porovnajte počítadlá FEC a chýb na oboch koncoch |
| Veľké pakety zlyhajú | Nezhoda MTU alebo réžia prekrytia | Skontrolujte fyzické, bond, bridge, VLAN, VXLAN a peer MTU |
Overte stav prepojenia a vysielača/prijímača
Skontrolujte rýchlosť pripojenia a FEC
Porovnajte prevádzkové a aplikované hodnoty pre rozdelené rozhranie. Ak je rýchlosť správna, ale spojenie zostáva nefunkčné, porovnajte režim FEC a počet jazdných pruhov s partnerským zariadením.
Skontrolujte MTU až po správnom fyzickom prepojení.
Na potvrdenie nakonfigurovanej a funkčnej hodnoty MTU použite nasledujúce príkazy. Ak sú fyzické pripojenie, rýchlosť, FEC a vysielač/prijímač správne, porovnajte hodnotu MTU v celej ceste presmerovania.
Často kladené otázky
Konečný odber
SN5610 môže fungovať ako natívny 800G prepínač alebo ako platforma s vysokou hustotou 400G, 200G alebo 100G. Hlavným detailom návrhu, ktorý treba mať na pamäti, je, že režim 8×100G používa 32 zdrojových portov OSFP a vyžaduje, aby bolo do plánu portov zahrnuté obmedzenie susedných portov.
Spoľahlivé nasadenie by malo spoločne zdokumentovať režim prepojenia, názvy logických rozhraní, model kábla alebo optiky, konfiguráciu jazdných pruhov, rýchlosť, FEC a MTU. Ak potrebujete pomoc s overením mapy portov alebo spárovaním požadovaných optických prvkov a káblov, Pošlite svoje požiadavky SN5610 na kontrolu.