Az NVIDIA SN5610 kapcsoló nagy sűrűségű Ethernet-hálózatokhoz készült, beleértve a mesterséges intelligenciát és az adatközpont-hálózatokat, amelyeknek 800G, 400G, 200G és 100G eszközöket kell csatlakoztatniuk ugyanazon a platformon. Ez az útmutató elmagyarázza, hogyan működnek a szétválasztási módok, hogyan konfigurálhatók Cumulus Linux alatt, és mit kell ellenőrizni, ha egy megosztott interfész vagy kapcsolat nem jelenik meg.
SN5610 800G kitörési opciók
Az SN5610 64 OSFP 800GbE interfészt támogat. A szükséges végponti sebességtől függően a fizikai portok natívan használhatók, vagy több logikai interfészre oszthatók.
| Fizikai mód | Logikai portok OSFP-nként | Maximum az SN5610-en | Fő korlátozás |
|---|---|---|---|
| 800G | 1×800G | 64 kikötők | Natív portművelet |
| 400G | 2×400G | 128 kikötők | Támogatott kétirányú elágazási kialakítást igényel |
| 200G | 4×200G | 256 kikötők | Támogatott négyutas elágazó kialakítást igényel |
| 100G | 8×100G | 256 kikötők | 32 OSFP forrásportot használ, és megköveteli a szomszédos port letiltását. |
A 100G mód különös figyelmet igényel. Nem arról van szó, hogy mind a 64 fizikai OSFP portot egyszerűen nyolc logikai porttá alakítjuk át. A szomszédos portok korlátozása csökkenti az ehhez a konfigurációhoz elérhető fizikai forrásportok számát.
Az SN5610 támogatja mind a PAM4, mind az NRZ kódolást. Alacsonyabb sebességű működés esetén NRZ kódolás használható, míg a pontos sávviselkedés a port módjától, az adó-vevőtől, a breakout kábeltől és a peer eszköztől függ. A porttérkép véglegesítése előtt ellenőrizze az aktuális platformmátrixot.
Natív 800G csatlakozások esetén a kiválasztás előtt tekintse át a szükséges formátumot és optikai hatótávolságot. 800G OSFP adó-vevőEgy olyan adó-vevő, amely megfelel a hirdetett adatsebességnek, továbbra is alkalmatlan lehet a kiválasztott kiosztott topológiához vagy távoli interfészhez.
Amit a konfiguráció előtt ellenőrizni kell
A breakoutok tervezését a végpontok követelményeivel kell kezdeni. Ne először a kábelt válassza ki, és próbálja meg a hálózatot ahhoz igazítani.
Erősítse meg a kívánt port alakját
- Szükséges számú 800G, 400G, 200G és 100G-os kapcsolat
- A távoli kapcsoló, hálózati kártya, szerver vagy gyorsító által támogatott sebesség
- OSFP, QSFP112, QSFP56 vagy QSFP28 interfész mindkét végén
- DAC, AOC, optikai adó-vevő vagy optikai kábelcsatlakozás követelményei
- Szükséges FEC mód és automatikus egyeztetési viselkedés
- Cumulus Linux verzió fut az SN5610-en
A fizikai-logikai porttérkép rögzítése
Minden egyes breakout forrásport esetében rögzítse a fizikai OSFP számot, az ebből eredő logikai interfészneveket, a csatlakoztatott eszközt, a kábel vagy optikai modellt, a sebességet, az FEC értéket és az MTU-t. Ez különösen fontos a 8×100G-os tervek esetében, mivel a szomszédos fizikai port esetleg nem érhető el.
A konfigurációs rekordnak azt is azonosítania kell, hogy a kapcsolatot számítási célú kapcsolathoz, levél-gerinc feltöltésekhez, tárolóhálózathoz, felügyeleti útvonalhoz vagy kapcsolók közötti kapcsolathoz használják-e. Ugyanaz a leválasztási mód alkalmas lehet az egyik szerepkörhöz, de egy másikhoz nem hatékony.
Küldd el a portszámodat, a Cumulus verziódat és a kábeligényedet.
Breakout portok konfigurálása Cumulus Linuxban
A Cumulus Linux 5.4 és újabb verziói olyan breakout jelöléseket használnak, mint például 1x, 2x, 4xés 8xA kibontási mód konfigurálása a létrejövő logikai interfészek sebességétől függetlenül történik.
NVUE példa: 800G-tól 2×400G-ig
A következő példa használja swp1 fizikai forrásportként. A tényleges interfésznévnek meg kell egyeznie az SN5610 porttérképével.
NVUE példa: 800G-tól 4×200G-ig
NVUE példa: 800G-tól 8×100G-ig
A kapott interfészeket általában a következőképpen nevezik el: swp1s0 keresztül swp1s7A konfiguráció éles környezetben történő használata előtt ellenőrizze a szomszédos port állapotát.
ports.conf metódus
A Linux konfigurációs metódussal definiáld a kitörés alakját a /etc/cumulus/ports.confA következő egy szemléltető 8×100G konfiguráció. Cserélje ki a portszámokat a tervezett SN5610 porttérkép helyes értékeire.
A port sebességét külön kell konfigurálni az NVUE-ben vagy a /etc/network/interfacesA fájl szerkesztése után érvényesítse a szintaxist, és töltse be újra a kapcsolási szolgáltatást a telepített Cumulus Linux verziónak és az éles környezet módosítására vonatkozó eljárásnak megfelelően.
Éles hálózaton ellenőrizze, hogy az újratöltési eljárás okoz-e ideiglenes forgalmi hatást a kiválasztott konfigurációs módban. Ne feltételezze, hogy ugyanaz a módosítási eljárás vonatkozik minden Cumulus Linux kiadásra vagy ACL módra.
Sávbeállítások ellenőrzése másik platformhoz való csatlakozáskor
Néhány 8 sávos QSFP-DD vagy OSFP porton a Cumulus Linux alapértelmezett sávkiosztást használ egy 4x-es kiosztáshoz. Ha a peer platform eltérő sávszélességet használ, mindkét végén külön sávkonfigurációra lehet szükség. A sebesség módosítása előtt ellenőrizze az aktuális portattribútumokat.
OSFP, elosztókábel és QSA-korlátok
Egy elosztókábelnek meg kell felelnie a forrásport, a célport, a sávszám, a kódolás, a sebesség, az hatótávolság és az FEC követelményeknek. A csatlakozó alakja önmagában nem elegendő a kompatibilitás igazolására.
Beszerzéshez hasonlítsa össze a szükséges topológiát a rendelkezésre állóval. NVIDIA Mellanox breakout és DAC kábelekRendelés előtt ellenőrizze, hogy a kiválasztott tétel 800G-tól 2×400G-ig, 800G-tól 4×200G-ig vagy 800G-tól 8×100G-ig terjedő szerelvény-e.
Ellenőrizze a kábel és az optikai elem kombinációját
- Forráscsatlakozó és célcsatlakozó
- Elektromos sávtérképezés
- Támogatott adatsebesség minden logikai interfészen
- DAC, AOC vagy optikai adó-vevő típus
- Száloptikai típus, csatlakozó és maximális hatótávolság
- FEC-követelmény a kábelre vagy az optikai hálózatra
- A telepített Cumulus Linux kiadás támogatási állapota
Ne feltételezzen általános QSA-támogatást
Az SFP adó-vevő QSFP portba helyezésére vonatkozó általános QSA-útmutató nem vonatkozik automatikusan az SN5610 OSFP portra. Az NVIDIA dokumentálja a támogatott QSFP interfészek QSA-viselkedését, de ezt nem szabad általános garanciaként kezelni az OSFP-SFP működésre.
Adapter használata előtt ellenőrizze a pontos adaptermodellt, az OSFP port módját, az SFP vagy SFP28 optikát, a Cumulus Linux verzióját, a peer interfészt és a támogatott sebességet. A QSA konfigurációt nem szabad breakout konfigurációként kezelni, kivéve, ha a platform dokumentációja kifejezetten támogatja ezt a kialakítást.
Egyezzen meg az FEC mindkét végén
Az FEC viselkedése a kábel típusától, az optikai modultól, a sávszélességtől és a távoli eszköztől függ. Egy kapcsolat leállhat, ha a két végpont inkompatibilis FEC beállításokat használ, vagy növekvő hibákat mutathat a kapcsolatfelvétel után.
SN5610 terv egy mesterséges intelligenciával készült levélgerinc szövethez
Egy mesterséges intelligencia hálózatban a kibontási tervezésnek tartalmaznia kell a számítási célpontú kapcsolatokat, a levél-gerinc feltöltéseket, a redundanciát, a túlfizetést és a jövőbeli bővítéseket. A magasabb logikai portszám nem eredményez automatikusan jobb tervet.
| Telepítési követelmény | Értékelési mód | Tervezési fókusz |
|---|---|---|
| Nagy sávszélességű gerinc- vagy magkapcsolatok | 800G vagy 2×400G | Optika, FEC, redundancia és kapcsolat elérhetősége |
| Levéltől gerincig terjedő feltöltés | 400G vagy 200G | Feltöltési számláló, túlfizetés és sikertelen domainek |
| 200G gyorsító vagy NIC csatlakozások | 4×200G kitörés | Végponti csatlakozó, kábelhossz és sávleképezés |
| 100G szerver vagy régebbi kapcsolatok | 8×100G kitörés | Szomszédos portok korlátozása és logikai portok kiosztása |
| Vegyes sebességű migráció | 800G, 400G, 200G és 100G | Foglalt portok, optika, FEC és dokumentált porttérkép |
Minden egyes levél és gerinc esetében dokumentálja a fizikai OSFP portot, a breakout módot, a logikai interfészt, a végpontot, a kábel- vagy optikai modellt, az FEC-et, az MTU-t és a várható hibatűrési útvonalat. Ez sokkal gyorsabbá teszi a későbbi cserét és a hibaelhárítást.
Az NVIDIA referenciaarchitektúrái példákat mutatnak be a 400G-osztályú kapcsolatokra az AI infrastruktúrában, de a helyes topológia továbbra is a gyorsító platformtól, a hálózati kártya sebességétől, a hálózat méretétől, a redundancia modelltől és a túlfizetési céltól függ. Használja a NVIDIA AI Factory referenciaarchitektúra inkább tervezési referenciaként, mint univerzális kikötői tervként.
Tartsa az MTU-t konzisztensen az útvonalon
A Cumulus Linux általában 9216 bájtos MTU-t használ az adatsík interfészeken, de az effektív útvonal MTU-ja minden fizikai interfésztől, kötvénytől, hídtól, VLAN-tól, VXLAN-tól és peer eszköztől függ. Egy kibontási változás önmagában nem igényel új MTU-t, de az AI-nak és az átfedő hálózatoknak végpontok közötti MTU-tervet kell használniuk.
Hiányzó portok és kapcsolathibák elhárítása
Ha a fizikai OSFP modult a rendszer észleli, de a várt osztott interfészek nem jelennek meg, akkor az MTU módosítása előtt ellenőrizze a kiosztási módot, a szomszédos portok korlátozását, az osztott interfész sebességét, a sávkonfigurációt, valamint a kábel- vagy optikai támogatást.
| Tünet | Valószínű oka | Első ellenőrzések |
|---|---|---|
| A megosztott interfészek nem jelennek meg | A breakout mód nem lett alkalmazva, vagy a porttérkép helytelen. | nv show interface, cat /etc/cumulus/ports.conf |
| A szomszédos port nem működik | 8×100G kitörési korlátozás | Ellenőrizze a forrásport és a szomszédos portok kiosztását |
| Az optikát érzékeli a rendszer, de a kapcsolat nem működik. | Hibás sebesség, kábel, sávfeltérképezés vagy FEC | nv show platform transceiver, ethtool |
| A link felbukkan, majd visszapattan | FEC, kábelminőség vagy peer-egyeztetési probléma | Hasonlítsa össze az FEC és a hibaszámlálókat mindkét oldalon |
| Nagy csomagok sikertelenek | MTU-eltérés vagy átfedési többlet | Fizikai, kötvény-, híd-, VLAN-, VXLAN- és peer MTU-ellenőrzés |
Ellenőrizze a leágazás és az adó-vevő állapotát
Ellenőrizze a kapcsolat sebességét és az FEC-et
Hasonlítsa össze az osztott interfész működési és alkalmazott értékeit. Ha a sebesség megfelelő, de a kapcsolat továbbra sem működik, hasonlítsa össze az FEC módot és a sávszámot a peer eszközével.
Az MTU-t csak a fizikai kapcsolat helyessége után ellenőrizd.
A következő parancsokkal erősítse meg a konfigurált és működő MTU-t. Ha a fizikai kapcsolat, a sebesség, az FEC és az adó-vevő helyes, hasonlítsa össze az MTU-t a teljes továbbítási útvonalon.
Gyakran ismételt kérdések
Végső elvihető
Az SN5610 natív 800G-switchként, vagy nagy sűrűségű 400G, 200G vagy 100G platformként is működhet. A fő tervezési részlet, amelyet figyelembe kell venni, hogy a 8×100G mód 32 OSFP forrásportot használ, és a szomszédos portokra vonatkozó korlátozást is bele kell foglalni a porttervbe.
Egy megbízható telepítésnek együtt kell dokumentálnia a breakout módot, a logikai interfészneveket, a kábel- vagy optikai modellt, a sávkonfigurációt, a sebességet, az FEC-et és az MTU-t. Ha segítségre van szüksége a porttérkép validálásához vagy a szükséges optikák és kábelek egyeztetéséhez, küldje el SN5610 követelményeit felülvizsgálatra.