Mellanox Spectrum SN2700 vs SN3700: Mi az adatközpont frissítési útvonala?

Amikor éjféli NVMe-over-Fabrics (NVMe-oF) migrációt hajt végre, vagy egy RDMA-képes mesterséges intelligencia számítási fürtöt skáláz ki, és csendes csomagvesztéseket és TCP-újraküldéseket észlel a régi levélkapcsolók között, a hiba ritkán a fizikai szálon jelentkezik. Nagy áteresztőképességű, alacsony késleltetésű tárolási környezetekben a mikrobuborékok könnyen túlterhelik a statikus csomagpuffereket, ami csomagpuffer-szerializációs szűk keresztmetszetekhez vezet. Évekig a Mellanox Spectrum SN2700 szolgált a 100 GbE adatközpont levél/gerinc hálózatának igáslovaként. Ahogy azonban a munkaterhelések átállnak az elosztott gépi tanulásra és a nagy sűrűségű flash tárolásra, az első generációs szilícium korlátai nyilvánvalóvá válnak.

A Mellanox Spectrum SN2700-ról (Spectrum-1 ASIC) az SN3700-ra (Spectrum-2 ASIC) való frissítés nem csupán a 100GbE-ről a 200GbE-re való átállást jelenti; alapvető architektúrális változást jelent a csomagpuffer-elosztásban, a telemetriai képességekben és a torlódáskezelésben. Ez a mélyreható műszaki elemzés értékeli a szilícium-alapú csővezetékeket, a teljesítménymutatókat és a valós telepítési stratégiákat, amelyek egy zökkenőmentes 100G-ről 200G-re való adatközponti migráció végrehajtásához szükségesek.

Tartalomjegyzék

• Szilícium-csővezeték evolúciója: Spectrum-1 vs. Spectrum-2 ASIC architektúra
• Hardver specifikációk és valós teljesítményméretezés
• A portok átrendeződésének és az FEC-eltérések mérséklése 100G/200G telepítések során
• Stratégiai migráció és beszerzés: Adatközponti beruházások optimalizálása
• Szakértői hibaelhárítás és közösségi kérdések és válaszok

Szilícium-csővezeték evolúciója: Spectrum-1 vs. Spectrum-2 ASIC architektúra

A Mellanox Spectrum SN2700 és SN3700 közötti architektúrális különbség a szilícium szintjén kezdődik. Az SN2700 az első generációs Spectrum-1 ASIC hajtja, amely egy 28 nm-es folyamatcsomóponton készül. Az SN3700 A Spectrum-2 ASIC-et egy rendkívül hatékony 16 nm-es FinFET eljárással építették. Ez a lapkazsugorodás lehetővé tette a Mellanox számára, hogy megduplázza a kapcsolási kapacitást, miközben kifinomult csomagfeldolgozó csővezetékeket vezetett be.

Csomagpuffer-szerializálás és mikroburst-csökkentés

A Spectrum-2 ASIC architektúra legfontosabb fejlesztése a csomagpuffer-elosztási modell:

• Spectrum-1 (SN2700)16 MB-os, teljesen megosztott csomagpufferrel rendelkezik. Bár a kortárs Broadcom Tomahawk chipek faragott/szegmentált puffereinél jobb, a 16 MB gyorsan telítődhet nagy mennyiségű incast mintázat esetén (pl. több az egyhez típusú tárolóírások).
• Spectrum-2 (SN3700): Hatalmas, 42 MB-os dinamikusan megosztott csomagpufferrel büszkélkedhet. Ez a puffer nincs statikusan portonként particionálva; ehelyett egy dinamikus kiosztási algoritmus igény szerint rendel pufferterületet az átmeneti torlódást tapasztaló portokhoz. Ez jelentősen megváltoztatja a mikroburst esési profilt, lehetővé téve az SN3700 számára, hogy akár 2.6-szor nagyobb bursteket is elnyeljen, mint az SN2700, mielőtt elindítaná a farokesést vagy aktiválná a prioritásos áramlásvezérlést (PFC).

Késleltetési profilok

A nagyfrekvenciás kereskedésben (HFT) és az ultra-alacsony késleltetésű klaszterezésben a portok közötti késleltetés kulcsfontosságú mutató. Az SN2700 ultra-alacsony, 300 ns-os áthidalási késleltetést biztosít a 100 GbE csomagok esetében. Érdekes módon az SN3700 valamivel magasabb, körülbelül 425 ns-os késleltetési profilt mutat. Ez a kismértékű növekedés a Spectrum-2 megnövelt csővezeték-mélységének, nagyobb pufferkereső táblázatainak és fejlett csomagelemzési képességeinek köszönhető. A vállalati adatközpontok és mesterséges intelligencia által vezérelt munkaterhelések 99%-ánál az SN3700 hatalmas pufferkapacitása és torlódáselkerülő mechanizmusai messze felülmúlják a 125 ns-os késleltetési deltát.

Hardveres telemetria: Mi történt az előbb (WJH)

A Spectrum-1 ASIC a hagyományos sFlow és SNMP lekérdezésre támaszkodik, amelyek gyakran nem veszik észre az ezredmásodperc tartományban előforduló tranziens mikrokitöréseket. A Spectrum-2 ASIC hardveresen beágyazott technológiát vezet be. Mi történt az előbb (WJH) telemetria. A WJH ASIC szinten vizsgálja az eldobott csomagokat, és részletes diagnosztikai metaadatokat (beleértve a pontos eldobás okát, például a VLAN-eltérést, az ACL-eldobást vagy a puffer végkiesését) valós időben továbbít közvetlenül a monitorozó eszközöknek. Ez kiküszöböli a találgatást az összetett hálózati hibaelhárítás során.

Hardver specifikációk és valós teljesítményméretezés

Egy Mellanox SN2700 frissítési útvonal tervezésekor a hálózati építészeknek értékelniük kell mindkét platform fizikai és logikai skálázhatósági korlátait. Az SN2700 szigorúan véve egy 100GbE platform, míg az SN3700 család több SKU-variációt kínál, beleértve az SN3700C-t (egy 32 portos 100G-os kapcsolót, amelyet az SN2700 közvetlen drop-in helyettesítésére terveztek, de Spectrum-2 előnyökkel) és a standard SN3700-at (amely 32 db 200GbE portot támogat QSFP56 interfészeken keresztül).

A beszerzés optimalizálásához és a költségvetési allokációk értékeléséhez feltárhatja a Mellanox Spectrum SN2700 kapcsoló specifikációi és árazása összehasonlítani a régi telepítési költségeket a következő generációs hardverekével.

Az alábbi táblázat az SN2700, SN3700C és SN3700 műszaki adatait ismerteti:

A portok átrendeződésének és az FEC-eltérések mérséklése 100G/200G telepítések során

Egy adatközpont 100G-ról 200G-ra való migrációja során egy gyakori, valós mérnöki nehézség a következőket foglalja magában: Előrehaladó hibajavítási (FEC) eltérésekEgy régebbi 100G-os hálózati kártya (például ConnectX-4 vagy ConnectX-5) újabb Spectrum-2 kapcsolóporthoz való csatlakoztatásakor, illetve harmadik féltől származó adó-vevők használatakor a kapcsolat gyakran megszakad, vagy folyamatos port-ingadozás tapasztalható.

Ez azért történik, mert az SN3700 alapértelmezett FEC módja (jellemzően Reed-Solomon FEC, vagy rs) esetleg nem automatikusan tárgyal a régi hálózati kártyával, amely elvárhatja no-fec vagy Firecode FEC (fc).

A probléma megoldásához a hálózati mérnököknek manuálisan kell konfigurálniuk a port sebességét, a kiosztási lehetőségeket és az FEC módokat. Az alábbiakban egy másolható-beilleszthető konfigurációs szkript látható a Mellanox Onyx (MLNX-OS) számára, amely egy SN3700 200G-os portját két 100G-os interfészre osztja, és manuálisan állítja be az FEC módot a következőre: rs a csapkodás elkerülése érdekében, és ellenőrizze a csomagpuffer eldobási számlálóit.

# Enter global configuration mode
enable
configure terminal

# Step 1: Configure port breakout on interface 1/1 (Split 200G QSFP56 to 2x 100G)
interface ethernet 1/1 module-type qsfp-split-2

# Step 2: Navigate to the newly created sub-interfaces and configure FEC
interface ethernet 1/1/1
  description Uplink_To_Legacy_100G_Leaf
  speed 100G
  fec rs
  no shutdown
exit

interface ethernet 1/1/2
  description Storage_Node_Connection
  speed 100G
  fec rs
  no shutdown
exit

# Step 3: Configure RoCEv2 Congestion Control (Explicit Congestion Notification - ECN)
interface ethernet 1/1/1 traffic-class 3 congestion-control ecn minimum-threshold 150kb maximum-threshold 1500kb mark-probability 10

# Step 4: Verification and Diagnostics
show interfaces ethernet 1/1/1 status
show interfaces ethernet 1/1/1 counters drop
show system wjh-records

Stratégiai migráció és beszerzés: Adatközponti beruházások optimalizálása

Egy aktív adatközponti hálózat SN2700-ról SN3700-ra való migrálása gondos tervezést igényel a hálózati leállások és a költségvetés túllépésének elkerülése érdekében. A hagyományos disztribúciós csatornák gyakran 6-8 hetes átfutási időket adnak a nagy sűrűségű switchekre, ami akadályozhatja a kritikus infrastruktúra bővítését és projektkésleltetési büntetéseket eredményezhet.

A router-switch ezeket az ellátási láncbeli szűk keresztmetszeteket a túlterhelés fenntartásával kezeli. 20 millió dollár értékű több raktárból álló polckészlet, lehetővé téve az ugyanazon a héten történő kiszállítást globális célállomásokra, beleértve az amerikai piacot is. Ez a gyors elérhetőség kritikus fontosságú a szakaszos migrációt végrehajtó vállalati ügyfelek számára, ahol a hardvereknek pontosan a karbantartási időszakok megnyílásakor kell megérkezniük.

Továbbá a Router-switch lapos ellátási lánca megkerüli a regionális forgalmazók több rétegű felárait, lehetővé téve a rendszerintegrátorok és a vállalati informatikai részlegek számára, hogy közvetlen nagykereskedelmi kedvezményeket biztosítsanak mind a korábbi SN2700 (a meglévő podok megőrzése vagy bővítése érdekében), mind az újabb SN3700 sorozat esetében.

A telepítés utáni kockázatok csökkentése érdekében minden leszállított kapcsolót egy 100%-ban eredeti, valódi garanciával, a sorozatszámok a szállítás előtt teljes mértékben ellenőrizhetők a gyártó hivatalos adatbázisában. A drága, merev szállítói támogatási szerződések helyett a telepítéseket a Router-switch ingyenes, egyéni CCIE/CCDE szintű mérnöki tanácsadása és egy ingyenes... 3 éves RS Care kiterjesztett garancia, amely magában foglalja a gyors RMA készenléti csereszolgáltatást az átlagos javítási idő (MTTR) minimalizálása érdekében.

Szakértői hibaelhárítás és közösségi kérdések és válaszok

1. kérdés: Kombinálhatom az SN2700 és SN3700 kapcsolókat ugyanabban az EVPN-VXLAN hálózatban?

Igen. Mind a Spectrum-1 (SN2700), mind a Spectrum-2 (SN3700) ASIC teljes mértékben támogatja az EVPN-VXLAN vezérlősíkokat. A hálózatot azonban a méretarány tekintetében a legkisebb közös nevező köré kell tervezni. Az SN2700 kisebb ARP/ND és MAC táblákkal rendelkezik az SN3700-hoz képest. Ha SN2700 kapcsolókat használ levélcsomópontként, és SN3700 kapcsolókat gerinccsomópontként, ügyeljen arra, hogy a levélcsomópontok ne lépjék túl a 256K-s L3 útválasztási és hoszttábla-korlátjukat.

2. kérdés: Miért mutatja az SN3700-asom a csomagvesztést, annak ellenére, hogy az átlagos sávszélesség-kihasználtság 40% alatt van?

Ez a mikroburst klasszikus tünete. Az átlagos sávszélességet az SNMP jellemzően 1 vagy 5 perces időközönként számítja ki. A mikroburst mikroszekundumokban történik, ahol több szerverport egyszerre küld forgalmat egyetlen felmenő portra. Ha a burst meghaladja az átmeneti pufferkapacitást, a switch eldobja a csomagokat. Bár az SN3700 42 MB-os puffere jelentősen csökkenti ezt az SN2700 16 MB-os pufferéhez képest, előfordulhat, hogy továbbra is engedélyezni kell a... Explicit torlódási értesítés (ECN) és a Elsőbbségi áramlásszabályozás (PFC) hogy a RoCEv2 szabályozhassa a küldő hálózati kártyákat, mielőtt adatvesztés történne.

3. kérdés: Futtathatom a Cumulus Linuxot vagy a SONiC-et mind az SN2700-on, mind az SN3700-on?

Igen. Mindkét switch nyílt platformarchitektúrára épül. Támogatják a Mellanox Onyx (MLNX-OS), a Cumulus Linux és a SONiC (Software for Open Networking in the Cloud) rendszereket. Migrációkor ügyeljen arra, hogy a hálózati automatizálási szkriptek (Ansible/Terraform) naprakészek legyenek, mivel a Spectrum-1 és Spectrum-2 ASIC-ek interfész-elnevezési konvenciói és a hardverspecifikus pufferprofilok eltérőek a nyílt operációs rendszerek alatt.

4. kérdés: Miben különbözik a portkibontási képesség az SN2700-ról az SN3700-ra való migráció során?

Az SN2700 (QSFP28) egyetlen 100G-os port 4x 25G-os vagy 4x 10G-os interfészre való szétválasztását támogatja. Az SN3700 (QSFP56) lehetővé teszi egyetlen 200G-os port 2x 100G-os, 4x 50G-os vagy 4x 25G-os interfészre való szétválasztását. Ez a 25G/50G-os kapcsolatok sűrűségének kétszeresét biztosítja rackegységenként, így az SN3700 kivételesen sűrű levélkapcsoló a nagy teljesítményű számítási csomópontok számára.