Hogyan építsünk 100G Leaf-Spine hálózatot GPU-kiszolgálókhoz (AI és RDMA optimalizálva)

A modern mesterséges intelligencia infrastruktúráját már nem a számítási teljesítmény korlátozza, hanem a hálózat.

A GPU-vezérelt munkaterhelésekben, mint például az elosztott betanítás és a nagyméretű modellszinkronizálás, a kelet-nyugati irányú forgalom uralja a teljes adatközponti szövetet. Ez a hagyományos 10G/25G architektúrák elégtelenné válását eredményezi, és a vállalatokat az RDMA teljesítményre tervezett 100G-os levél-spine hálózatok felé kényszeríti.

Egy ilyen rendszer tervezése azonban nem csak a topológiáról szól – hanem a hardverkiválasztásról, a veszteségmentes konfigurációról és a skálázható beszerzési stratégiáról is.

Tartalomjegyzék

• 1. rész: Miért elengedhetetlen a Leaf-Spine architektúra a GPU-klaszterekhez?
• 2. rész: A mesterséges intelligencia által kidolgozott munkaterhelések többet igényelnek az alapvető levélgerinc-modellnél
• 3. rész: Lépésről lépésre 100G GPU hálózattervezés
• 4. rész: RDMA és RoCEv2 hálózati követelmények
• 5. rész: Hardverválasztás 100G-os mesterséges intelligencia szövethez
• 6. rész: Fizikai réteg tervezése (optika és kábelezés)
• 7. rész: Méretezési stratégia és beszerzési szempontok
• FAQ

1. rész: Miért elengedhetetlen a Leaf-Spine architektúra a GPU-klaszterekhez?

A levél-gerinc topológia a hálózatot két rétegre lapítja:

• A Leaf kapcsolók közvetlenül csatlakoznak a GPU-kiszolgálókhoz
• A gerinckapcsolók összekötik az összes levélcsomópontot
• Minden levélnek azonos költségű útvonala van az összes tüskéhez

Ez kiszámítható késleltetést (maximum 1–2 ugrás), magas kelet-nyugati sávszélesség-hatékonyságot és lineáris skálázhatóságot biztosít a mesterséges intelligencia által vezérelt munkaterhelésekhez.

A hagyományos 3-rétegű megoldásokhoz képest a levél-gerinc technológia kiküszöböli az aggregációs szűk keresztmetszeteket, amelyek jellemzően megbénítják a GPU-klasztereket.

2. rész: A mesterséges intelligencia által kidolgozott munkaterhelések többet igényelnek az alapvető levélgerinc-modellnél

A valódi mesterséges intelligencia telepítésekben a szabványos levél-gerinc architektúrát gyakran kiterjesztik sínre optimalizált architektúrákra.

Minden GPU-kiszolgáló több hálózati kártyát használ, és mindegyik hálózati kártya egy dedikált levélkapcsolóhoz van leképezve. Az azonos indexű hálózati kártyák ugyanahhoz a levélhez csatlakoznak.

Ez lehetővé teszi a determinisztikus GPU-GPU kommunikációt, a szövetek közötti torlódás csökkentését és a megosztott munkaterhelések jobb betanítási stabilitását.

RDMA-alapú környezetekben még a kisebb csomagvesztés is jelentősen befolyásolhatja a teljesítményt és a betanítási hatékonyságot.

3. rész: Lépésről lépésre 100G GPU hálózattervezés

1. lépés: Sávszélesség-követelmények meghatározása

Minden GPU csomóponthoz jellemzően 1 × 100G hálózati kártyára van szükség alapként.

Példa: Egy 32 csomópontos klaszter körülbelül 3.2 Tbps peremhálózati sávszélesség-igényt eredményez.

2. lépés: A levélréteg építése (a rács teteje)

A Leaf kapcsolóknak támogatniuk kell a nagy sűrűségű 100G-os portokat, az alacsony késleltetésű ASIC-eket és az RDMA-képes funkciókat, például a PFC-t és az ECN-t.

Az AI-klaszterekben széles körben alkalmazott lehetőség a következő: MSN2700-CS2FC, Mellanox Spectrum kapcsoló, 32x100GbE QSFP28/2xAC tápegység/x86 CPU

Ez a 32 portos 100G-os kapcsoló gyakran használatos levélrétegekben a nagy portsűrűsége és az alacsony késleltetésű Spectrum ASIC kialakítása miatt. Gyakran alkalmazzák GPU-klaszterekben, amelyek kiszámítható RDMA teljesítményt igényelnek.

3. lépés: Gerincréteg kialakítása

A gerincréteg ECMP-alapú útválasztással köti össze az összes levélkapcsolót.

A bevált gyakorlat az 1:1 túljelentkezési arány fenntartása a mesterséges intelligencia által vezérelt munkaterhelések esetében a blokkolásmentes teljesítmény biztosítása érdekében.

4. rész: RDMA és RoCEv2 hálózati követelmények

Az AI-klaszterek nagymértékben támaszkodnak az RDMA-ra (Remote Direct Memory Access), amelyet jellemzően a RoCEv2-n keresztül valósítanak meg.

Mivel a RoCEv2 UDP-n fut, rendkívül érzékeny a csomagvesztésre. Már a kis torlódási események is jelentősen ronthatják a teljesítményt.

A veszteségmentes Ethernet biztosításához három kulcsfontosságú mechanizmusra van szükség:

• ECN (Explicit torlódási értesítés)
• PFC (elsőbbségi áramlásszabályozás)
• DCQCN adaptív sebességszabályozás

Ezek a mechanizmusok együttesen biztosítják a stabil GPU-képzési teljesítményt nagyméretű MI-klaszterekben.

5. rész: Hardverválasztás 100G-os mesterséges intelligencia szövethez

A kapcsoló kiválasztásánál figyelembe kell venni az ASIC képességeit, a puffer kialakítását, az RDMA támogatást és a valós telepítési megbízhatóságot.

Kisebb GPU-klaszterek vagy peremhálózati AI-környezetek esetén: R0P82A, HPE StoreFabric SN2100M kapcsoló, 16x100GbE QSFP28/ONIE támogatással

25G és 100G kombinálásával működő hibrid környezetekhez: R0P81A, HPE StoreFabric SN2410M kapcsoló, 48x25GbE SFP28/8x100GbE QSFP28

Gerinc vagy nagy teljesítményű szövetrétegek esetén:

MSB7570-E, Mellanox Switch-IB 2, 36x100Gb/s InfiniBand gerincvelő

MSB7560-E, Mellanox Switch-IB 2, 36x100 Gb/s InfiniBand levéllemez

A valós telepítések során a hardver konzisztenciája, a firmware kompatibilitása és a kellékanyagok elérhetősége kritikus tényezők, amelyek befolyásolják az AI-klaszter stabilitását.

6. rész: Fizikai réteg tervezése (optika és kábelezés)

A 100G infrastruktúra a megfelelő fizikai csatlakozási tervezéstől is függ:

• Rack-en belül: DAC kábelek a legalacsonyabb késleltetésért
• Rackek között: AOC kábelek a rugalmasságért
• Levéltől gerincig: QSFP28 optikai modulok szálon keresztül

A nem megfelelő kábelezés instabilitást, jelcsökkenést vagy teljesítménybeli szűk keresztmetszeteket okozhat.

7. rész: Méretezési stratégia és beszerzési szempontok

A levél-gerinc architektúra lehetővé teszi a vízszintes skálázást levélkapcsolók hozzáadásával több GPU-csomóponthoz, vagy gerinckapcsolók hozzáadásával a nagyobb sávszélességhez.

A valós mesterséges intelligencia infrastrukturális projektekben azonban a skálázást gyakran korlátozza a hardverek elérhetősége, az életciklus állapota és a beszerzési átfutási idők.

Router-switch támogatja a vállalati AI infrastruktúra telepítését azáltal, hogy stabil rendelkezésre állást biztosít a mainstream hálózati hardverekhez, több gyártótól származó beszerzési lehetőséget és életciklus-láthatóságot biztosít a frissítéstervezéshez.

IT-ár készletkeresésre és árképzési láthatóságra is használható, hogy támogassa a beszerzési döntéseket időérzékeny GPU-klaszterek telepítéseiben.

FAQ

Mi a levél-gerinc architektúra a GPU hálózatokban?

Ez egy kétrétegű adatközpont-kialakítás, ahol a levélkapcsolók a szervereket, a gerinckapcsolók pedig az összes levelet kötik össze, lehetővé téve az alacsony késleltetésű és skálázható GPU-kommunikációt.

Miért szükséges a 100G a mesterséges intelligencia alapú munkaterhelésekhez?

A mesterséges intelligencia betanítása hatalmas kelet-nyugati irányú forgalmat generál, amely meghaladja a 10G/25G képességeket, így a 100G az alap a modern GPU-klaszterek számára.

Miért fontos az RDMA a GPU-hálózatokban?

Az RDMA megkerüli a CPU és az operációs rendszer terhelését, lehetővé téve a közvetlen memóriából memóriába történő átvitelt, ami kritikus fontosságú a nagy teljesítményű elosztott betanításhoz.