Aspekty napájania a chladenia dátových centier s umelou inteligenciou

Aspekty napájania a chladenia dátových centier s umelou inteligenciou

Navrhovanie energeticky úsporných tkanív umelej inteligencie

Navrhovanie energeticky úsporných tkanív umelej inteligencie
  • Dátové centrá umelej inteligencie posúvajú napájacie a chladiace systémy na hranicu ich možností, najmä keď husté klastre GPU vyžadujú predvídateľné siete s nízkou latenciou a trvalo vysokú priepustnosť. S rastúcou hustotou rackov a zvyšujúcimi sa teplotami v horúcich uličkách sa sieťové vrstvy môžu rýchlo stať tepelnými úzkymi miestami, čo ohrozuje výkon tréningu umelej inteligencie aj efektivitu zariadenia. Obálky napájania, smer prúdenia vzduchu a kompatibilita chladenia sú teraz rovnako dôležité ako rýchlosti portov a návrh vyrovnávacej pamäte.

    Táto časť sa zameriava na to, ako zosúladiť možnosti návrhu siete so stratégiami napájania a chladenia naprieč vrstvami leaf-spine a agregácie 400G AI. Zdôrazňuje kľúčové body rozhodovania, ako je výber prepínačov s ohľadom na prúdenie vzduchu, plánovanie napájania na úrovni racku a tepelné zónovanie pre klastre AI s vysokou hustotou, čo vám pomôže vyhodnotiť, ktoré prepínacie platformy a softvérové ​​možnosti najlepšie vyhovujú vašej existujúcej topológii chladenia a budúcej krivke rastu AI.

Vyváženie napájania a chladenia dátových centier s umelou inteligenciou

Navrhovanie klastrov umelej inteligencie, ktoré spĺňajú ciele hustoty GPU bez prekročenia limitov napájania, chladenia a vybavenia, je netriviálnou plánovacou výzvou.

Vyváženie napájania a chladenia dátových centier s umelou inteligenciou
  • Hustota výkonu verzus limity zariadenia

    Vysokohustotné tkaniny umelej inteligencie môžu prekročiť rozpočty na výkon rackov a riadkov, čo si vyžaduje kompromisy pri výbere prepínačov, umiestnení a škálovaní GPU.

  • Prietok vzduchu a tepelná integrácia

    Zmiešané prúdenie vzduchu spredu dozadu a zozadu dopredu, horúce miesta a teplo optiky 400G sťažujú zarovnanie prepínačov s dizajnom izolácie a chladenia.

  • Efektivita, redundancia a celkové náklady na vlastníctvo

    Vyváženie odolnosti N+1, nadmerného predplatného a energetickej účinnosti prepínačov a licencií pripravených na umelú inteligenciu je zložité a má vplyv na dlhodobé celkové náklady na vlastníctvo (TCO).

Navrhovanie napájania a chladenia dátových centier s umelou inteligenciou

Uprednostnite hustotu výkonu, stratégiu chladenia a výber prepínačov, aby ste zachovali efektívnosť a spoľahlivosť klastrov umelej inteligencie.

Správny výkon pre záťaže s umelou inteligenciou

Modelujte napájanie racku pre GPU a 400G siete a potom navrhnite škálovateľné napájacie cesty.

Chladenie s ohľadom na prúdenie vzduchu

Zarovnajte prúdenie vzduchu a tepelné zóny prepínačov tak, aby bezpečne podporovali husté klastre umelej inteligencie s tŕňmi listov.

Účinnosť tkaniny pri 400G

Používajte efektívnu chrbticu 400G a softvér optimalizovaný pre umelú inteligenciu na zníženie spotreby wattov na dodaný Gb/s.

Porovnanie možností napájania a chladenia dátových centier s umelou inteligenciou

Porovnajte tradičné a pre umelú inteligenciu optimalizované návrhy napájania a chladenia a vyberte si správny prístup pre husté grafické procesory a 400G jadrá.

Vlastnosti Konvenčné jednosmerné napájanie a chladenie
Tkanina napájania a chladenia optimalizovaná pre umelú inteligenciu (horúca)
Prevádzkový vplyv
Vhodnosť nasadenia Navrhnuté pre zmiešané pracovné zaťaženie CPU, nižšiu hustotu rackov a nerovnomerné prúdenie vzduchu; obmedzené povedomie o smere prúdenia vzduchu prepínačov a kritických miestach GPU. Vytvorené pre stojany s vysokou hustotou umelej inteligencie s predvídateľnými horúcimi/studenými uličkami, prúdením vzduchu spredu dozadu alebo zozadu dopredu a zónovaním GPU podov v súlade s tkaninami, ako sú série DCS-7060/7050 a 7280/7388. Minimalizujete stratenú kapacitu a vyhnete sa tepelnému obmedzovaniu pri škálovaní klastrov GPU a 400G spinov.
Architektúra napájania Jednoduché alebo obmedzené napájanie, mierny výkon racku (5–10 kW), menšie zameranie na tréningové špičky AI alebo redundanciu zdroja na úrovni tkaniny. Vysokokapacitné stojany s dvojitým napájaním (20 – 60 kW+), rozpočtovanie výkonu pre nárazové zaťaženie umelou inteligenciou, redundantné napájanie a zdroje PSU dimenzované pre husté štruktúry umelej inteligencie typu list-chrbtica a agregáciu 400G. Môžete podporovať viac grafických procesorov na rack so stabilným napájaním, čím sa zlepší využitie a odolnosť klastra umelej inteligencie.
Stratégia chladenia Primárne chladené vzduchom so zvýšenou podlahou alebo obvodovými jednotkami CRAC; nie sú optimalizované pre vysoký výkon kW na rack alebo zmiernenie lokálnych hotspotov. Vysokoúčinné uzavretie, chladenie v rade/nad hlavou, dizajn s asistenciou kvapaliny alebo pripravený na DLC, kde sú prepínače umelej inteligencie a zásobníky GPU spoločne navrhnuté do tepelných zón. Znižujete náklady na chladenie a vyhýbate sa poklesom výkonu, pretože klastre umelej inteligencie sa škálujú v hustote a počte podov.
Integrácia sieťovej štruktúry Sieť bola zvolená do značnej miery nezávisle od napájania a chladenia; smer prúdenia vzduchu a umiestnenie prepínačov boli považované za dodatočné opatrenia. Výber prepínačov (napr. Arista 7050/7060 s podporou prúdenia vzduchu, 400G 7280/7388) zosúladený s dizajnom studenej/teplej uličky, modelmi napájania a chladenia na úrovni racku. Znížite riziko nasadenia zabezpečením spoločného škálovania infraštruktúry, napájania a chladenia bez neustáleho prepracovania.
Energetická účinnosť a celkové náklady na vlastníctvo Vyššia PUE, menej podrobné monitorovanie spotreby energie; ťažkosti s koreláciou správania sa pracovnej záťaže umelej inteligencie so spotrebou energie a nákladmi na chladenie. Holistická optimalizácia PUE, meranie na rack a telemetria fabric; energeticky úsporné 400G jadrá plus HPC fabric softvér na ladenie umiestnenia úloh AI. Znížite náklady na hodinu školenia a náklady na inferenciu zosúladením efektívnosti siete s kapacitou napájania a chladenia.
Cesta škálovateľnosti Postupné, ad-hoc aktualizácie; pridanie nových rackov s umelou inteligenciou môže vyžadovať rušivé modernizácie napájania a chladenia alebo záplatné opravy. Plánované škálovanie pre ďalšie klastre, pody a 400G siete AI s priestorom pre vyššiu hustotu rackov a optimalizáciu softvérovo definovanej štruktúry (napr. licencia HPC). Môžete sa rozrásť od pilotných projektov umelej inteligencie až po rozsiahle klastre bez zásadnej prestavby fyzického závodu.
Riziko a spoľahlivosť Väčšie riziko prehriatia, vypnutých obvodov a nekonzistentného výkonu pri špičkovom zaťažení AI; ťažšie dodržiavanie SLA. Navrhnutá redundancia, tepelná rezerva a koordinované okná údržby v rámci infraštruktúry fabric, napájania a chladenia. Dodržiavate predvídateľné SLA pre pracovné zaťaženia AI, čím sa vyhnete prestojom a variabilite pri trénovaní alebo inferencii modelov.
Najlepší prípad použitia Brownfieldy s miernym využívaním umelej inteligencie, nízkou až strednou hustotou grafických procesorov a obmedzenou ochotou prepracovať architektúru zariadení. Nové dátové centrá s umelou inteligenciou alebo rozsiahle modernizácie zamerané na husté klastre GPU, 400G siete a dlhodobé plány rastu umelej inteligencie/HPC. Namiesto toho, aby ste v priebehu 12 – 24 mesiacov prerástli konvenčné zariadenia, si vyberiete architektúru zodpovedajúcu vášmu plánu pre umelú inteligenciu.

Potrebujete pomoc? Technickí experti sú k dispozícii.

  • +1-626-655-0998 (USA)
    UTC 15:00-00:00
  • +852-2592-5389 (Hoongkong)
    UTC 00:00-09:00
  • +852-2592-5411 (Hoongkong)
    UTC 06:00-15:00
Potrebujete pomoc? Technickí experti sú k dispozícii.

Ideálne prípady použitia napájania a chladenia

Kde dátové centrá umelej inteligencie musia vyvážiť extrémnu výpočtovú hustotu so spoľahlivým a efektívnym napájaním a tepelným dizajnom.

Tréningové klastre pre hyperškálovú umelú inteligenciu

Tréningové klastre pre hyperškálovú umelú inteligenciu

  • Navrhnite napájanie a chladenie pre štruktúry typu leaf-spine s hustou grafickou karosériou, ktoré prepájajú tisíce akcelerátorov vo veľkých tréningových moduloch umelej inteligencie.
  • Implementujte izoláciu horúcich/studených uličiek a cesty prúdenia vzduchu spredu dozadu alebo zozadu dopredu pre prepínače dátových centier s vysokou hustotou portov a umelou inteligenciou.
  • Naplánujte redundantné napájacie zdroje a rozpočtovanie napájania na úrovni rackov, aby sa veľké tréningové klastre umelej inteligencie udržali v rámci limitov napájania a chladenia zariadenia.
Súkromné ​​cloudy pre podniky s umelou inteligenciou

Súkromné ​​cloudy pre podniky s umelou inteligenciou

  • Nasaďte energeticky úsporné vrstvy chrbtice a agregácie 400G na podporu zmiešaných úloh umelej inteligencie v podnikových súkromných cloudových prostrediach.
  • Zarovnajte prúdenie vzduchu v prepínačoch s rozložením serverových rackov v modernizovaných podnikových dátových centrách s obmedzenou chladiacou kapacitou.
  • Správne dimenzované UPS, PDU a odbočné obvody na zvládnutie postupného rastu výkonu umelej inteligencie a zároveň na zachovanie SLA pre kontinuitu podnikania.
Hosting s umelou inteligenciou založený na kolokácii

Hosting s umelou inteligenciou založený na kolokácii

  • Optimalizujte hustotu rackov a tepelné zaťaženie pri hosťovaní klastrov umelej inteligencie v kolokačných zariadeniach tretích strán s pevnými limitmi výkonu.
  • Kombinujte možnosti prepínačov prúdenia vzduchu spredu dozadu a zozadu dopredu, aby ste zodpovedali rôznym rozloženiam kolokačných klietok a návrhom izolácií.
  • Pred škálovaním AI fabrics nad rámec pôvodných rackov sa skoordinujte s operátormi kolofónnych systémov na úrovniach redundancie napájania a chladiacej kapacite.
Okraj inferencie umelej inteligencie citlivý na latenciu

Okraj inferencie umelej inteligencie citlivý na latenciu

  • Navrhujte kompaktné sieťové štruktúry s ohľadom na spotrebu energie pre uzly inferencie umelej inteligencie nasadené v metropolitných alebo okrajových dátových centrách s obmedzeným chladením.
  • Na zabezpečenie spoľahlivého výkonu spínača v miestach s vysokou teplotou okolia použite vhodné smery prúdenia vzduchu a zníženie výkonu pri teplote.
  • Vyvážte spotrebu energie medzi akcelerátormi umelej inteligencie a sieťovými prepínačmi, aby ste zostali v rámci elektrických a tepelných obmedzení na okraji lokality.
Dátové centrá HPC a výskumu s umelou inteligenciou

Dátové centrá HPC a výskumu s umelou inteligenciou

  • Koordinujte prepínací softvér orientovaný na HPC s tímami zariadení s cieľom modelovať vplyv rozsiahlych fabrík umelej inteligencie na napájanie a chladenie.
  • Podporujte zmiešané pracovné zaťaženia HPC a AI vďaka zónovaniu rackov s rôznymi hustotami výkonu a prispôsobenými stratégiami prúdenia vzduchu.
  • Aplikujte podrobné monitorovanie spotreby energie prepínačov a grafických kariet na spresnenie nastavených hodnôt chladenia a maximalizáciu energetickej účinnosti vo výskumných centrách.

Často kladené otázky

Ako si mám vybrať medzi listovými prepínačmi Arista 7050/7060 a spines 7280/7388 400G pre dizajn s ohľadom na napájanie a chladenie s umelou inteligenciou?

  • Bežným riešením je použitie série Arista 7050/7060 (napríklad ARI:DCS-7060DX5-32-R, ARI:DCS-7050SX3-96YC8-R, ARI:DCS-7050SX3-48YC8-R, ARI:DCS-7050SX3-48YC12-F, ARI:DCS-7050SX3-48C8-F, ARI:DCS-7050CX3-32S-DR, ARI:DCS-7050CX3-32C-R, ARI:DCS-7050CX4-24D8-F) ako ToR/krídlo a Arista 7280/7388 400G (napr. ARI:DCS-7280CR3A-32S-F, ARI:DCS-7280CR3K-32P4A-R, ARI:DCS-7280SR3AK-48YC8-F, ARI:DCS-7280DR3-24-F, ARI:DCS-7280PR3-24-F, ARI:DCS-7388X5-32C-48DR-F) ako chrbtica/agregácia, kde vyššie radixové a 400G uplinky konsolidujú napájacie a chladiace záťaže.
  • Praktické pravidlo rozhodovania je: najprv si stanovte rozpočet na tepelné prepojenie grafickej karty/racku a potom spätne vypočítajte, koľko portov 100G/200G/400G potrebujete na rack a na riadok; ak sa pri súčasnej hustote napájania/chladenia nadmerné predplatné alebo latencia východ-západ stane nízkou, presuňte väčšiu šírku pásma do 400G chrbticovej vrstvy namiesto zvyšovania počtu prepínačov listov na rack, aby ste sa vyhli problémom s vysokými teplotami a vyššej hustote napájania racku.

Aké pravidlá smerovania prúdenia vzduchu a umiestnenia by som mal dodržiavať pri nasadzovaní týchto prepínačov v rozložení studenej/teplej uličky s umelou inteligenciou s vysokou hustotou?

  • Prispôsobte smer prúdenia vzduchu dizajnu vášho stojana/radu: SKU -R (napr. ARI:DCS-7060DX5-32-R, ARI:DCS-7050SX3-96YC8-R, ARI:DCS-7050CX3-32C-R, ARI:DCS-7050CX3-32S-DR, ARI:DCS-7280CR3K-32P4A-R) sú typicky zozadu dopredu a SKU -F (napr. ARI:DCS-7050SX3-48YC12-F, ARI:DCS-7050SX3-48C8-F, ARI:DCS-7050CX4-24D8-F, ARI:DCS-7280CR3A-32S-F, ARI:DCS-7280SR3AK-48YC8-F, ARI:DCS-7280DR3-24-F, ARI:DCS-7280PR3-24-F, ARI:DCS-7388X5-32C-48DR-F) sú z prednej strany dozadu, ale pred objednaním si vždy overte najnovší technický list.
  • V prípade hustých rackov s umelou inteligenciou udržujte smer prúdenia vzduchu okolo prepínačov zarovnaný so servermi GPU v tom istom racku, rezervujte zaslepovacie panely nad/pod pozíciami prepínačov a zohľadnite celkové tepelné zaťaženie prepínačov v CFD alebo tepelnom plánovaní na úrovni racku, aby ste predišli recirkulácii pri škálovaní klastra s umelou inteligenciou.

Sú tieto prepínače Arista AI a 400G kompatibilné s mojou existujúcou inou sieťovou konštrukciou ako Arista a čo by som mal skontrolovať z hľadiska napájania a chladenia?

  • Vo väčšine prípadov môžu tieto platformy spolupracovať na vrstve 2/vrstve 3 s prepínačmi iných výrobcov ako Arista, pokiaľ zodpovedajú optickým štandardom, režimom prepojenia a rýchlostiam pripojenia; plánovanie napájania a chladenia by ich však malo považovať za nové zdroje tepla a môže vyžadovať samostatné stojany alebo rady v starších zariadeniach, ktoré neboli navrhnuté pre hustoty umelej inteligencie.
  • Pred nákupom overte: (1) existujúci výkon zariadenia na rack oproti maximálnemu odberu prepínača v najhorších podmienkach, (2) dostupnú chladiacu kapacitu a účinnosť izolácie horúcich uličiek a (3) či vaša súčasná infraštruktúra dokáže podporovať softvérové ​​funkcie špecifické pre umelú inteligenciu (napr. riadenie preťaženia s HW:DCS-LIC-F-HPC) v celom rozsahu bez toho, aby spôsobovala asymetrické zaťaženie a tepelné horúce miesta.

Ako licencia na prepínač HPC/AI HW:DCS-LIC-F-HPC ovplyvňuje návrh mojej siete a má vedľajšie účinky na napájanie alebo chladenie?

  • HW:DCS-LIC-F-HPC umožňuje na podporovaných prepínačoch funkcie AI/HPC fabric (ako napríklad správanie pri kontrole preťaženia a kolektívne optimalizované presmerovanie); podstatne nemení profil spotreby energie samotného hardvéru, ale môže ovplyvniť spôsob distribúcie prevádzky, a teda aj to, kde sa v rámci fabric pakety (a teda aktívne porty/ASIC) koncentrujú.
  • Z hľadiska návrhu predpokladajte, že výkon hardvéru je riadený najmä počtom portov, rýchlosťou a typom optiky, nie licenciou; stále by ste mali zohľadniť najhorší možný odber energie pre prepínačovú platformu a optiku a navrhnúť stojanové PDU, chladenie v rade a redundanciu napájania pre plne osadenú licencovanú sadu funkcií, aby ste predišli neočakávanému zníženiu výkonu pri plnom využití infraštruktúry umelej inteligencie.

Čo by som mal vedieť o dodacích lehotách, preprave a colných rizikách pre prepínače dátových centier s umelou inteligenciou a zostavy s vysokým obsahom optiky?

  • Dodacia lehota, spôsob dopravy a dostupnosť zásob prepínačov a optiky orientovaných na umelú inteligenciu sa môžu výrazne líšiť v závislosti od dopytu na trhu; v prípade položiek na sklade bude skutočný čas dodania stále závisieť od dostupnosti produktu, zvoleného dopravcu a cieľovej krajiny, takže časové harmonogramy by sa mali vždy považovať skôr za plánovacie odhady ako za záruky.
  • Na zníženie rizika projektu zohľadnite časový rezervný čas pre export/import sieťového hardvéru, najmä vysokohodnotnej optiky 400G a prepínačov s umelou inteligenciou, a vopred si objasnite Incoterms, clá a manipuláciu s DPH; typické logistické možnosti si môžete pozrieť v časti spôsoby prepravy a regionálne daňové a colné postupy podľa dane a clá.

Aké aspekty podpory, záruky a RMA sú špecifické pre nasadenie napájania a chladenia dátových centier s umelou inteligenciou?

  • V hustých prostrediach s umelou inteligenciou sa prepínače zvyčajne nachádzajú v blízkosti svojich návrhových tepelných a energetických limitov, preto by ste mali venovať pozornosť záručným podmienkam týkajúcim sa prevádzkovej teploty, obštrukcie prúdenia vzduchu, nevyhovujúcich napájacích zdrojov a neoprávnených úprav; nedodržanie odporúčaných environmentálnych limitov môže ovplyvniť oprávnenosť na štandardné spracovanie RMA.
  • Pred zavedením zosúlaďte svoj prevádzkový tím s postupmi eskalácie a overte si, ako fungujú pokročilé procesy výmeny, diagnostiky a vrátenia týchto prepínačov; všeobecné záručné podmienky si môžete prečítať v časti záručná politika, kroky RMA podľa pokyny na vráteniea využiť konzultácie vo fáze návrhu prostredníctvom bezplatná podpora CCIE minimalizovať problémy súvisiace so životným prostredím. Upozornenie: Konkrétne záručné podmienky a podporné služby sa môžu líšiť v závislosti od produktu a regiónu. Presné podrobnosti nájdete v oficiálnych informáciách. V prípade ďalších otázok kontaktujte: router-switch.com.

Viac riešení

Data Center Power & Cooling Planning

Plánovanie napájania a chladenia dátového centra

Kľúčové body plánovania pre siete s vysokou hustotou – napájanie racku, prúdenie vzduchu, redundancia a pripravenosť chladenia pre škálovanie.

Napájanie a chladenie dátových centier
GPU Cluster Networking Solutions for AI Scale-Out

Riešenia sieťových klastrov GPU pre škálovanie AI

Navrhnite vysokovýkonné ethernetové štruktúry pre klastre AI GPU so škálovateľnou topológiou, prepínaním s nízkou latenciou a architektúrou pripravenou na nasadenie.

Sieť klastrov AI GPU
Lossless Ethernet for AI & HPC Networks

Bezstratový Ethernet pre siete AI a HPC

Vytvárajte bezstratové ethernetové štruktúry pre umelú inteligenciu a vysokovýkonné výpočty s návrhom pripraveným na RoCE, pokynmi pre riadenie preťaženia a škálovateľným plánovaním siete s nízkou latenciou.

Bezstratový Ethernet