Vyberte si medzi týmito servermi xFusion GPU na základe topológie GPU, typu pracovnej záťaže, požiadaviek na pamäť, úložisko, sieť, napájanie a chladenie – nielen na základe počtu GPU. Modulárny inferenčný uzol, HPC server s ôsmimi GPU a platforma hlbokého učenia s vysokou hustotou môžu vyžadovať veľmi odlišné konfigurácie.
Zdieľajte požiadavky na grafickú kartu, pracovnú záťaž, sieť, úložisko a napájanie.
Tieto tri servery xFusion GPU nie sú na rovnakej platforme
Častou chybou je porovnávať tieto modely iba podľa počtu podporovaných grafických procesorov (GPU). Ich fyzický dizajn a zamýšľaný model nasadenia sa líšia.
G530 V5 je heterogénny výpočtový uzol s polovičnou šírkou. Podporuje rôzne pomery CPU k GPU a tvarové faktory GPU, vďaka čomu je vhodný pre modulárne nasadenia.
G560 V5 je výpočtová platforma s plnohodnotnou grafickou kartou (GPU) navrhnutá pre väčšiu konfiguráciu s viacerými GPU. G5500 V6 je kompletný 4U server s umelou inteligenciou a väčším priestorom pre úložisko, pamäť, zariadenia PCIe, napájacie zdroje a chladenie.
Aktuálne možnosti produktov si porovnajte Rad serverov xFusion GPU pred výberom konečnej konfigurácie.
G530 V5 vs. G560 V5 vs. G5500 V6
V tabuľke nižšie sú uvedené hlavné smery výberu pre každú platformu. Ide o odporúčania pre plánovanie, nie o zaručené výsledky výkonu. Pred cenovou ponukou je potrebné potvrdiť presnú konfiguráciu GPU, CPU, pamäte, úložiska, siete a napájania.
| Modelka | Typ platformy | Smer GPU | Odporúčané použitie | Hlavná úvaha |
|---|---|---|---|---|
| xFusion G530 V5 | Heterogénny výpočtový uzol s polovičnou šírkou | Konfigurácie GPU s jedným alebo dvoma slotami v závislosti od šasi a rozloženia GPU | Modulárna inferencia umelej inteligencie, uzly HPC a rozšírenie zdrojov GPU | Množstvo grafických kariet (GPU) závisí vo veľkej miere od tvarového faktora a konfigurácie GPU. |
| xFusion G560 V5 | Výpočtový uzol GPU s plnou šírkou | Až osem GPU s dvojnásobnou šírkou v zdokumentovanej konfigurácii platformy | Tréning umelej inteligencie, vysokovýkonné výpočty (HPC), vedecké výpočty a renderovanie | Vyžaduje starostlivé plánovanie napájania GPU, chladenia a topológie PCIe |
| xFusion G5500 V6 | 4U dvojzásuvkový server s umelou inteligenciou | Až osem grafických procesorov FHFL s dvojitou šírkou v zdokumentovanej konfigurácii platformy | Tréning hlbokého učenia, inferencia, analýza videa a HPC | Vyššie požiadavky na priestor v racku, napájanie a chladenie |
Zoznam produktov môže popisovať konkrétnu konfiguráciu A100 so štyrmi grafickými procesormi, zatiaľ čo dokumentácia platformy opisuje vyššiu maximálnu kapacitu grafického procesora. Ide o odlišné informácie a nemali by sa považovať za zameniteľné.
Kedy má G530 V5 väčší zmysel?
G530 V5 je najzaujímavejší, keď projekt potrebuje flexibilitu a nie fixný maximálny počet GPU.
Jeho heterogénny dizajn s polovičnou šírkou podporuje rôzne pomery CPU a GPU. V závislosti od tvarového faktora GPU môže platforma podporovať viacero jednoslotových GPU alebo menší počet väčších dvojslotových GPU.
G530 V5 môže byť vhodný pre nasledujúce nasadenia:
- Uzly inferencie AI
- Modulárne HPC klastre
- Zdroje GPU rozšírené o uzol
- Zrýchlenie databázy
- Nasadenia vyžadujúce komunikáciu GPUDirect RDMA alebo peer-to-peer GPU
- Projekty, ktoré môžu používať rôzne tvarové faktory GPU
Kľúčovou otázkou pri obstarávaní nie je len to, koľko grafických kariet dokáže G530 V5 podporovať. Pre konečnú konfiguráciu si overte model grafickej karty, šírku slotu, úroveň výkonu, požiadavky na pamäť a topológiu prepojení.
Zoznam, ktorý popisuje konfiguráciu s ôsmimi grafickými procesormi, nemusí nevyhnutne predstavovať maximálnu kapacitu platformy. Potvrďte presný počet grafických procesorov, model grafického procesora, pomocné napájanie a možnosť chladenia pre požadovanú skladovú jednotku (SKU).
Kedy má G560 V5 väčší zmysel?
G560 V5 je vhodnejší ako samostatný výpočtový uzol GPU s plnou šírkou.
Je navrhnutý pre väčšiu konfiguráciu s viacerými GPU a v zdokumentovanej konfigurácii platformy podporuje až osem GPU s dvojitou šírkou. V porovnaní s modulárnym uzlom s polovičnou šírkou je jednoduchšie ho umiestniť ako vyhradený server pre trénovanie umelej inteligencie alebo HPC server s konzistentnou topológiou GPU.
G560 V5 môže byť vhodný pre nasledujúce pracovné zaťaženia:
- Tréning hlbokého učenia
- Vedecké simulácie
- HPC pracovné zaťaženia
- preklad
- Analytika údajov
- Vyhradené výpočtové uzly s viacerými GPU
Samotná kapacita GPU neurčuje výkon aplikácie. Projekt by mal tiež skontrolovať generáciu CPU, kapacitu pamäte, distribúciu PCIe liniek, komunikáciu medzi GPU, šírku pásma sieťového adaptéra, priepustnosť úložiska, napájanie a chladenie.
Kedy má G5500 V6 väčší zmysel?
G5500 V6 je najsilnejším kandidátom, keď projekt potrebuje väčšiu a rozšíriteľnejšiu platformu servera AI.
Oficiálna dokumentácia k G5500 V6 opisuje 4U dvojzásuvkový AI server s procesormi Intel Xeon Scalable tretej generácie, 32 slotmi DDR4 DIMM, podporou až ôsmich grafických kariet FHFL s dvojitou šírkou, viacerými slotmi PCIe 4.0 x16 a redundantnými vysokokapacitnými napájacími zdrojmi.
Platforma môže byť vhodná pre:
- GPU s vysokou hustotou a dvojitou šírkou
- Väčšie požiadavky na systémovú pamäť
- Viaceré rozširujúce karty PCIe
- Viacero vysokorýchlostných sieťových adaptérov
- Rozšírenie lokálneho úložiska
- Vysokokapacitné redundantné napájanie
- Trvalá prevádzka umelej inteligencie alebo vysokovýkonných výpočtov
Hlavným kompromisom sú réžijné náklady na infraštruktúru. 4U GPU server vyžaduje viac miesta v racku, vyššiu elektrickú kapacitu, silnejšie prúdenie vzduchu a starostlivejšie tepelné plánovanie ako kompaktný GPU uzol.
Podrobné obmedzenia platformy nájdete v Oficiálna technická dokumentácia k xFusion G5500 V6 pred prípravou fixného kusovníka.
Topológia GPU je dôležitejšia ako počet GPU
Dva servery s rovnakým počtom grafických procesorov môžu poskytovať rôzne výsledky kvôli ich vnútornej topológii.
Pred schválením konfigurácie potvrďte nasledujúce položky:
- Model GPU a pamäť GPU
- Dizajn s jednou alebo dvojitou šírkou
- Komunikačná cesta medzi GPU
- Generovanie PCIe a prideľovanie jazdných pruhov
- Lokalita NUMA medzi CPU a GPU
- Požiadavky na pomocné napájanie grafického procesora
- Podpora peer-to-peer komunikácie
- Podpora pre GPUDirect RDMA tam, kde je to potrebné
- Umiestnenie sieťového adaptéra a šírka pásma
- Chladenie pri trvalom zaťažení
Pre tréningové záťaže môže byť komunikácia medzi GPU a priepustnosť úložiska rovnako dôležitá ako samotný počet GPU. Pre inferenciu môže byť kapacita pamäte GPU, súbežnosť a latencia siete dôležitejšia ako maximálna tréningová priepustnosť.
Plánovanie CPU a pamäte
CPU by mal byť dimenzovaný podľa pracovnej záťaže, ktorá napája a spravuje GPU.
- Generovanie CPU
- Počet socketov CPU
- Lokalita medzi CPU a GPU
- Požiadavky na predspracovanie na strane hostiteľa
- Načítanie dát a extrakcia prvkov
- Požiadavky na virtualizáciu alebo viacero nájomcov
- Kapacita pamäte a obsadenosť pamäťových kanálov
Plánovanie pamäte by malo zahŕňať:
Nepredpokladajte, že server GPU s väčším počtom grafických procesorov automaticky potrebuje maximálnu konfiguráciu systémovej pamäte. Správna veľkosť pamäte závisí od modelu, súboru údajov, kanála predbežného spracovania, počtu súbežných úloh a od toho, či je server zdieľaný medzi viacerými používateľmi.
Požiadavky na úložisko a sieť
Plánovanie skladovania
Servery umelej inteligencie často vytvárajú úzke miesta mimo subsystému GPU. Overte, či server potrebuje lokálne NVMe pre súbory údajov alebo pomocný priestor, SSD úložisko pre kontrolné body modelu, vysokokapacitný HDD alebo SATA úložisko, prístup k zdieľanému úložisku alebo paralelné pripojenie k súborovému systému.
Tréningový server, ktorý opakovane načítava veľké súbory údajov, môže potrebovať rýchlejšiu úložnú cestu, aj keď sú grafické procesory dostatočne výkonné.
Plánovanie siete
Požiadavky na sieť závisia od modelu nasadenia:
- Samostatný inferenčný server: vyhodnoťte 10GbE alebo 25GbE na základe prenosovej prevádzky aplikácie.
- Distribuované školenie: vyhodnotenie sietí s vyššou rýchlosťou a nižšou latenciou.
- Viacuzlové HPC: skontrolujte požiadavky RDMA, RoCE alebo InfiniBand.
- Zdieľané úložisko: prispôsobte veľkosť siete pre súbežné úložisko a prevádzku aplikácií.
- Platforma s umelou inteligenciou pre viacerých nájomcov: oddelená správa, úložisko a produkčná prevádzka.
Výber sieťového adaptéra musí byť overený vzhľadom na operačný systém, ovládač, komunikačný rámec GPU a štruktúru prepínača nadradeného prúdu.
Plánovanie napájania, chladenia a rackov
Servery GPU nie je možné vybrať nezávisle od prostredia dátového centra.
- Dostupné rackové jednotky
- Kompatibilita hĺbky racku a koľajníc
- Vstupné napätie a rozloženie výkonu
- Požiadavky na redundantné napájanie
- Maximálny odber energie
- Smer prúdenia vzduchu
- Chladiaca vzdialenosť spredu dozadu
- Teplota okolia
- Tepelný dizajn GPU
- Prístup údržby
G5500 V6 poskytuje viac priestoru pre GPU a rozširujúcu kapacitu, ale má aj väčšiu napájaciu a chladiacu stopu. Menšia konfigurácia G530 V5 sa môže jednoduchšie nasadiť na okraji siete alebo v modulárnom klastri, zatiaľ čo G560 V5 môže poskytnúť priamejšiu cestu k vyhradenému výpočtovému uzlu s viacerými GPU.
Ktorý model vyhovuje vášmu zaťaženiu umelou inteligenciou?
| Pracovná záťaž | Odporúčaný smer | Prečo |
|---|---|---|
| Modulárna inferencia umelej inteligencie | G530 V5 | Flexibilný návrh uzlov a možnosti topológie GPU |
| Zdroje GPU rozšírené o uzol | G530 V5 | Vhodné pre modulárne a fázové rozširovanie |
| Uzol HPC s ôsmimi GPU | G560 V5 | Výpočtová platforma s viacerými GPU v plnej šírke |
| Špecializovaný tréning hlbokého učenia | G560 V5 alebo G5500 V6 | Závisí od topológie GPU, pamäte, siete a požiadaviek na napájanie |
| Veľkoplošné úlohy umelej inteligencie | G5500 V6 | Viac pamäte a možnosti rozšírenia PCIe |
| Analytika videa | G5500 V6 | Vhodné pre trvalé spracovanie s viacerými GPU, keď je k dispozícii napájanie a chladenie |
| Vedecká výpočtová technika | G560 V5 alebo G5500 V6 | Výber závisí od modelu GPU, pamäte a architektúry klastra |
| Nasadenie viacerých GPU s vysokou hustotou | G5500 V6 | Viac priestoru v šasi, kapacita PCIe a možnosti napájania |
Tieto odporúčania opisujú vhodnosť pre platformu, nie zaručený výkon. Konečný výber závisí od modelu GPU, softvérového balíka, veľkosti dátovej sady, návrhu siete, architektúry úložiska a rozpočtu na napájanie.
Informácie, ktoré je potrebné zahrnúť do cenovej ponuky na GPU server
Na prípravu použiteľného kusovníka (BOM) poskytnite viac ako požadované množstvo GPU:
- Typ pracovnej záťaže umelej inteligencie
- Tréning, inferencia, HPC alebo zmiešané použitie
- Cieľový model GPU
- Množstvo grafického procesora
- Požiadavky na pamäť grafického procesora
- Model CPU alebo cieľ výkonu CPU
- Požiadavky na systémovú pamäť
- Kapacita a výkon lokálneho úložiska
- Rýchlosť siete a protokol
- Požiadavky RDMA, RoCE alebo InfiniBand
- Obmedzenia napájania a racku
- Požiadavky na operačný systém a ovládače
- Očakávaný plán expanzie
- Požadovaná záruka a podpora
Požiadavka, ktorá uvádza iba „potrebujem server s ôsmimi GPU“, nestačí na overenie konečnej konfigurácie.
Často kladené otázky
Vyberte si platformu podľa pracovnej záťaže
Modely G530 V5, G560 V5 a G5500 V6 by sa mali považovať za rôzne platformy, a nie len za jednoduché hodnotenie výkonu.
Zvoľte si G530 V5 pre modularitu a flexibilnú topológiu GPU. Zvoľte si G560 V5 pre vyhradený výpočtový uzol s viacerými GPU v plnej šírke. Zvoľte si G5500 V6, keď projekt vyžaduje GPU s vysokou hustotou, väčšiu pamäť, rozšírenú konektivitu PCIe a redundantné napájanie pre trvalé pracovné zaťaženie AI alebo HPC.















































































































































