Výber servera s grafickou kartou xFusion: Porovnanie G530 V5, G560 V5 a G5500 V6 pre úlohy s umelou inteligenciou

Sledujte nás:
Rýchle použitie
xFusion G530 V5, G560 V5 a G5500 V6 nie sú priamymi ekvivalentmi. G530 V5 je modulárny heterogénny výpočtový uzol s polovičnou šírkou, G560 V5 je viacnásobná výpočtová platforma GPU s plnou šírkou a G5500 V6 je 4U dvojsocketový server umelej inteligencie pre úlohy s vysokou hustotou GPU.

Vyberte si medzi týmito servermi xFusion GPU na základe topológie GPU, typu pracovnej záťaže, požiadaviek na pamäť, úložisko, sieť, napájanie a chladenie – nielen na základe počtu GPU. Modulárny inferenčný uzol, HPC server s ôsmimi GPU a platforma hlbokého učenia s vysokou hustotou môžu vyžadovať veľmi odlišné konfigurácie.

1. Tieto tri servery xFusion GPU nie sú na rovnakej platforme
2. G530 V5 vs. G560 V5 vs. G5500 V6
3. Kedy má G530 V5 väčší zmysel?
4. Kedy má G560 V5 väčší zmysel?
5. Kedy má G5500 V6 väčší zmysel?
6. Topológia GPU je dôležitejšia ako počet GPU
7. Plánovanie CPU a pamäte
8. Požiadavky na úložisko a sieťové pripojenie
9. Plánovanie napájania, chladenia a rackov
10. Ktorý model vyhovuje vašej pracovnej záťaži v oblasti umelej inteligencie?
11. Informácie, ktoré je potrebné zahrnúť do cenovej ponuky na GPU server
12. Často kladené otázky
Potrebujete kusovník (BOM) pre server xFusion GPU?

Zdieľajte požiadavky na grafickú kartu, pracovnú záťaž, sieť, úložisko a napájanie.

Tieto tri servery xFusion GPU nie sú na rovnakej platforme

Častou chybou je porovnávať tieto modely iba podľa počtu podporovaných grafických procesorov (GPU). Ich fyzický dizajn a zamýšľaný model nasadenia sa líšia.

G530 V5 je heterogénny výpočtový uzol s polovičnou šírkou. Podporuje rôzne pomery CPU k GPU a tvarové faktory GPU, vďaka čomu je vhodný pre modulárne nasadenia.

G560 V5 je výpočtová platforma s plnohodnotnou grafickou kartou (GPU) navrhnutá pre väčšiu konfiguráciu s viacerými GPU. G5500 V6 je kompletný 4U server s umelou inteligenciou a väčším priestorom pre úložisko, pamäť, zariadenia PCIe, napájacie zdroje a chladenie.

Aktuálne možnosti produktov si porovnajte Rad serverov xFusion GPU pred výberom konečnej konfigurácie.

G530 V5 vs. G560 V5 vs. G5500 V6

V tabuľke nižšie sú uvedené hlavné smery výberu pre každú platformu. Ide o odporúčania pre plánovanie, nie o zaručené výsledky výkonu. Pred cenovou ponukou je potrebné potvrdiť presnú konfiguráciu GPU, CPU, pamäte, úložiska, siete a napájania.

Modelka Typ platformy Smer GPU Odporúčané použitie Hlavná úvaha
xFusion G530 V5 Heterogénny výpočtový uzol s polovičnou šírkou Konfigurácie GPU s jedným alebo dvoma slotami v závislosti od šasi a rozloženia GPU Modulárna inferencia umelej inteligencie, uzly HPC a rozšírenie zdrojov GPU Množstvo grafických kariet (GPU) závisí vo veľkej miere od tvarového faktora a konfigurácie GPU.
xFusion G560 V5 Výpočtový uzol GPU s plnou šírkou Až osem GPU s dvojnásobnou šírkou v zdokumentovanej konfigurácii platformy Tréning umelej inteligencie, vysokovýkonné výpočty (HPC), vedecké výpočty a renderovanie Vyžaduje starostlivé plánovanie napájania GPU, chladenia a topológie PCIe
xFusion G5500 V6 4U dvojzásuvkový server s umelou inteligenciou Až osem grafických procesorov FHFL s dvojitou šírkou v zdokumentovanej konfigurácii platformy Tréning hlbokého učenia, inferencia, analýza videa a HPC Vyššie požiadavky na priestor v racku, napájanie a chladenie

Zoznam produktov môže popisovať konkrétnu konfiguráciu A100 so štyrmi grafickými procesormi, zatiaľ čo dokumentácia platformy opisuje vyššiu maximálnu kapacitu grafického procesora. Ide o odlišné informácie a nemali by sa považovať za zameniteľné.

Kedy má G530 V5 väčší zmysel?

G530 V5 je najzaujímavejší, keď projekt potrebuje flexibilitu a nie fixný maximálny počet GPU.

Jeho heterogénny dizajn s polovičnou šírkou podporuje rôzne pomery CPU a GPU. V závislosti od tvarového faktora GPU môže platforma podporovať viacero jednoslotových GPU alebo menší počet väčších dvojslotových GPU.

G530 V5 môže byť vhodný pre nasledujúce nasadenia:

  • Uzly inferencie AI
  • Modulárne HPC klastre
  • Zdroje GPU rozšírené o uzol
  • Zrýchlenie databázy
  • Nasadenia vyžadujúce komunikáciu GPUDirect RDMA alebo peer-to-peer GPU
  • Projekty, ktoré môžu používať rôzne tvarové faktory GPU

Kľúčovou otázkou pri obstarávaní nie je len to, koľko grafických kariet dokáže G530 V5 podporovať. Pre konečnú konfiguráciu si overte model grafickej karty, šírku slotu, úroveň výkonu, požiadavky na pamäť a topológiu prepojení.

Zoznam, ktorý popisuje konfiguráciu s ôsmimi grafickými procesormi, nemusí nevyhnutne predstavovať maximálnu kapacitu platformy. Potvrďte presný počet grafických procesorov, model grafického procesora, pomocné napájanie a možnosť chladenia pre požadovanú skladovú jednotku (SKU).

Kedy má G560 V5 väčší zmysel?

G560 V5 je vhodnejší ako samostatný výpočtový uzol GPU s plnou šírkou.

Je navrhnutý pre väčšiu konfiguráciu s viacerými GPU a v zdokumentovanej konfigurácii platformy podporuje až osem GPU s dvojitou šírkou. V porovnaní s modulárnym uzlom s polovičnou šírkou je jednoduchšie ho umiestniť ako vyhradený server pre trénovanie umelej inteligencie alebo HPC server s konzistentnou topológiou GPU.

G560 V5 môže byť vhodný pre nasledujúce pracovné zaťaženia:

  • Tréning hlbokého učenia
  • Vedecké simulácie
  • HPC pracovné zaťaženia
  • preklad
  • Analytika údajov
  • Vyhradené výpočtové uzly s viacerými GPU

Samotná kapacita GPU neurčuje výkon aplikácie. Projekt by mal tiež skontrolovať generáciu CPU, kapacitu pamäte, distribúciu PCIe liniek, komunikáciu medzi GPU, šírku pásma sieťového adaptéra, priepustnosť úložiska, napájanie a chladenie.

Kedy má G5500 V6 väčší zmysel?

G5500 V6 je najsilnejším kandidátom, keď projekt potrebuje väčšiu a rozšíriteľnejšiu platformu servera AI.

Oficiálna dokumentácia k G5500 V6 opisuje 4U dvojzásuvkový AI server s procesormi Intel Xeon Scalable tretej generácie, 32 slotmi DDR4 DIMM, podporou až ôsmich grafických kariet FHFL s dvojitou šírkou, viacerými slotmi PCIe 4.0 x16 a redundantnými vysokokapacitnými napájacími zdrojmi.

Platforma môže byť vhodná pre:

  • GPU s vysokou hustotou a dvojitou šírkou
  • Väčšie požiadavky na systémovú pamäť
  • Viaceré rozširujúce karty PCIe
  • Viacero vysokorýchlostných sieťových adaptérov
  • Rozšírenie lokálneho úložiska
  • Vysokokapacitné redundantné napájanie
  • Trvalá prevádzka umelej inteligencie alebo vysokovýkonných výpočtov

Hlavným kompromisom sú réžijné náklady na infraštruktúru. 4U GPU server vyžaduje viac miesta v racku, vyššiu elektrickú kapacitu, silnejšie prúdenie vzduchu a starostlivejšie tepelné plánovanie ako kompaktný GPU uzol.

Podrobné obmedzenia platformy nájdete v Oficiálna technická dokumentácia k xFusion G5500 V6 pred prípravou fixného kusovníka.

Topológia GPU je dôležitejšia ako počet GPU

Dva servery s rovnakým počtom grafických procesorov môžu poskytovať rôzne výsledky kvôli ich vnútornej topológii.

Pred schválením konfigurácie potvrďte nasledujúce položky:

  • Model GPU a pamäť GPU
  • Dizajn s jednou alebo dvojitou šírkou
  • Komunikačná cesta medzi GPU
  • Generovanie PCIe a prideľovanie jazdných pruhov
  • Lokalita NUMA medzi CPU a GPU
  • Požiadavky na pomocné napájanie grafického procesora
  • Podpora peer-to-peer komunikácie
  • Podpora pre GPUDirect RDMA tam, kde je to potrebné
  • Umiestnenie sieťového adaptéra a šírka pásma
  • Chladenie pri trvalom zaťažení

Pre tréningové záťaže môže byť komunikácia medzi GPU a priepustnosť úložiska rovnako dôležitá ako samotný počet GPU. Pre inferenciu môže byť kapacita pamäte GPU, súbežnosť a latencia siete dôležitejšia ako maximálna tréningová priepustnosť.

Plánovanie CPU a pamäte

CPU by mal byť dimenzovaný podľa pracovnej záťaže, ktorá napája a spravuje GPU.

  • Generovanie CPU
  • Počet socketov CPU
  • Lokalita medzi CPU a GPU
  • Požiadavky na predspracovanie na strane hostiteľa
  • Načítanie dát a extrakcia prvkov
  • Požiadavky na virtualizáciu alebo viacero nájomcov
  • Kapacita pamäte a obsadenosť pamäťových kanálov

Plánovanie pamäte by malo zahŕňať:

Požadovaná pamäť = Rámec umelej inteligencie a systémová pamäť + pamäť na predspracovanie dát + pamäť na načítanie modelu + vyrovnávacia pamäť + réžia riadenia + budúci rast

Nepredpokladajte, že server GPU s väčším počtom grafických procesorov automaticky potrebuje maximálnu konfiguráciu systémovej pamäte. Správna veľkosť pamäte závisí od modelu, súboru údajov, kanála predbežného spracovania, počtu súbežných úloh a od toho, či je server zdieľaný medzi viacerými používateľmi.

Požiadavky na úložisko a sieť

Plánovanie skladovania

Servery umelej inteligencie často vytvárajú úzke miesta mimo subsystému GPU. Overte, či server potrebuje lokálne NVMe pre súbory údajov alebo pomocný priestor, SSD úložisko pre kontrolné body modelu, vysokokapacitný HDD alebo SATA úložisko, prístup k zdieľanému úložisku alebo paralelné pripojenie k súborovému systému.

Tréningový server, ktorý opakovane načítava veľké súbory údajov, môže potrebovať rýchlejšiu úložnú cestu, aj keď sú grafické procesory dostatočne výkonné.

Plánovanie siete

Požiadavky na sieť závisia od modelu nasadenia:

  • Samostatný inferenčný server: vyhodnoťte 10GbE alebo 25GbE na základe prenosovej prevádzky aplikácie.
  • Distribuované školenie: vyhodnotenie sietí s vyššou rýchlosťou a nižšou latenciou.
  • Viacuzlové HPC: skontrolujte požiadavky RDMA, RoCE alebo InfiniBand.
  • Zdieľané úložisko: prispôsobte veľkosť siete pre súbežné úložisko a prevádzku aplikácií.
  • Platforma s umelou inteligenciou pre viacerých nájomcov: oddelená správa, úložisko a produkčná prevádzka.

Výber sieťového adaptéra musí byť overený vzhľadom na operačný systém, ovládač, komunikačný rámec GPU a štruktúru prepínača nadradeného prúdu.

Plánovanie napájania, chladenia a rackov

Servery GPU nie je možné vybrať nezávisle od prostredia dátového centra.

  • Dostupné rackové jednotky
  • Kompatibilita hĺbky racku a koľajníc
  • Vstupné napätie a rozloženie výkonu
  • Požiadavky na redundantné napájanie
  • Maximálny odber energie
  • Smer prúdenia vzduchu
  • Chladiaca vzdialenosť spredu dozadu
  • Teplota okolia
  • Tepelný dizajn GPU
  • Prístup údržby

G5500 V6 poskytuje viac priestoru pre GPU a rozširujúcu kapacitu, ale má aj väčšiu napájaciu a chladiacu stopu. Menšia konfigurácia G530 V5 sa môže jednoduchšie nasadiť na okraji siete alebo v modulárnom klastri, zatiaľ čo G560 V5 môže poskytnúť priamejšiu cestu k vyhradenému výpočtovému uzlu s viacerými GPU.

Ktorý model vyhovuje vášmu zaťaženiu umelou inteligenciou?

Pracovná záťaž Odporúčaný smer Prečo
Modulárna inferencia umelej inteligencie G530 V5 Flexibilný návrh uzlov a možnosti topológie GPU
Zdroje GPU rozšírené o uzol G530 V5 Vhodné pre modulárne a fázové rozširovanie
Uzol HPC s ôsmimi GPU G560 V5 Výpočtová platforma s viacerými GPU v plnej šírke
Špecializovaný tréning hlbokého učenia G560 V5 alebo G5500 V6 Závisí od topológie GPU, pamäte, siete a požiadaviek na napájanie
Veľkoplošné úlohy umelej inteligencie G5500 V6 Viac pamäte a možnosti rozšírenia PCIe
Analytika videa G5500 V6 Vhodné pre trvalé spracovanie s viacerými GPU, keď je k dispozícii napájanie a chladenie
Vedecká výpočtová technika G560 V5 alebo G5500 V6 Výber závisí od modelu GPU, pamäte a architektúry klastra
Nasadenie viacerých GPU s vysokou hustotou G5500 V6 Viac priestoru v šasi, kapacita PCIe a možnosti napájania

Tieto odporúčania opisujú vhodnosť pre platformu, nie zaručený výkon. Konečný výber závisí od modelu GPU, softvérového balíka, veľkosti dátovej sady, návrhu siete, architektúry úložiska a rozpočtu na napájanie.

Informácie, ktoré je potrebné zahrnúť do cenovej ponuky na GPU server

Na prípravu použiteľného kusovníka (BOM) poskytnite viac ako požadované množstvo GPU:

  • Typ pracovnej záťaže umelej inteligencie
  • Tréning, inferencia, HPC alebo zmiešané použitie
  • Cieľový model GPU
  • Množstvo grafického procesora
  • Požiadavky na pamäť grafického procesora
  • Model CPU alebo cieľ výkonu CPU
  • Požiadavky na systémovú pamäť
  • Kapacita a výkon lokálneho úložiska
  • Rýchlosť siete a protokol
  • Požiadavky RDMA, RoCE alebo InfiniBand
  • Obmedzenia napájania a racku
  • Požiadavky na operačný systém a ovládače
  • Očakávaný plán expanzie
  • Požadovaná záruka a podpora

Požiadavka, ktorá uvádza iba „potrebujem server s ôsmimi GPU“, nestačí na overenie konečnej konfigurácie.

Často kladené otázky

Q1 Je G5500 V6 vždy lepší ako G530 V5 alebo G560 V5?
Nie. G5500 V6 poskytuje viac miesta v šasi a možnosti rozšírenia, ale vyžaduje aj viac energie, chladenia a kapacity racku. Menší modulárny uzol môže byť vhodnejší pre inferenciu alebo postupné nasadenie.
Q2 Podporuje G530 V5 vždy 16 GPU?
Nie. Možnosti platformy závisia od tvarového faktora grafickej karty. Maximálna hodnota platí pre určité konfigurácie s jednou slotovou grafickou kartou, zatiaľ čo dvojslotové grafické karty znižujú počet nainštalovaných kariet.
Q3 Je G560 V5 vhodný na tréning s umelou inteligenciou?
Môže sa zvážiť pre tréning umelej inteligencie a HPC, keď model GPU, topológia GPU, úložisko a návrh siete spĺňajú požiadavky na pracovnú záťaž. Finálna konfigurácia GPU by mala byť pred nákupom overená.
Q4 Prečo sa na stránke produktu a v dátovom liste platformy môžu zobrazovať rôzne počty GPU?
V dátovom liste platformy sa zvyčajne popisuje maximálna podporovaná konfigurácia, zatiaľ čo na stránke produktu sa môže zobrazovať jedna konkrétna továrenská alebo predajná konfigurácia. Požadovaný kód SKU by sa mal skontrolovať v porovnaní s oboma.
Q5 Čo mám poslať na kontrolu konfigurácie servera xFusion GPU?
Odošlite model a množstvo GPU, typ pracovnej záťaže, požiadavky na pamäť, návrh úložiska, sieťový protokol, limit napájania, operačný systém a plán rozšírenia. Router-Switch potom môže namapovať požiadavky do kusovníka servera xFusion GPU.

Vyberte si platformu podľa pracovnej záťaže

Modely G530 V5, G560 V5 a G5500 V6 by sa mali považovať za rôzne platformy, a nie len za jednoduché hodnotenie výkonu.

Zvoľte si G530 V5 pre modularitu a flexibilnú topológiu GPU. Zvoľte si G560 V5 pre vyhradený výpočtový uzol s viacerými GPU v plnej šírke. Zvoľte si G5500 V6, keď projekt vyžaduje GPU s vysokou hustotou, väčšiu pamäť, rozšírenú konektivitu PCIe a redundantné napájanie pre trvalé pracovné zaťaženie AI alebo HPC.