Wybór serwera GPU xFusion: porównanie serwerów G530 V5, G560 V5 i G5500 V6 pod kątem obciążeń związanych ze sztuczną inteligencją

Obserwuj nas:
Szybki start
xFusion G530 V5, G560 V5 i G5500 V6 nie są ich bezpośrednimi odpowiednikami. G530 V5 to modułowy, heterogeniczny węzeł obliczeniowy o połowie szerokości, G560 V5 to platforma obliczeniowa o pełnej szerokości z wieloma procesorami graficznymi, a G5500 V6 to dwugniazdowy serwer AI o wysokości 4U do obsługi obciążeń GPU o wysokiej gęstości.

Wybierz serwery GPU xFusion na podstawie topologii GPU, rodzaju obciążenia, pamięci, pamięci masowej, sieci, zasilania i wymagań chłodzenia – a nie tylko liczby GPU. Modułowy węzeł wnioskowania, serwer HPC z ośmioma GPU i platforma głębokiego uczenia o wysokiej gęstości mogą wymagać bardzo różnych konfiguracji.

1. Te trzy serwery GPU xFusion nie są tą samą platformą
2. G530 V5 vs G560 V5 vs G5500 V6
3. Kiedy model G530 V5 ma większy sens?
4. Kiedy model G560 V5 ma większy sens?
5. Kiedy model G5500 V6 ma większy sens?
6. Topologia GPU ma większe znaczenie niż liczba GPU
7. Planowanie procesora i pamięci
8. Wymagania dotyczące pamięci masowej i sieci
9. Zasilanie, chłodzenie i planowanie szaf
10. Który model jest odpowiedni dla Twojego obciążenia pracą w zakresie sztucznej inteligencji?
11. Informacje, które należy uwzględnić w wycenie serwera GPU
12. Często Zadawane Pytania
Potrzebujesz wykazu materiałów (BOM) serwera xFusion GPU?

Udostępnij wymagania dotyczące procesora graficznego, obciążenia, sieci, pamięci masowej i zasilania.

Te trzy serwery GPU xFusion to nie ta sama platforma

Częstym błędem jest porównywanie tych modeli wyłącznie pod względem liczby obsługiwanych procesorów graficznych. Ich konstrukcja fizyczna i planowany model wdrożenia różnią się.

G530 V5 to heterogeniczny węzeł obliczeniowy o połowie szerokości. Obsługuje różne stosunki CPU do GPU i formaty GPU, dzięki czemu nadaje się do wdrożeń modułowych.

G560 V5 to platforma obliczeniowa GPU o pełnej szerokości, zaprojektowana z myślą o większej konfiguracji z wieloma GPU. G5500 V6 to kompletny serwer AI 4U z większą przestrzenią na pamięć masową, pamięć operacyjną, urządzenia PCIe, zasilacze i chłodzenie.

Aby zapoznać się z aktualnymi opcjami produktów, porównaj Gama serwerów GPU xFusion przed wybraniem ostatecznej konfiguracji.

G530 V5 vs G560 V5 vs G5500 V6

Poniższa tabela przedstawia główne kierunki wyboru dla każdej platformy. Są to zalecenia dotyczące planowania, a nie gwarantowane wyniki wydajności. Dokładna konfiguracja GPU, CPU, pamięci, pamięci masowej, sieci i zasilania musi zostać potwierdzona przed złożeniem oferty.

Model Rodzaj platformy Kierunek GPU Zalecane użycie Główna uwaga
xFusion G530 V5 Heterogeniczny węzeł obliczeniowy o połowie szerokości Konfiguracje GPU z jednym lub dwoma gniazdami w zależności od obudowy i układu GPU Modułowe wnioskowanie AI, węzły HPC i rozszerzenie zasobów GPU Ilość procesorów GPU w dużym stopniu zależy od formatu i konfiguracji procesora GPU
xFusion G560 V5 Węzeł obliczeniowy GPU o pełnej szerokości Do ośmiu procesorów graficznych o podwójnej szerokości w udokumentowanej konfiguracji platformy Szkolenia AI, HPC, obliczenia naukowe i renderowanie Wymaga starannego planowania zasilania GPU, chłodzenia i topologii PCIe
xFusion G5500 V6 Serwer AI 4U z dwoma gniazdami Do ośmiu procesorów graficznych FHFL o podwójnej szerokości w udokumentowanej konfiguracji platformy Szkolenie w zakresie głębokiego uczenia, wnioskowanie, analiza wideo i HPC Większe wymagania dotyczące miejsca w szafie, zasilania i chłodzenia

Opis produktu może opisywać konkretną konfigurację z czterema procesorami graficznymi A100, podczas gdy dokumentacja platformy opisuje wyższą maksymalną wydajność procesora graficznego. Są to różne informacje i nie należy ich traktować zamiennie.

Kiedy G530 V5 będzie miał więcej sensu?

Model G530 V5 jest najciekawszy, gdy projekt wymaga elastyczności, a nie stałej maksymalnej liczby procesorów GPU.

Heterogeniczna konstrukcja o połowie szerokości obsługuje różne proporcje procesora CPU i GPU. W zależności od formatu GPU, platforma może obsługiwać wiele procesorów GPU o pojedynczym gnieździe lub mniejszą liczbę większych procesorów GPU o podwójnym gnieździe.

G530 V5 może pasować do następujących zastosowań:

  • Węzły wnioskowania AI
  • Modułowe klastry HPC
  • Zasoby GPU rozszerzone o węzeł
  • Przyspieszenie bazy danych
  • Wdrożenia wymagające komunikacji GPUDirect RDMA lub peer-to-peer GPU
  • Projekty, które mogą wykorzystywać różne formaty procesorów graficznych

Kluczowym pytaniem przy zakupie nie jest po prostu liczba procesorów graficznych obsługiwanych przez G530 V5. Należy potwierdzić model procesora graficznego, szerokość gniazda, poziom mocy, zapotrzebowanie na pamięć i topologię połączeń dla ostatecznej konfiguracji.

Informacje opisujące konfigurację z ośmioma procesorami graficznymi niekoniecznie odzwierciedlają maksymalne możliwości platformy. Sprawdź dokładną liczbę procesorów graficznych, model procesora graficznego, dodatkowe zasilanie i opcję chłodzenia dla żądanego kodu SKU.

Kiedy G560 V5 będzie miał więcej sensu?

W przypadku modelu G560 V5 lepiej sprawdzi się samodzielny węzeł obliczeniowy GPU o pełnej szerokości.

Został zaprojektowany z myślą o większej konfiguracji wieloprocesorowej i obsługuje do ośmiu procesorów graficznych o podwójnej szerokości w udokumentowanej konfiguracji platformy. W porównaniu z modułowym węzłem o połowie szerokości, łatwiej jest go pozycjonować jako dedykowany serwer do szkolenia AI lub serwer HPC ze spójną topologią procesorów graficznych.

G560 V5 może obsługiwać następujące obciążenia:

  • Szkolenie w zakresie głębokiego uczenia się
  • Symulacje naukowe
  • Obciążenia HPC
  • wykonanie
  • Analityka danych
  • Dedykowane węzły obliczeniowe z wieloma procesorami GPU

Sama wydajność GPU nie decyduje o wydajności aplikacji. Projekt powinien również sprawdzić generację CPU, pojemność pamięci, dystrybucję linii PCIe, komunikację między GPU, przepustowość karty sieciowej, przepustowość pamięci masowej, zasilanie i chłodzenie.

Kiedy G5500 V6 będzie miał więcej sensu?

G5500 V6 jest najlepszym kandydatem, jeśli projekt wymaga większej i bardziej rozszerzalnej platformy serwerowej AI.

Oficjalna dokumentacja G5500 V6 opisuje serwer AI 4U z dwoma gniazdami, procesorami Intel Xeon Scalable trzeciej generacji, 32 gniazdami DDR4 DIMM, obsługą do ośmiu procesorów graficznych FHFL o podwójnej szerokości, wieloma gniazdami PCIe 4.0 x16 i redundantnymi zasilaczami o dużej pojemności.

Platforma może być odpowiednia dla:

  • Procesory graficzne o podwójnej szerokości i dużej gęstości
  • Większe wymagania dotyczące pamięci systemowej
  • Wiele kart rozszerzeń PCIe
  • Wiele szybkich adapterów sieciowych
  • Rozszerzenie pamięci lokalnej
  • Duża pojemność redundantnego zasilania
  • Utrzymana praca AI lub HPC

Głównym problemem jest obciążenie infrastruktury. Serwer GPU 4U wymaga więcej miejsca w szafie, większej mocy elektrycznej, lepszego przepływu powietrza i bardziej starannego planowania termicznego niż kompaktowy węzeł GPU.

Aby zapoznać się ze szczegółowymi limitami platformy, zapoznaj się z oficjalna dokumentacja techniczna xFusion G5500 V6 przed przygotowaniem stałego zestawienia materiałów.

Topologia GPU ma większe znaczenie niż liczba GPU

Dwa serwery z tą samą liczbą procesorów GPU mogą dawać różne wyniki ze względu na swoją wewnętrzną topologię.

Przed zatwierdzeniem konfiguracji należy sprawdzić następujące elementy:

  • Model GPU i pamięć GPU
  • Projekt o pojedynczej lub podwójnej szerokości
  • Ścieżka komunikacji GPU-GPU
  • Generowanie PCIe i przydzielanie pasów
  • Lokalizacja NUMA CPU-GPU
  • Wymagania dotyczące zasilania pomocniczego GPU
  • Obsługa komunikacji peer-to-peer
  • Obsługa GPUDirect RDMA w razie potrzeby
  • Rozmieszczenie i przepustowość karty sieciowej
  • Projekt chłodzenia przy stałym obciążeniu

W przypadku obciążeń treningowych, komunikacja między procesorami GPU i przepustowość pamięci masowej mogą być równie ważne, jak sama liczba procesorów GPU. W przypadku wnioskowania, pojemność pamięci GPU, współbieżność i opóźnienie sieci mogą być ważniejsze niż maksymalna przepustowość treningowa.

Planowanie procesora i pamięci

Moc procesora powinna być dobrana w taki sposób, aby odpowiadała obciążeniu, które obciąża i zarządza procesorami graficznymi.

  • Generowanie procesora
  • Liczba gniazd procesora
  • Lokalizacja CPU-GPU
  • Wymagania dotyczące wstępnego przetwarzania po stronie hosta
  • Ładowanie danych i ekstrakcja cech
  • Wymagania dotyczące wirtualizacji lub obsługi wielu najemców
  • Pojemność pamięci i populacja kanałów pamięci

Planowanie pamięci powinno obejmować:

Wymagana pamięć = Struktura sztucznej inteligencji i pamięć systemowa + pamięć wstępnego przetwarzania danych + pamięć ładowania modelu + pamięć podręczna + koszty ogólne zarządzania + przyszły wzrost

Nie zakładaj, że serwer GPU z większą liczbą GPU automatycznie potrzebuje maksymalnej konfiguracji pamięci systemowej. Prawidłowy rozmiar pamięci zależy od modelu, zestawu danych, potoku przetwarzania wstępnego, liczby zadań współbieżnych oraz tego, czy serwer jest współdzielony przez wielu użytkowników.

Wymagania dotyczące pamięci masowej i sieci

Planowanie przechowywania

Serwery AI często tworzą wąskie gardła poza podsystemem GPU. Sprawdź, czy serwer potrzebuje lokalnego NVMe dla zestawów danych lub przestrzeni roboczej, dysku SSD dla punktów kontrolnych modelu, pojemnego dysku twardego lub SATA, współdzielonego dostępu do pamięci masowej lub równoległej łączności z systemem plików.

Serwer szkoleniowy, który wielokrotnie ładuje duże zestawy danych, może wymagać szybszej ścieżki przechowywania danych, nawet jeśli procesory GPU są wystarczająco wydajne.

Planowanie sieci

Wymagania sieciowe zależą od modelu wdrożenia:

  • Autonomiczny serwer wnioskowania: ocena 10GbE lub 25GbE na podstawie ruchu aplikacji.
  • Szkolenie rozproszone: ocena sieci o większej prędkości i mniejszych opóźnieniach.
  • Wielowęzłowe HPC: sprawdź wymagania RDMA, RoCE lub InfiniBand.
  • Współdzielona pamięć masowa: dostosuj rozmiar sieci do jednoczesnego ruchu pamięci masowej i aplikacji.
  • Platforma AI dla wielu użytkowników: oddzielne zarządzanie, przechowywanie i ruch produkcyjny.

Wybór karty sieciowej musi zostać sprawdzony pod kątem zgodności z systemem operacyjnym, sterownikiem, infrastrukturą komunikacyjną GPU i strukturą przełącznika nadrzędnego.

Planowanie zasilania, chłodzenia i szaf

Serwerów GPU nie można wybierać niezależnie od środowiska centrum danych.

  • Dostępne jednostki rackowe
  • Głębokość stojaka i kompatybilność z szynami
  • Napięcie wejściowe i dystrybucja mocy
  • Nadmiarowe wymagania dotyczące zasilania
  • Maksymalny pobór mocy
  • Kierunek przepływu powietrza
  • Prześwit chłodzenia od przodu do tyłu
  • Temperatura otoczenia
  • Projekt termiczny GPU
  • Dostęp konserwacyjny

Model G5500 V6 oferuje więcej miejsca na kartę graficzną i możliwości rozbudowy, ale ma również większy zasięg zasilania i chłodzenia. Mniejszą konfigurację G530 V5 można łatwiej wdrożyć na brzegu sieci lub w klastrze modułowym, natomiast model G560 V5 może zapewnić bardziej bezpośrednią ścieżkę do dedykowanego węzła obliczeniowego z wieloma kartami graficznymi.

Który model będzie odpowiedni dla Twojego zadania związanego ze sztuczną inteligencją?

Obciążenie pracą Zalecany kierunek Czemu
Modułowa inferencja AI G530 V5 Elastyczne opcje projektowania węzłów i topologii GPU
Zasoby GPU rozszerzone o węzeł G530 V5 Nadaje się do rozbudowy modułowej i etapowej
Węzeł HPC z ośmioma procesorami GPU G560 V5 Platforma obliczeniowa o pełnej szerokości i wielu procesorach GPU
Dedykowane szkolenie z zakresu głębokiego uczenia się G560 V5 lub G5500 V6 Zależy od topologii GPU, pamięci, sieci i wymagań dotyczących zasilania
Obciążenia sztucznej inteligencji o dużej pamięci G5500 V6 Więcej pamięci i możliwości rozbudowy PCIe
Analiza wideo G5500 V6 Nadaje się do długotrwałego przetwarzania na wielu procesorach graficznych, gdy dostępne jest zasilanie i chłodzenie
Obliczenia naukowe G560 V5 lub G5500 V6 Wybór zależy od modelu GPU, pamięci i architektury klastra
Wdrożenie o dużej gęstości wielu procesorów GPU G5500 V6 Więcej miejsca w obudowie, więcej możliwości PCIe i więcej opcji zasilania

Te zalecenia opisują dopasowanie do platformy, ale nie gwarantują wydajności. Ostateczny wybór zależy od modelu GPU, stosu oprogramowania, rozmiaru zestawu danych, projektu sieci, architektury pamięci masowej i budżetu mocy.

Informacje, które należy uwzględnić w wycenie serwera GPU

Aby przygotować użyteczną specyfikację materiałową, należy dostarczyć większą liczbę procesorów GPU niż jest to wymagane:

  • Typ obciążenia AI
  • Szkolenie, wnioskowanie, HPC lub mieszane wykorzystanie
  • Docelowy model GPU
  • Ilość GPU
  • Wymagania dotyczące pamięci GPU
  • Model procesora lub docelowa wydajność procesora
  • Wymagania dotyczące pamięci systemowej
  • Pojemność i wydajność pamięci lokalnej
  • Prędkość sieci i protokół
  • Wymagania RDMA, RoCE lub InfiniBand
  • Ograniczenia mocy i stojaka
  • Wymagania dotyczące systemu operacyjnego i sterowników
  • Oczekiwany plan ekspansji
  • Wymagany zakres gwarancji i wsparcia

Żądanie stwierdzające jedynie „potrzebny jest serwer z ośmioma procesorami GPU” nie wystarczy do zweryfikowania ostatecznej konfiguracji.

Najczęściej zadawane pytania

Q1 Czy G5500 V6 jest zawsze lepszy niż G530 V5 lub G560 V5?
Nie. G5500 V6 zapewnia więcej miejsca w obudowie i możliwości rozbudowy, ale wymaga również więcej mocy, chłodzenia i pojemności szafy. Mniejszy węzeł modułowy może być lepszym rozwiązaniem do wnioskowania lub wdrażania etapowego.
Q2 Czy G530 V5 zawsze obsługuje 16 procesorów graficznych?
Nie. Możliwości platformy zależą od formatu karty graficznej. Maksymalna wartość dotyczy niektórych konfiguracji z jednym gniazdem karty graficznej, natomiast karty graficzne z dwoma gniazdami zmniejszają liczbę zainstalowanych kart.
Q3 Czy G560 V5 nadaje się do trenowania sztucznej inteligencji?
Można go rozważyć do szkolenia AI i HPC, jeśli model GPU, topologia GPU, pamięć masowa i projekt sieci spełniają wymagania dotyczące obciążenia. Ostateczna konfiguracja GPU powinna zostać zweryfikowana przed zakupem.
Q4 Dlaczego strona produktu i arkusz danych platformy mogą pokazywać różne liczby procesorów GPU?
Karta danych platformy zazwyczaj opisuje maksymalną obsługiwaną konfigurację, podczas gdy strona produktu może zawierać jedną konkretną konfigurację fabryczną lub sprzedażową. Żądany kod SKU należy sprawdzić pod kątem obu.
Q5 Co powinienem wysłać w celu przeprowadzenia przeglądu konfiguracji serwera GPU xFusion?
Prześlij model i liczbę procesorów GPU, typ obciążenia, wymagania dotyczące pamięci, projekt pamięci masowej, protokół sieciowy, limit mocy, system operacyjny i plan rozbudowy. Router-Switch może następnie odwzorować wymagania na zestawienie materiałów (BOM) serwera GPU xFusion.

Wybierz platformę dostosowaną do obciążenia pracą

Modele G530 V5, G560 V5 i G5500 V6 należy traktować jako różne wybory platform, a nie jako proste zestawienie wydajności.

Wybierz G530 V5, aby uzyskać modułowość i elastyczną topologię GPU. Wybierz G560 V5, aby uzyskać dedykowany węzeł obliczeniowy o pełnej szerokości z wieloma GPU. Wybierz G5500 V6, gdy projekt wymaga układów GPU o dużej gęstości, większej pamięci, rozszerzonej łączności PCIe i redundantnego zasilania dla stabilnych obciążeń AI lub HPC.