Server s 1 – 4 GPU môže byť vhodný na vývoj, dolaďovanie, RAG alebo menšie nasadenia inferencie. Rozsiahle školenia a inferencia s vysokou priepustnosťou môžu vyžadovať servery s 8 GPU alebo viacero pripojených uzlov. Správna voľba by mala byť založená na modeli, pracovnom zaťažení, cieľovej úrovni súbežnosti a dostupnej energii a chladení – nielen na značke servera alebo počte GPU.
Tréning vs. inferencia: Čo sa vlastne mení?
Ten istý GPU server sa môže správať veľmi odlišne v závislosti od toho, či sa používa na trénovanie modelu, jemné ladenie alebo inferenciu. Trénovanie uprednostňuje trvalú priepustnosť a komunikáciu medzi GPU. Inferencia uprednostňuje čas odozvy, súbežných používateľov, pamäť modelu a prevádzkovú efektivitu.
| Požiadavka | Školenie LLM | Inferencia LLM |
|---|---|---|
| Primárny cieľ | Priepustnosť školenia a čas potrebný na jeho dokončenie | Latencia odozvy, súbežnosť a dostupnosť služieb |
| Priorita GPU | Počet grafických procesorov, výpočtový výkon, pamäť a prepojenie | Pamäť GPU, efektivita dávkového spracovania, latencia a energetická účinnosť |
| Uskladnenie | Rýchle súbory údajov, kontrolné body a odkladacie úložisko | Rýchle načítanie modelu, vyrovnávacia pamäť a ukladanie aplikácií |
| networking | Môže byť potrebné vysokorýchlostné pripojenie RDMA, RoCE, InfiniBand alebo 200G/400G Ethernet | Pre menšie nasadenia môže stačiť 25G alebo 100G |
| Vzor mierky | Škálovanie s viacerými GPU alebo viacerými uzlami | Škálovanie nahor, škálovanie nadol, vyvažovanie záťaže alebo ich kombinácia |
Server určený na príležitostnú inferenciu nemusí poskytovať dostatok pamäte GPU, šírky pásma úložiska alebo sieťového pripojenia pre distribuované trénovanie. Naopak, tréningová platforma s 8 GPU môže byť zbytočne drahá pre súkromného chatbota s nízkou súbežnosťou.
Pamäť GPU alebo počet GPU?
Počet GPU by sa mal hodnotiť spolu s pamäťou GPU, veľkosťou modelu, presnosťou, kvantizáciou, dĺžkou kontextu, veľkosťou dávky a počtom súbežných používateľov. Viac GPU automaticky nerieši problém s pamäťou alebo komunikáciou.
Jedna alebo dve grafické karty
Server s 1–2 GPU môže byť vhodný pre vývoj umelej inteligencie, menšie súkromné nasadenia LLM, aplikácie RAG, inferenciu s nízkou súbežnosťou, vyhodnocovanie modelov a vybrané úlohy jemného dolaďovania. Táto konfigurácia sa jednoduchšie inštaluje a zvyčajne vyžaduje menej energie, chladenia a sieťovej infraštruktúry.
Štyri grafické karty
Server so 4 GPU môže byť praktickým kompromisom pre väčšie inferenčné pracovné zaťaženia, jemné doladenie LoRA alebo QLoRA, súkromnú umelú inteligenciu na úrovni oddelenia, mierne dávkové spracovanie a nasadenia na základe konceptu, ktoré sa môžu neskôr rozšíriť.
Osem grafických procesorov
Systém s 8 GPU sa stáva relevantnejším, keď pracovná záťaž vyžaduje vyššiu priepustnosť trénovania, väčšiu kapacitu modelu, viacero súbežných služieb, väčšie veľkosti dávok alebo základ pre trénovanie viacerých uzlov. Pred výberom tejto triedy servera si overte rozmiestnenie GPU, topológiu PCIe, napájanie, chladenie a rozloženie sieťového adaptéra.
Trénovanie tiež spotrebúva pamäť pre váhy modelu, gradienty, stavy optimalizátora, aktivácie, kontrolné body a dočasné vyrovnávacie pamäte. Pre inferenciu sú požiadavky na pamäť ovplyvnené váhami modelu, vyrovnávacou pamäťou KV, dĺžkou kontextu, kvantizáciou a súbežnosťou. Tieto faktory by sa mali vypočítať pred dokončením konfigurácie servera.
Zdieľajte veľkosť modelu, cieľovú pamäť GPU, súbežnosť používateľov, rýchlosť siete, priestor v racku a limity napájania. Router-Switch vám môže pomôcť namapovať pracovnú záťaž do praktického kusovníka servera s umelou inteligenciou.
Návrh siete, úložiska a servera
Prepojenie GPU a sieťovanie klastrov
Zaťaženie jedného uzla závisí hlavne od internej topológie PCIe servera a prepojenia GPU. Trénovanie viacerých uzlov pridáva ďalšiu požiadavku: sieťová infraštruktúra musí presúvať dáta medzi servermi rýchlo a konzistentne.
- Návrh prepojenia medzi GPU
- Alokácia PCIe liniek a umiestnenie sieťovej karty
- Kompatibilita RDMA, RoCE alebo InfiniBand
- Počet portov prepínača a nadmerné predplatné siete
- Kompatibilita DAC, AOC, transceivera a káblov
- Jednokoľajnicová alebo dvojkoľajnicová architektúra
NVIDIA Referenčná architektúra HGX AI Factory ilustruje, ako sa systémy s 8 GPU, vysokorýchlostné prepojenia GPU, úložisko NVMe a sieťové adaptéry s vysokou šírkou pásma plánujú spoločne pre úlohy umelej inteligencie a HPC.
V prípade viacuzlového návrhu vypočítajte celú sieťovú štruktúru, a nie iba servery GPU. Návrh môže tiež vyžadovať úložné linky, linky na správu, uplinky, redundantné cesty a náhradné porty. Pozrite si Sprievodca sieťovaním klastrov AI/HPC pri plánovaní prepínačov, sieťových kariet, optiky a káblov okolo serverovej vrstvy.
CPU, pamäť a úložisko NVMe
CPU spracováva načítavanie dát, predspracovanie, orchestráciu, šifrovanie, služby API a koordináciu úložiska. Systémová pamäť môže vyžadovať podporu ukladania dát do vyrovnávacej pamäte, viacero inferenčných služieb, kanálov predspracovania a lokálneho ukladania modelov.
Úložisko NVMe sa bežne používa na trénovanie dátových súborov, kontrolné body modelov, dočasné súbory, načítavanie modelov a inferenčné vyrovnávacie pamäte. Kapacita, výdrž, ochrana RAID a plánovanie výmeny by sa mali posudzovať spoločne, a nie vyberať disky iba podľa kapacity.
Napájanie a chladenie
Servery s hustou grafickou kartou (GPU) môžu vyžadovať podstatne viac energie a prúdenia vzduchu ako štandardné servery s CPU. Pred schválením konfigurácie s 8 GPU si overte výkon racku, kapacitu obvodov, redundanciu zdroja, smer prúdenia vzduchu, chladiaci výkon a dostupný priestor v racku.
Platformy serverov s umelou inteligenciou na porovnanie
Nasledujúce platformy predstavujú rôzne prístupy k nasadeniu. Mali by sa porovnávať podľa pracovnej záťaže a konfigurácie, a nie ako univerzálne hodnotenie značiek. Pre uvedenú skladovú jednotku (SKU) je potrebné potvrdiť presný počet grafických procesorov (GPU), model GPU, limit napájania, úložisko a sieťový adaptér.
| Platforma alebo model | Najlepšie fit | Čo overiť |
|---|---|---|
| xFusion G530 V5 | Vývoj, inferencia, jemné ladenie a flexibilné heterogénne výpočty | Tvarový faktor GPU, limit výkonu GPU, rozloženie PCIe a počet GPU v uvedenej konfigurácii |
| xFusion G560 V5 | Trénovanie viacerých GPU, HPC a výpočty s vysokou hustotou | Podpora grafických kariet s dvojitou šírkou, požiadavky na chladenie, napájanie, pamäť a sieťový adaptér |
| xFusion G5500 V6 | Husté trénovanie, inferencia, HPC a viacuzlové nasadenia | Konfigurácia s 8 grafickými procesormi, napájanie racku, prúdenie vzduchu, redundancia zdroja, úložisko a sieťové pripojenie klastra |
| Supermicro HGX SYS-821GE-TNHR | Trénovanie s vysokou hustotou a inferencia s viacerými GPU | Základná doska HGX, typ GPU, topológia NVLink/NVSwitch, CPU, pamäť, sieťové karty a presný obsah balíka |
| Inspur NVIDIA H100 AI Bundle 9 | Školenie podnikovej umelej inteligencie, pracovné zaťaženie jazykových modelov a integrované uzly klastra | Konfigurácia GPU, sieťové adaptéry, úložisko, redundancia zdroja a rozsah podpory |
| Inspur NVIDIA H200 AI Bundle 10 | Trénovanie umelej inteligencie s vyššou pamäťou a vysokokapacitná inferencia | Presná konfigurácia H200, systémová pamäť, úložisko NVMe, rýchlosť siete a požiadavky na napájanie |
| Server ASUS H200 s umelou inteligenciou – balík 11 | Nasadenia s vysokou hustotou tréningu a inferencie | Množstvo grafických kariet, dizajn základnej dosky, pamäť, úložisko, chladenie a dostupné možnosti podpory |
Rad serverov xFusion AI je jednou z možností pre flexibilné heterogénne konfigurácie. Spoločnosti Supermicro, Inspur a ASUS poskytujú ďalšie platformy s vysokou hustotou GPU a integrované balíky. Správny výber závisí od toho, či projekt potrebuje kompaktný uzol, konfigurovateľný server alebo platformu s 8 GPU určenú pre pracovné zaťaženia v rozsahu klastra.
Ktorá konfigurácia zodpovedá vášmu scenáru?
| Scenár | Smer začiatku | Hlavné kontroly |
|---|---|---|
| vývoj AI | 1–2 grafických procesorov | Pamäť GPU, kompatibilita s frameworkom, lokálne úložisko a napájanie |
| RAG alebo súkromný LLM | 1–4 grafických procesorov | Modelová pamäť, súbežní používatelia, NVMe a kapacita siete |
| Jemné doladenie LoRA alebo QLoRA | 2–4 grafických procesorov | Pamäť GPU, priepustnosť dátových súborov, úložisko kontrolných bodov a plánovanie |
| Tréning veľkých modelov | 8 alebo viac grafických procesorov | Prepojenie GPU, napájanie, chladenie, úložisko a softvérový balík |
| Tréning viacerých uzlov | Viacero uzlov s 8 GPU | RDMA štruktúra, kapacita prepínačov, topológia, kabeláž a domény zlyhania |
| Inferencia s vysokou súbežnosťou | Viaceré GPU alebo uzly | Latencia, dávkovanie, vyvažovanie záťaže, redundancia a energetická účinnosť |
| Dávkové vyvodzovanie | 1–4 GPU alebo viac | Priepustnosť, plánovanie úloh, načítavanie modelov a šírka pásma úložiska |
Najlepšia konfigurácia je zvyčajne najmenší systém, ktorý spĺňa cieľovú pracovnú záťaž s dostatočným priestorom pre rast prevádzky. Kúpa väčšieho počtu grafických procesorov (GPU), ako dokáže aplikácia použiť, zvyšuje náklady, spotrebu energie a zložitosť nasadenia bez toho, aby nevyhnutne zlepšila používateľskú skúsenosť.
Informácie na prípravu cenovej ponuky na GPU server
Užitočná cenová ponuka na server s umelou inteligenciou by mala obsahovať viac než len preferovaný model GPU. Pred požiadaním o kontrolu konfigurácie si pripravte nasledujúce informácie:
- Názov modelu a veľkosť parametra
- Pracovná záťaž trénovania, dolaďovania alebo inferencie
- Formát presnosti alebo kvantizácie
- Cieľ pamäte GPU a požadovaný počet GPU
- Počet súbežných používateľov
- Cieľová latencia alebo priepustnosť
- Nasadenie s jedným alebo viacerými uzlami
- Požadovaná rýchlosť siete a technológia RDMA
- Požiadavky na úložnú kapacitu, výdrž a RAID
- Obmedzenia priestoru v racku, napájania a chladenia
- Operačný systém a kontajnerové prostredie
- Požadovaná záručná alebo podporná doba
Ak tieto podrobnosti nie sú k dispozícii, začnite s veľkosťou modelu, očakávaným počtom používateľov a tým, či je pracovná záťaž trénovaná alebo inferenčná. Tieto tri vstupy zvyčajne poskytujú lepší východiskový bod ako výber servera iba podľa značky alebo počtu GPU.















































































































































