Najlepší AI server pre školenie LLM vs. inferencia

Sledujte nás:
Rýchle použitie
Najlepší server AI závisí od pracovného zaťaženia. Trénovanie LLM zvyčajne vyžaduje viacero GPU, veľkú pamäť GPU, rýchlu komunikáciu medzi GPU a vysokorýchlostné klastrové siete. Inferencia LLM závisí viac od pamäte modelu, súbežnosti, latencie odozvy, efektivity dávkového spracovania a spotreby energie.

Server s 1 – 4 GPU môže byť vhodný na vývoj, dolaďovanie, RAG alebo menšie nasadenia inferencie. Rozsiahle školenia a inferencia s vysokou priepustnosťou môžu vyžadovať servery s 8 GPU alebo viacero pripojených uzlov. Správna voľba by mala byť založená na modeli, pracovnom zaťažení, cieľovej úrovni súbežnosti a dostupnej energii a chladení – nielen na značke servera alebo počte GPU.

1. Tréning verzus inferencia: Čo sa vlastne mení?
2. Pamäť GPU alebo počet GPU?
3. Návrh siete, úložiska a servera
4. Platformy serverov umelej inteligencie na porovnanie
5. Ktorá konfigurácia zodpovedá vášmu scenáru?
6. Informácie na prípravu cenovej ponuky
7. Často kladené otázky

Tréning vs. inferencia: Čo sa vlastne mení?

Ten istý GPU server sa môže správať veľmi odlišne v závislosti od toho, či sa používa na trénovanie modelu, jemné ladenie alebo inferenciu. Trénovanie uprednostňuje trvalú priepustnosť a komunikáciu medzi GPU. Inferencia uprednostňuje čas odozvy, súbežných používateľov, pamäť modelu a prevádzkovú efektivitu.

Požiadavka Školenie LLM Inferencia LLM
Primárny cieľ Priepustnosť školenia a čas potrebný na jeho dokončenie Latencia odozvy, súbežnosť a dostupnosť služieb
Priorita GPU Počet grafických procesorov, výpočtový výkon, pamäť a prepojenie Pamäť GPU, efektivita dávkového spracovania, latencia a energetická účinnosť
Uskladnenie Rýchle súbory údajov, kontrolné body a odkladacie úložisko Rýchle načítanie modelu, vyrovnávacia pamäť a ukladanie aplikácií
networking Môže byť potrebné vysokorýchlostné pripojenie RDMA, RoCE, InfiniBand alebo 200G/400G Ethernet Pre menšie nasadenia môže stačiť 25G alebo 100G
Vzor mierky Škálovanie s viacerými GPU alebo viacerými uzlami Škálovanie nahor, škálovanie nadol, vyvažovanie záťaže alebo ich kombinácia

Server určený na príležitostnú inferenciu nemusí poskytovať dostatok pamäte GPU, šírky pásma úložiska alebo sieťového pripojenia pre distribuované trénovanie. Naopak, tréningová platforma s 8 GPU môže byť zbytočne drahá pre súkromného chatbota s nízkou súbežnosťou.

Pamäť GPU alebo počet GPU?

Počet GPU by sa mal hodnotiť spolu s pamäťou GPU, veľkosťou modelu, presnosťou, kvantizáciou, dĺžkou kontextu, veľkosťou dávky a počtom súbežných používateľov. Viac GPU automaticky nerieši problém s pamäťou alebo komunikáciou.

Jedna alebo dve grafické karty

Server s 1–2 GPU môže byť vhodný pre vývoj umelej inteligencie, menšie súkromné ​​nasadenia LLM, aplikácie RAG, inferenciu s nízkou súbežnosťou, vyhodnocovanie modelov a vybrané úlohy jemného dolaďovania. Táto konfigurácia sa jednoduchšie inštaluje a zvyčajne vyžaduje menej energie, chladenia a sieťovej infraštruktúry.

Štyri grafické karty

Server so 4 GPU môže byť praktickým kompromisom pre väčšie inferenčné pracovné zaťaženia, jemné doladenie LoRA alebo QLoRA, súkromnú umelú inteligenciu na úrovni oddelenia, mierne dávkové spracovanie a nasadenia na základe konceptu, ktoré sa môžu neskôr rozšíriť.

Osem grafických procesorov

Systém s 8 GPU sa stáva relevantnejším, keď pracovná záťaž vyžaduje vyššiu priepustnosť trénovania, väčšiu kapacitu modelu, viacero súbežných služieb, väčšie veľkosti dávok alebo základ pre trénovanie viacerých uzlov. Pred výberom tejto triedy servera si overte rozmiestnenie GPU, topológiu PCIe, napájanie, chladenie a rozloženie sieťového adaptéra.

Trénovanie tiež spotrebúva pamäť pre váhy modelu, gradienty, stavy optimalizátora, aktivácie, kontrolné body a dočasné vyrovnávacie pamäte. Pre inferenciu sú požiadavky na pamäť ovplyvnené váhami modelu, vyrovnávacou pamäťou KV, dĺžkou kontextu, kvantizáciou a súbežnosťou. Tieto faktory by sa mali vypočítať pred dokončením konfigurácie servera.

Naplánujte si konfiguráciu servera AI

Zdieľajte veľkosť modelu, cieľovú pamäť GPU, súbežnosť používateľov, rýchlosť siete, priestor v racku a limity napájania. Router-Switch vám môže pomôcť namapovať pracovnú záťaž do praktického kusovníka servera s umelou inteligenciou.

Návrh siete, úložiska a servera

Prepojenie GPU a sieťovanie klastrov

Zaťaženie jedného uzla závisí hlavne od internej topológie PCIe servera a prepojenia GPU. Trénovanie viacerých uzlov pridáva ďalšiu požiadavku: sieťová infraštruktúra musí presúvať dáta medzi servermi rýchlo a konzistentne.

  • Návrh prepojenia medzi GPU
  • Alokácia PCIe liniek a umiestnenie sieťovej karty
  • Kompatibilita RDMA, RoCE alebo InfiniBand
  • Počet portov prepínača a nadmerné predplatné siete
  • Kompatibilita DAC, AOC, transceivera a káblov
  • Jednokoľajnicová alebo dvojkoľajnicová architektúra

NVIDIA Referenčná architektúra HGX AI Factory ilustruje, ako sa systémy s 8 GPU, vysokorýchlostné prepojenia GPU, úložisko NVMe a sieťové adaptéry s vysokou šírkou pásma plánujú spoločne pre úlohy umelej inteligencie a HPC.

V prípade viacuzlového návrhu vypočítajte celú sieťovú štruktúru, a nie iba servery GPU. Návrh môže tiež vyžadovať úložné linky, linky na správu, uplinky, redundantné cesty a náhradné porty. Pozrite si Sprievodca sieťovaním klastrov AI/HPC pri plánovaní prepínačov, sieťových kariet, optiky a káblov okolo serverovej vrstvy.

CPU, pamäť a úložisko NVMe

CPU spracováva načítavanie dát, predspracovanie, orchestráciu, šifrovanie, služby API a koordináciu úložiska. Systémová pamäť môže vyžadovať podporu ukladania dát do vyrovnávacej pamäte, viacero inferenčných služieb, kanálov predspracovania a lokálneho ukladania modelov.

Úložisko NVMe sa bežne používa na trénovanie dátových súborov, kontrolné body modelov, dočasné súbory, načítavanie modelov a inferenčné vyrovnávacie pamäte. Kapacita, výdrž, ochrana RAID a plánovanie výmeny by sa mali posudzovať spoločne, a nie vyberať disky iba podľa kapacity.

Napájanie a chladenie

Servery s hustou grafickou kartou (GPU) môžu vyžadovať podstatne viac energie a prúdenia vzduchu ako štandardné servery s CPU. Pred schválením konfigurácie s 8 GPU si overte výkon racku, kapacitu obvodov, redundanciu zdroja, smer prúdenia vzduchu, chladiaci výkon a dostupný priestor v racku.

Platformy serverov s umelou inteligenciou na porovnanie

Nasledujúce platformy predstavujú rôzne prístupy k nasadeniu. Mali by sa porovnávať podľa pracovnej záťaže a konfigurácie, a nie ako univerzálne hodnotenie značiek. Pre uvedenú skladovú jednotku (SKU) je potrebné potvrdiť presný počet grafických procesorov (GPU), model GPU, limit napájania, úložisko a sieťový adaptér.

Platforma alebo model Najlepšie fit Čo overiť
xFusion G530 V5 Vývoj, inferencia, jemné ladenie a flexibilné heterogénne výpočty Tvarový faktor GPU, limit výkonu GPU, rozloženie PCIe a počet GPU v uvedenej konfigurácii
xFusion G560 V5 Trénovanie viacerých GPU, HPC a výpočty s vysokou hustotou Podpora grafických kariet s dvojitou šírkou, požiadavky na chladenie, napájanie, pamäť a sieťový adaptér
xFusion G5500 V6 Husté trénovanie, inferencia, HPC a viacuzlové nasadenia Konfigurácia s 8 grafickými procesormi, napájanie racku, prúdenie vzduchu, redundancia zdroja, úložisko a sieťové pripojenie klastra
Supermicro HGX SYS-821GE-TNHR Trénovanie s vysokou hustotou a inferencia s viacerými GPU Základná doska HGX, typ GPU, topológia NVLink/NVSwitch, CPU, pamäť, sieťové karty a presný obsah balíka
Inspur NVIDIA H100 AI Bundle 9 Školenie podnikovej umelej inteligencie, pracovné zaťaženie jazykových modelov a integrované uzly klastra Konfigurácia GPU, sieťové adaptéry, úložisko, redundancia zdroja a rozsah podpory
Inspur NVIDIA H200 AI Bundle 10 Trénovanie umelej inteligencie s vyššou pamäťou a vysokokapacitná inferencia Presná konfigurácia H200, systémová pamäť, úložisko NVMe, rýchlosť siete a požiadavky na napájanie
Server ASUS H200 s umelou inteligenciou – balík 11 Nasadenia s vysokou hustotou tréningu a inferencie Množstvo grafických kariet, dizajn základnej dosky, pamäť, úložisko, chladenie a dostupné možnosti podpory

Rad serverov xFusion AI je jednou z možností pre flexibilné heterogénne konfigurácie. Spoločnosti Supermicro, Inspur a ASUS poskytujú ďalšie platformy s vysokou hustotou GPU a integrované balíky. Správny výber závisí od toho, či projekt potrebuje kompaktný uzol, konfigurovateľný server alebo platformu s 8 GPU určenú pre pracovné zaťaženia v rozsahu klastra.

Ktorá konfigurácia zodpovedá vášmu scenáru?

Scenár Smer začiatku Hlavné kontroly
vývoj AI 1–2 grafických procesorov Pamäť GPU, kompatibilita s frameworkom, lokálne úložisko a napájanie
RAG alebo súkromný LLM 1–4 grafických procesorov Modelová pamäť, súbežní používatelia, NVMe a kapacita siete
Jemné doladenie LoRA alebo QLoRA 2–4 grafických procesorov Pamäť GPU, priepustnosť dátových súborov, úložisko kontrolných bodov a plánovanie
Tréning veľkých modelov 8 alebo viac grafických procesorov Prepojenie GPU, napájanie, chladenie, úložisko a softvérový balík
Tréning viacerých uzlov Viacero uzlov s 8 GPU RDMA štruktúra, kapacita prepínačov, topológia, kabeláž a domény zlyhania
Inferencia s vysokou súbežnosťou Viaceré GPU alebo uzly Latencia, dávkovanie, vyvažovanie záťaže, redundancia a energetická účinnosť
Dávkové vyvodzovanie 1–4 GPU alebo viac Priepustnosť, plánovanie úloh, načítavanie modelov a šírka pásma úložiska

Najlepšia konfigurácia je zvyčajne najmenší systém, ktorý spĺňa cieľovú pracovnú záťaž s dostatočným priestorom pre rast prevádzky. Kúpa väčšieho počtu grafických procesorov (GPU), ako dokáže aplikácia použiť, zvyšuje náklady, spotrebu energie a zložitosť nasadenia bez toho, aby nevyhnutne zlepšila používateľskú skúsenosť.

Informácie na prípravu cenovej ponuky na GPU server

Užitočná cenová ponuka na server s umelou inteligenciou by mala obsahovať viac než len preferovaný model GPU. Pred požiadaním o kontrolu konfigurácie si pripravte nasledujúce informácie:

  • Názov modelu a veľkosť parametra
  • Pracovná záťaž trénovania, dolaďovania alebo inferencie
  • Formát presnosti alebo kvantizácie
  • Cieľ pamäte GPU a požadovaný počet GPU
  • Počet súbežných používateľov
  • Cieľová latencia alebo priepustnosť
  • Nasadenie s jedným alebo viacerými uzlami
  • Požadovaná rýchlosť siete a technológia RDMA
  • Požiadavky na úložnú kapacitu, výdrž a RAID
  • Obmedzenia priestoru v racku, napájania a chladenia
  • Operačný systém a kontajnerové prostredie
  • Požadovaná záručná alebo podporná doba

Ak tieto podrobnosti nie sú k dispozícii, začnite s veľkosťou modelu, očakávaným počtom používateľov a tým, či je pracovná záťaž trénovaná alebo inferenčná. Tieto tri vstupy zvyčajne poskytujú lepší východiskový bod ako výber servera iba podľa značky alebo počtu GPU.

Často kladené otázky

Q1 Je server s 8 GPU vždy lepší pre úlohy LLM?
Nie. Server s 8 GPU môže byť nepotrebný pre inferenciu s nízkou súbežnosťou alebo pre vývoj v raných fázach. Je užitočnejší, keď pracovná záťaž vyžaduje vyššiu priepustnosť trénovania, väčšiu kapacitu modelu alebo viacero súbežných služieb.
Q2 Je inferencia jednoduchšia ako trénovanie?
Inferencia zvyčajne vyžaduje menej výpočtového výkonu ako trénovanie, ale inferencia s vysokou súbežnosťou môže stále vyžadovať niekoľko GPU alebo viacero serverov. Latencia, pamäť modelu, dávkovanie a dostupnosť ovplyvňujú konečnú konfiguráciu.
Q3 Potrebujú všetky školiace servery LLM InfiniBand?
Nie. Menšie úlohy s jedným uzlom nevyžadujú InfiniBand. Tréning s viacerými uzlami môže mať prospech z InfiniBand alebo RoCE v závislosti od frameworku, architektúry GPU, návrhu siete a cieľa výkonu.
Q4 Mám si vybrať viac pamäte GPU alebo viac GPU?
Záleží to od modelu a pracovného zaťaženia. Ak sa model nezmestí do pamäte, dodatočné výpočty na GPU nemusia problém vyriešiť. Ak sa model už zmestí, ale trénovanie alebo poskytovanie je príliš pomalé, pridanie GPU môže byť užitočnejšie.
Q5 Dá sa inferenčný server neskôr použiť na trénovanie?
Niekedy, ale nie vždy efektívne. Pred predpokladom, že konfiguráciu inferencie je možné rozšíriť na tréningovú platformu, by sa malo skontrolovať rozloženie GPU, kapacita pamäte, prepojenie, úložisko, napájanie a sieťové adaptéry.