Ako aktuálna rozpočtová referencia sa verejne obchodované systémy s 8 GPU pohybujú v cenovom rozpätí približne 299 000 – 310 000 USD pre konfigurácie H100 a 309 000 – 314 300 USD pre konfigurácie H200. Menšie inferenčné servery môžu stáť oveľa menej, ale konečná cena vo veľkej miere závisí od zvolenej konfigurácie GPU, šasi, pamäte, úložiska, napájania a podpory.
Cena servera s umelou inteligenciou vs. celkové náklady na nasadenie v podniku
Produktová stránka servera zvyčajne pokrýva samotný výpočtový uzol. Nasadenie umelej inteligencie v podniku môže tiež vyžadovať servery GPU, grafické karty GPU alebo platformy HGX, systémovú pamäť, úložisko NVMe, sieťové karty (NIC), procesory DPU, vysokorýchlostné prepínače, optiku, káble, priestor v racku, rozvod napájania, chladenie, softvér, podporu a integráciu.
Preto by sa cena servera s umelou inteligenciou nemala zamieňať s celkovými nákladmi na klaster s umelou inteligenciou. Aktuálne konfigurácie môžete porovnať prostredníctvom Kategória produktu AI server, ale uvedenú cenu by ste mali vždy skontrolovať oproti presnej konfigurácii grafickej karty, pamäte, úložiska a podpory.
| Vrstva rozpočtu | Typické položky |
|---|---|
| Výpočtový uzol | Šasi servera, CPU, RAM, GPU a lokálne SSD disky |
| Sieťová vrstva | Sieťové karty, procesory DPU, prepínače, optika, DAC, AOC a rozbočovacie káble |
| Infraštruktúra | Rack, PDU, UPS, rozvod napájania a chladenie |
| Softvér | Operačný systém, softvér GPU, orchestrácia, virtualizácia a licencie |
| rozvinutie | Integrácia, testovanie, konfigurácia, migrácia a technická podpora |
Čo ovplyvňuje cenu podnikového servera s umelou inteligenciou?
Model a množstvo GPU
Grafický procesor (GPU) je zvyčajne najväčšou nákladovou zložkou. Cena sa mení v závislosti od architektúry GPU, kapacity pamäte, počtu GPU, formátu PCIe alebo SXM, prepojenia GPU-GPU, požiadaviek na chladenie a dodacieho harmonogramu.
Server s jednou alebo dvoma grafickými procesormi (GPU) môže byť vhodný na inferenciu alebo vývoj, zatiaľ čo systém s ôsmimi grafickými procesormi je vhodnejší na rozsiahle školenia, vysokokapacitnú inferenciu alebo platformy umelej inteligencie s viacerými používateľmi.
Topológia CPU, pamäte a PCIe
Platforma CPU je stále dôležitá, aj keď väčšina pracovnej záťaže beží na GPU. Vhodná konfigurácia musí poskytovať dostatok jadier CPU, PCIe liniek, systémovej pamäte, lokality NUMA, šírky pásma úložiska a rozširujúcich slotov pre sieťové karty a DPU.
Lacnejší server s nedostatočnou šírkou pásma PCIe môže obmedziť výkon GPU, úložiska alebo siete. Pri podnikových úlohách by sa mal návrh CPU a pamäte vyhodnotiť spolu s topológiou GPU.
Požiadavky na ukladanie
Servery umelej inteligencie môžu vyžadovať úložisko pre operačný systém, modelové súbory, tréningové súbory údajov, kontrolné body, vektorové databázy, dočasné predspracovacie údaje, protokoly a monitorovacie údaje.
Základný inferenčný uzol môže potrebovať iba malý bootovací zväzok a lokálne úložisko NVMe. Tréningový systém môže vyžadovať niekoľko vysokokapacitných diskov NVMe alebo vysokopriepustný externý úložný systém.
Siete a prepojenia
Siete sa môžu stať hlavnou súčasťou rozpočtu na nasadenie po pripojení viacerých serverov. Medzi typické požiadavky patria sieťové karty serverov 100G alebo 200G, uplinky 400G alebo 800G, platformy NVIDIA ConnectX alebo BlueField, RoCE alebo InfiniBand, vysokorýchlostné prepínače, optické vysielače a rozbočovacie káble.
Napríklad NVIDIA SN5610 je určený pre prostredia s vysokou hustotou 800GbE. Jeho aktuálna stránka produktu uvádza verejnú cenu približne 59 742 USD, ale táto cena nezahŕňa sieťové karty servera, optiku, káble, inštaláciu do racku ani konfiguráciu siete.
Napájanie, chladenie a kapacita racku
Systémy s vysokou hustotou grafických procesorov (GPU) môžu vyžadovať výrazne viac energie a chladenia ako konvenčné podnikové servery. Pred kúpou si overte vstupné napätie, redundanciu zdroja (PSU), maximálny výkon systému, požiadavky na rackovú jednotku, smer prúdenia vzduchu, kapacitu PDU, kapacitu UPS, chladiacu kapacitu, hmotnosť a požiadavky na koľajnice.
Softvér a podpora
Softvérová vrstva môže zahŕňať Linux, ovládače GPU, CUDA, Kubernetes, virtualizáciu, frameworky umelej inteligencie, softvér na poskytovanie modelov, monitorovanie, orchestráciu a predplatné podnikovej podpory.
NVIDIA AI Enterprise je licencovaná na základe jednotlivých grafických procesorov (GPU) pre prípady použitia podporovaného softvéru. Prečítajte si Sprievodca podnikovými licenciami NVIDIA pred finalizáciou rozpočtu výroby.
Odporúčania pre servery AI podľa scenára nasadenia
Inferencia umelej inteligencie pre malé podniky
Pre oddelenia umelej inteligencie, interných asistentov, aplikácie RAG alebo menšie inferenčné nasadenia môže byť tréningový uzol s vysokou hustotou a ôsmimi GPU zbytočný.
Huawang DTT-6502-X5 podporuje až štyri grafické karty a je možné ho vyhodnotiť, keď projekt vyžaduje menšiu zástavbu grafickej karty. Konečnú cenu je potrebné vyžiadať si na základe presného modelu grafickej karty, pamäte, úložiska, napájania a konfigurácie šasi.
- Malé súkromné nasadenia umelej inteligencie
- Interné RAG a aplikácie znalostnej bázy
- Počítačové videnie a analýza videa
- Projekty vývoja modelov a overovania konceptov
Podniková inferencia s viacerými GPU
Pre väčšie súkromné platformy umelej inteligencie alebo inferencie, Olovené bohatstvo R863A podporuje až osem grafických procesorov NVIDIA L20 na platforme 2U.
Tento typ konfigurácie môže byť vhodný pre súkromné služby umelej inteligencie, počítačové videnie, inferenciu modelov vo veľkých jazykoch, hosťovanie modelov oddelení a aplikácie umelej inteligencie pre viacerých používateľov.
Dôležité porovnanie nie je len počet grafických procesorov (GPU). Skontrolujte pamäť GPU, systémovú pamäť, úložisko, sieťové adaptéry, spotrebu energie a požadovaný framework pre poskytovanie modelov.
Inferencia s vysokou hustotou alebo nasadenia založené na H20
Olovené bohatstvo R860L podporuje až 16 grafických kariet NVIDIA H20 na platforme 2U.
Môže sa zvážiť pre inferenciu s vysokou hustotou, zdieľané platformy GPU, prostredia s viacerými nájomníkmi, poskytovanie rozsiahlych modelov a združovanie zdrojov GPU. Cenu je potrebné vyžiadať na základe presného počtu GPU a konfigurácie systému.
Tréningový uzol H100 s 8 GPU
Supermicro H100 SYS-821GE-TNHR konfigurácie sú navrhnuté pre vysokovýkonné výpočty s využitím umelej inteligencie a grafických procesorov.
Na základe aktuálnych verejných ponúk sa ceny konfigurácií H100 s 8 grafickými procesormi pohybujú približne v rozmedzí od 299 000 do 310 000 USD. Cenové rozpätie odráža rozdiely v modeli CPU, pamäti, úložisku NVMe, konfigurácii GPU, obsahu balíka, podpore a požiadavkách na dodanie.
Tréning H200 s 8 GPU a nasadenie veľkých modelov
Supermicro H200 SYS-821GE-TNHR konfigurácie sú určené pre pracovné zaťaženia, ktoré profitujú z vyššej kapacity pamäte GPU a vysokovýkonného spracovania na viacerých GPU.
Aktuálne verejné ponuky ukazujú konfigurácie H200 s 8 GPU za približne 309 000 až 314 300 USD. Tieto systémy by sa mali hodnotiť z hľadiska veľkosti modelu, rozsahu trénovacej množiny údajov, komunikácie s viacerými uzlami, priepustnosti úložiska, napájania, chladenia a požiadaviek na doručenie.
Systémy umelej inteligencie založené na HGX
Systém založený na HGX môže byť vhodný, keď projekt vyžaduje úzko integrovanú platformu s viacerými GPU na trénovanie, HPC alebo rozsiahlu inferenciu.
Konfigurácia HGX SYS-821GE-TNHR je aktuálne zobrazená v Kategória servera s umelou inteligenciou je uvedená na trhu za približne 298 000 USD za konfiguráciu s 8 GPU. Presná platforma by sa mala overiť z hľadiska typu GPU, dizajnu prepojení, systémovej pamäte, úložiska, siete a softvérovej podpory.
Približné rozpočty podnikových serverov s umelou inteligenciou
Nasledujúce čísla sú plánované odhady na základe aktuálnych verejne obchodovaných konfigurácií serverov. Nejde o fixné cenové ponuky a nezahŕňajú kompletné nasadenie infraštruktúry umelej inteligencie.
| rozvinutie | Približný rozpočet len na výpočty |
|---|---|
| 1 × 8-GPU server H100 | Približne 25 000 – 100 000 USD |
| 1 × 8-GPU server H200 | Približne 25 000 – 100 000 USD |
| 4 × 8-GPU H100 servery | Približne 1.20 milióna USD – 1.24 milióna USD |
| 4 × 8-GPU H200 servery | Približne 1.24 milióna USD – 1.26 milióna USD |
Čísla pre viacero uzlov sú jednoduché výpočty založené na uvedených cenách serverov. Nezahŕňajú prepínače AI Fabric, sieťové karty, DPU, optiku, káble, zdieľané úložisko, racky, PDU, systémy UPS, vylepšenia chladenia, softvérové licencie, podporu a integráciu.
Ako pripraviť rozpočet na server s umelou inteligenciou
Pred vyžiadaním cenovej ponuky definujte pracovné zaťaženie a obmedzenia infraštruktúry, namiesto toho, aby ste žiadali iba o najnižšiu cenu servera s umelou inteligenciou.
| Požiadavka | Informácie na prípravu |
|---|---|
| Pracovná záťaž | Tréning, inferencia, RAG, simulácia alebo zmiešané použitie |
| Požiadavka na grafický procesor | Model, množstvo, pamäť a prepojenie |
| Množstvo serverov | Jeden uzol, pilotný klaster alebo produkčný klaster |
| Platforma CPU | Počet CPU, počet jadier a požiadavky na NUMA |
| Systémová pamäť | Celková RAM a rýchlosť pamäte |
| Uskladnenie | Kapacita, výdrž, lokálne alebo zdieľané úložisko |
| sieť | 100G, 200G, 400G alebo 800G |
| Tkanina | Ethernet, RoCE, InfiniBand alebo hybrid |
| Stojan | Požiadavky na regálové jednotky, hĺbku, hmotnosť a koľajnice |
| Výkon | Napätie, redundancia PSU a dostupná kapacita PDU |
| Chladenie | Smer prúdenia vzduchu a obmedzenia zariadenia |
| Naplánovať | Požadované množstvo a dátum dodania |
Pošlite požiadavky na grafickú kartu, pracovnú záťaž, sieť, rack a napájanie na kontrolu kusovníka.
Bežné chyby v rozpočte AI servera
Porovnanie počtu GPU bez porovnania pamäte GPU
Dva servery môžu mať rovnaký počet GPU, ale veľmi odlišnú využiteľnú kapacitu, ak sa pamäť GPU líši. Pred porovnaním množstva GPU by sa mala vyhodnotiť veľkosť modelu, veľkosť dávky, súbežnosť a požiadavky na trénovanie.
Ignorovanie sieťovej štruktúry
Viacuzlový tréningový systém môže vyžadovať vysokorýchlostné sieťové karty, prepínače, optiku, káble a konfiguráciu na riadenie preťaženia. Tieto položky nie sú zahrnuté v cene základného servera.
Zaobchádzanie s maximálnou konfiguráciou ako so štandardnou konfiguráciou
„Podporuje až osem grafických kariet“ neznamená, že uvedená cena zahŕňa osem grafických kariet. Vždy si overte presnú kusovník, počet grafických kariet, pamäť, úložisko, napájacie zdroje a rozsah podpory.
Zabúdanie na softvér a podporu
Licencie na platformu umelej inteligencie, podniková podpora, pomoc s nasadením a náklady na obnovu by mali byť zahrnuté v celkovom rozpočte.
Výber najväčšieho servera pred definovaním pracovnej záťaže
Trénovacia sústava s vysokou hustotou nemusí byť potrebná pre aplikáciu s nízkou súbežnosťou. Začnite s pracovnou záťažou a potom vyberte GPU, serverovú platformu a návrh siete.
Podpora infraštruktúry routerov a prepínačov s umelou inteligenciou
Spoločnosť Router-Switch poskytuje riešenia infraštruktúry umelej inteligencie pre podniky, spoločnosti zaoberajúce sa umelou inteligenciou, systémových integrátorov a technologických partnerov – od pracovných staníc s umelou inteligenciou a súkromných nasadení umelej inteligencie až po vysokohustotné grafické procesory (GPU).
Router-Switch pomáha integrovať požadované servery, grafické procesory, siete, bezdrôtové pripojenie a podpornú infraštruktúru okolo každej pracovnej záťaže.
Od agentov umelej inteligencie až po infraštruktúru umelej inteligencie, spoločnosť Router-Switch pomáha zákazníkom navrhovať, konfigurovať a zabezpečovať správny hardvér a konektivitu umelej inteligencie pre ich požiadavky na nasadenie.
Povedzte nám o vašej pracovnej záťaži s umelou inteligenciou, požiadavkách na grafický procesor, rýchlosti siete, počte rackov a obmedzeniach napájania. Router-Switch vám môže pomôcť vytvoriť server s umelou inteligenciou a kusovník infraštruktúry založený na konfigurácii na kontrolu.