Kama marejeleo ya bajeti ya sasa, mifumo ya 8-GPU iliyoorodheshwa hadharani ina bei ya takriban dola za Marekani 299,000–310,000 kwa usanidi wa H100 na dola za Marekani 309,000–314,300 kwa usanidi wa H200. Seva ndogo za makadirio zinaweza kugharimu kidogo zaidi, lakini bei ya mwisho inategemea sana GPU iliyochaguliwa, chasi, kumbukumbu, hifadhi, nguvu, na usanidi wa usaidizi.
Bei ya Seva ya AI dhidi ya Jumla ya Gharama ya Usambazaji wa Biashara
Ukurasa wa bidhaa ya seva kwa kawaida hufunika nodi ya hesabu yenyewe. Utekelezaji wa AI ya biashara unaweza pia kuhitaji seva za GPU, GPU au mifumo ya HGX, kumbukumbu ya mfumo, hifadhi ya NVMe, NIC, DPU, swichi za kasi ya juu, optiki, nyaya, nafasi ya rafu, usambazaji wa umeme, upoezaji, programu, usaidizi, na ujumuishaji.
Hii ndiyo sababu bei ya seva ya AI haipaswi kuchanganyikiwa na gharama ya jumla ya kundi la AI. Unaweza kulinganisha usanidi wa sasa kupitia Aina ya bidhaa za seva ya akili bandia, lakini bei iliyoorodheshwa inapaswa kuangaliwa kila wakati dhidi ya GPU halisi, kumbukumbu, hifadhi, na usanidi wa usaidizi.
| Safu ya Bajeti | Vitu vya Kawaida |
|---|---|
| Nodi ya hesabu | Chasi ya seva, CPU, RAM, GPU, na SSD za ndani |
| Safu ya mtandao | NIC, DPU, swichi, optiki, DAC, AOC, na kebo zinazojitokeza |
| Miundombinu | Raki, PDU, UPS, usambazaji wa umeme, na upoezaji |
| programu | Mfumo wa uendeshaji, programu ya GPU, upangaji, uboreshaji, na leseni |
| Kuhamishwa | Ujumuishaji, majaribio, usanidi, uhamishaji, na usaidizi wa kiufundi |
Ni Nini Husababisha Gharama ya Seva ya AI ya Biashara?
Mfano na Kiasi cha GPU
GPU kwa kawaida huwa sehemu kubwa zaidi ya gharama. Bei hubadilika kulingana na usanifu wa GPU, uwezo wa kumbukumbu, idadi ya GPU, kipengele cha umbo la PCIe au SXM, muunganisho wa GPU-hadi-GPU, mahitaji ya kupoeza, na ratiba ya uwasilishaji.
Seva yenye GPU moja au mbili inaweza kufaa kwa ajili ya makadirio au uundaji, ilhali mfumo wa GPU nane unafaa zaidi kwa mafunzo ya kiwango kikubwa, makadirio ya kiwango cha juu, au majukwaa ya AI ya watumiaji wengi.
Topolojia ya CPU, Kumbukumbu, na PCIe
Jukwaa la CPU bado ni muhimu hata wakati mzigo mwingi wa kazi unaendeshwa kwenye GPU. Usanidi unaofaa lazima utoe viini vya CPU vya kutosha, njia za PCIe, kumbukumbu ya mfumo, eneo la NUMA, kipimo data cha hifadhi, na nafasi za upanuzi kwa NIC na DPU.
Seva ya gharama nafuu isiyo na kipimo data cha kutosha cha PCIe inaweza kupunguza utendaji wa GPU, hifadhi, au mtandao. Kwa mzigo wa kazi wa biashara, CPU na muundo wa kumbukumbu unapaswa kutathminiwa pamoja na topolojia ya GPU.
Mahitaji ya Hifadhi
Seva za AI zinaweza kuhitaji hifadhi ya mfumo endeshi, faili za modeli, seti za data za mafunzo, vituo vya ukaguzi, hifadhidata za vekta, data ya usindikaji wa muda, kumbukumbu, na data ya ufuatiliaji.
Nodi ya msingi ya makadirio inaweza kuhitaji tu ujazo mdogo wa kuwasha na hifadhi ya NVMe ya ndani. Mfumo wa mafunzo unaweza kuhitaji diski kadhaa za NVMe zenye uwezo mkubwa au mfumo wa hifadhi ya nje yenye uwezo mkubwa wa kupita.
Mitandao na Viunganishi
Mitandao inaweza kuwa sehemu kubwa ya bajeti ya uanzishaji mara tu seva nyingi zinapounganishwa. Mahitaji ya kawaida ni pamoja na NIC za seva za 100G au 200G, viungo vya juu vya 400G au 800G, mifumo ya NVIDIA ConnectX au BlueField, RoCE au InfiniBand, swichi za kasi ya juu, vipitishi vya macho, na kebo za kuzima.
Kwa mfano, NVIDIA SN5610 Imeundwa kwa ajili ya mazingira yenye msongamano mkubwa wa 800GbE. Ukurasa wake wa sasa wa bidhaa unaorodhesha bei ya umma ya takriban dola za Marekani 59,742, lakini hii haijumuishi NIC za seva, optiki, kebo, usakinishaji wa raki, au usanidi wa mtandao.
Nguvu, Upoezaji, na Uwezo wa Raki
Mifumo ya GPU yenye msongamano mkubwa inaweza kuhitaji nguvu na upoezaji zaidi kuliko seva za kawaida za biashara. Kabla ya kununua, thibitisha volteji ya kuingiza, upungufu wa PSU, nguvu ya juu ya mfumo, mahitaji ya kitengo cha raki, mwelekeo wa mtiririko wa hewa, uwezo wa PDU, uwezo wa UPS, uwezo wa upoezaji, uzito, na mahitaji ya reli.
Programu na Usaidizi
Safu ya programu inaweza kujumuisha Linux, viendeshi vya GPU, CUDA, Kubernetes, uboreshaji, mifumo ya akili bandia, programu inayohudumia modeli, ufuatiliaji, upangaji, na usajili wa usaidizi wa biashara.
NVIDIA AI Enterprise ina leseni kwa kila GPU kwa matumizi ya programu yanayoungwa mkono. Mwongozo wa Leseni ya Biashara ya NVIDIA kabla ya kukamilisha bajeti ya uzalishaji.
Mapendekezo ya Seva ya AI kwa Kutumia Hali ya Utekelezaji
Uamuzi wa AI wa Biashara Ndogo
Kwa AI ya idara, wasaidizi wa ndani, programu za RAG, au usanidi mdogo wa hitimisho, nodi ya mafunzo ya GPU yenye msongamano mkubwa inaweza kuwa isiyohitajika.
The Huawang DTT-6502-X5 inasaidia hadi GPU nne na inaweza kutathminiwa wakati mradi unahitaji alama ndogo ya GPU. Bei ya mwisho inapaswa kuombwa dhidi ya modeli halisi ya GPU, kumbukumbu, hifadhi, nguvu, na usanidi wa chasi.
- Usambazaji mdogo wa AI wa kibinafsi
- Matumizi ya ndani ya RAG na msingi wa maarifa
- Uchambuzi wa maono na video ya kompyuta
- Uundaji wa mifano na miradi ya uthibitisho wa dhana
Uamuzi wa Biashara na GPU Nyingi
Kwa majukwaa makubwa zaidi ya kibinafsi ya AI au hitimisho, Utajiri wa Risasi R863A inasaidia hadi GPU nane za NVIDIA L20 katika mfumo wa 2U.
Aina hii ya usanidi inaweza kufaa kwa huduma za kibinafsi za AI, maono ya kompyuta, hitimisho la modeli kubwa ya lugha, upangishaji wa modeli za idara, na programu za AI za watumiaji wengi.
Ulinganisho muhimu si idadi ya GPU pekee. Kagua kumbukumbu ya GPU, kumbukumbu ya mfumo, hifadhi, adapta za mtandao, vutaji umeme, na mfumo unaohitajika wa kutoa modeli.
Uamuzi wa Msongamano wa Juu au Utekelezaji Unaotegemea H20
The Utajiri wa Risasi R860L inasaidia hadi GPU 16 za NVIDIA H20 katika mfumo wa 2U.
Inaweza kuzingatiwa kwa makadirio ya msongamano mkubwa, mifumo ya GPU inayoshirikiwa, mazingira ya wapangaji wengi, huduma ya modeli kubwa, na mkusanyiko wa rasilimali za GPU. Bei inapaswa kuombwa dhidi ya idadi kamili ya GPU na usanidi wa mfumo.
Nodi ya Mafunzo ya 8-GPU H100
The Supermicro H100 SYS-821GE-TNHR Mipangilio imeundwa kwa ajili ya kompyuta ya AI na GPU yenye utendaji wa hali ya juu.
Kulingana na orodha za sasa za umma, usanidi wa 8-GPU H100 una bei ya takriban dola za Marekani 299,000–310,000. Masafa yanaonyesha tofauti katika modeli ya CPU, kumbukumbu, hifadhi ya NVMe, usanidi wa GPU, yaliyomo kwenye kifurushi, usaidizi, na mahitaji ya uwasilishaji.
Mafunzo ya 8-GPU H200 na Usambazaji wa Mifano Mikubwa
The Supermicro H200 SYS-821GE-TNHR Mipangilio imekusudiwa kwa ajili ya mzigo wa kazi unaonufaika na uwezo wa juu wa kumbukumbu ya GPU na usindikaji wa GPU nyingi wenye matokeo ya juu.
Orodha za sasa za umma zinaonyesha usanidi wa 8-GPU H200 kwa takriban dola za Marekani 309,000–314,300. Mifumo hii inapaswa kutathminiwa kulingana na ukubwa wa modeli, kipimo cha seti ya data ya mafunzo, mawasiliano ya nodi nyingi, upitishaji wa hifadhi, nguvu, upoezaji, na mahitaji ya uwasilishaji.
Mifumo ya AI Inayotegemea HGX
Mfumo unaotegemea HGX unaweza kuwa sahihi wakati mradi unahitaji jukwaa la GPU nyingi lililounganishwa kwa karibu kwa ajili ya mafunzo, HPC, au makadirio makubwa.
Usanidi wa HGX SYS-821GE-TNHR unaoonyeshwa kwa sasa katika Aina ya seva ya akili bandia imeorodheshwa kwa takriban dola za Marekani 298,000 kwa usanidi wa 8-GPU. Jukwaa halisi linapaswa kuchunguzwa kwa aina ya GPU, muundo wa muunganisho, kumbukumbu ya mfumo, hifadhi, mtandao, na usaidizi wa programu.
Makadirio ya Bajeti za Seva ya AI ya Biashara
Takwimu zifuatazo ni makadirio ya mipango kulingana na usanidi wa sasa wa seva zilizoorodheshwa hadharani. Sio nukuu zisizobadilika na hazijumuishi uwasilishaji kamili wa miundombinu ya AI.
| Kuhamishwa | Bajeti ya Makadirio ya Hesabu Pekee |
|---|---|
| Seva 1 × 8-GPU H100 | Takriban dola za Marekani 299,000–310,000 |
| Seva 1 × 8-GPU H200 | Takriban dola za Marekani 309,000–314,300 |
| Seva 4 × 8 za GPU H100 | Takriban Dola za Marekani milioni 1.20–dola za Marekani milioni 1.24 |
| Seva 4 × 8 za GPU H200 | Takriban Dola za Marekani milioni 1.24–dola za Marekani milioni 1.26 |
Takwimu za nodi nyingi ni hesabu rahisi kulingana na bei za seva zilizoorodheshwa. Hazijumuishi swichi za kitambaa cha AI, NIC, DPU, optiki, kebo, hifadhi ya pamoja, raki, PDU, mifumo ya UPS, uboreshaji wa upoezaji, leseni za programu, usaidizi, na ujumuishaji.
Jinsi ya Kuandaa Bajeti ya Seva ya AI
Kabla ya kuomba nukuu, fafanua mzigo wa kazi na vikwazo vya miundombinu badala ya kuuliza bei ya chini kabisa ya seva ya AI.
| Mahitaji ya | Taarifa za Kutayarisha |
|---|---|
| Mzigo wa kazi | Mafunzo, hitimisho, RAG, simulizi, au matumizi mchanganyiko |
| Sharti la GPU | Mfano, wingi, kumbukumbu, na muunganisho |
| Kiasi cha seva | Nodi moja, kundi la majaribio, au kundi la uzalishaji |
| Jukwaa la CPU | Idadi ya CPU, idadi ya msingi, na mahitaji ya NUMA |
| Kumbukumbu ya mfumo | Jumla ya RAM na kasi ya kumbukumbu |
| kuhifadhi | Uwezo, uvumilivu, hifadhi ya ndani au ya pamoja |
| Mtandao | 100G, 200G, 400G, au 800G |
| Kitambaa | Ethaneti, RoCE, InfiniBand, au mseto |
| Rack | Vitengo vya raki, kina, uzito, na mahitaji ya reli |
| Nguvu | Voltage, upungufu wa PSU, na uwezo wa PDU unaopatikana |
| Baridi | Mwelekeo wa mtiririko wa hewa na vikwazo vya kituo |
| Ratiba | Kiasi kinachohitajika na tarehe ya utoaji |
Tuma GPU yako, mzigo wa kazi, mtandao, raki, na mahitaji ya nguvu kwa ajili ya ukaguzi wa BOM.
Makosa ya Kawaida ya Bajeti ya Seva ya AI
Kulinganisha Hesabu ya GPU Bila Kulinganisha Kumbukumbu ya GPU
Seva mbili zinaweza kuwa na idadi sawa ya GPU lakini uwezo unaoweza kutumika ni tofauti sana ikiwa kumbukumbu ya GPU inatofautiana. Ukubwa wa modeli, ukubwa wa kundi, sarafu inayolingana, na mahitaji ya mafunzo yanapaswa kutathminiwa kabla ya kulinganisha kiasi cha GPU.
Kupuuza Kitambaa cha Mtandao
Mfumo wa mafunzo wa nodi nyingi unaweza kuhitaji NIC za kasi ya juu, swichi, optiki, kebo, na usanidi wa udhibiti wa msongamano. Bidhaa hizi hazijajumuishwa katika bei ya seva ya msingi.
Kushughulikia Usanidi wa Kiwango cha Juu kama Usanidi wa Kawaida
"Inasaidia hadi GPU nane" haimaanishi kuwa bei iliyoorodheshwa inajumuisha GPU nane. Daima thibitisha BOM halisi, kiasi cha GPU, kumbukumbu, hifadhi, vifaa vya umeme, na wigo wa usaidizi.
Kusahau Programu na Usaidizi
Leseni za jukwaa la AI, usaidizi wa biashara, usaidizi wa kupeleka, na gharama za usasishaji zinapaswa kujumuishwa katika bajeti yote.
Kuchagua Seva Kubwa Zaidi Kabla ya Kufafanua Mzigo wa Kazi
Mfumo wa mafunzo ya msongamano mkubwa unaweza usiwe wa lazima kwa matumizi ya makadirio ya sarafu ya chini. Anza na mzigo wa kazi, kisha uchague GPU, jukwaa la seva, na muundo wa mtandao.
Usaidizi wa Miundombinu ya AI ya Kubadilisha Kipanga Njia
Router-Switch hutoa suluhisho za miundombinu ya AI kwa makampuni, makampuni ya AI, waunganishaji wa mifumo, na washirika wa teknolojia—kuanzia vituo vya kazi vya AI na uwekaji wa AI binafsi hadi kompyuta ya GPU yenye msongamano mkubwa.
Router-Switch husaidia kuunganisha seva, GPU, mitandao, wireless, na miundombinu inayounga mkono kila mzigo wa kazi.
Kuanzia Mawakala wa AI hadi Miundombinu ya AI, Router-Switch huwasaidia wateja kubuni, kusanidi, na kupata vifaa na muunganisho sahihi wa AI kwa mahitaji yao ya uwasilishaji.
Tuambie mzigo wako wa kazi wa AI, mahitaji ya GPU, kasi ya mtandao, idadi ya raki, na vikwazo vya nguvu. Router-Switch inaweza kusaidia kujenga seva ya AI inayotegemea usanidi na BOM ya miundombinu kwa ajili ya ukaguzi.