Theo mức giá tham khảo hiện tại, các hệ thống 8 GPU được niêm yết công khai có giá khoảng 299,000–310,000 USD cho cấu hình H100 và 309,000–314,300 USD cho cấu hình H200. Các máy chủ suy luận nhỏ hơn có thể có giá thấp hơn nhiều, nhưng giá cuối cùng phụ thuộc rất nhiều vào GPU, khung máy, bộ nhớ, lưu trữ, nguồn điện và cấu hình hỗ trợ được lựa chọn.
Giá máy chủ AI so với tổng chi phí triển khai doanh nghiệp
Trang thông tin sản phẩm máy chủ thường chỉ đề cập đến chính nút tính toán. Một hệ thống AI doanh nghiệp có thể yêu cầu thêm máy chủ GPU, GPU hoặc nền tảng HGX, bộ nhớ hệ thống, bộ lưu trữ NVMe, card mạng (NIC), bộ xử lý dữ liệu (DPU), bộ chuyển mạch tốc độ cao, thiết bị quang học, cáp, không gian tủ rack, hệ thống phân phối điện, hệ thống làm mát, phần mềm, hỗ trợ và tích hợp.
Vì vậy, không nên nhầm lẫn giá máy chủ AI với tổng chi phí của một cụm AI. Bạn có thể so sánh các cấu hình hiện tại thông qua... Danh mục sản phẩm máy chủ AITuy nhiên, giá niêm yết luôn cần được kiểm tra so với cấu hình GPU, bộ nhớ, ổ cứng và hỗ trợ chính xác.
| Lớp ngân sách | Các mặt hàng tiêu biểu |
|---|---|
| Tính toán nút | Khung máy chủ, CPU, RAM, GPU và ổ SSD cục bộ |
| Lớp mạng | Các loại card mạng (NIC), bộ xử lý dữ liệu (DPU), bộ chuyển mạch, thiết bị quang học, bộ chuyển đổi tín hiệu số sang tương tự (DAC), cáp quang âm thanh (AOC) và cáp chia nhánh. |
| Cơ sở hạ tầng | Giá đỡ, PDU, UPS, hệ thống phân phối điện và làm mát |
| Phần mềm | Hệ điều hành, phần mềm GPU, điều phối, ảo hóa và giấy phép |
| Triển khai | Tích hợp, kiểm thử, cấu hình, di chuyển và hỗ trợ kỹ thuật. |
Điều gì thúc đẩy chi phí máy chủ AI doanh nghiệp?
Mẫu GPU và số lượng
GPU thường là thành phần có chi phí cao nhất. Giá cả thay đổi tùy thuộc vào kiến trúc GPU, dung lượng bộ nhớ, số lượng GPU, chuẩn PCIe hay SXM, kết nối giữa các GPU, yêu cầu làm mát và tiến độ giao hàng.
Máy chủ với một hoặc hai GPU có thể phù hợp cho việc suy luận hoặc phát triển, trong khi hệ thống tám GPU thích hợp hơn cho việc huấn luyện quy mô lớn, suy luận thông lượng cao hoặc các nền tảng AI đa người dùng.
CPU, Bộ nhớ và Cấu trúc liên kết PCIe
Nền tảng CPU vẫn rất quan trọng ngay cả khi phần lớn khối lượng công việc chạy trên GPU. Một cấu hình phù hợp phải cung cấp đủ lõi CPU, làn PCIe, bộ nhớ hệ thống, khả năng truy cập NUMA, băng thông lưu trữ và khe cắm mở rộng cho card mạng (NIC) và bộ xử lý đồ họa rời (DPU).
Máy chủ giá rẻ với băng thông PCIe không đủ có thể hạn chế hiệu năng GPU, lưu trữ hoặc mạng. Đối với các tác vụ doanh nghiệp, thiết kế CPU và bộ nhớ cần được đánh giá cùng với cấu trúc GPU.
Yêu cầu lưu trữ
Máy chủ AI có thể cần dung lượng lưu trữ cho hệ điều hành, các tệp mô hình, tập dữ liệu huấn luyện, điểm kiểm tra, cơ sở dữ liệu vectơ, dữ liệu tiền xử lý tạm thời, nhật ký và dữ liệu giám sát.
Một nút suy luận cơ bản có thể chỉ cần một phân vùng khởi động nhỏ và bộ nhớ NVMe cục bộ. Một hệ thống huấn luyện có thể yêu cầu một số ổ NVMe dung lượng cao hoặc một hệ thống lưu trữ ngoài có thông lượng cao.
Mạng lưới và các kết nối
Khi kết nối nhiều máy chủ, chi phí mạng có thể chiếm một phần lớn trong ngân sách triển khai. Các yêu cầu điển hình bao gồm card mạng máy chủ 100G hoặc 200G, đường truyền uplink 400G hoặc 800G, nền tảng NVIDIA ConnectX hoặc BlueField, RoCE hoặc InfiniBand, bộ chuyển mạch tốc độ cao, bộ thu phát quang và cáp chia tín hiệu.
Ví dụ, các NVIDIA SN5610 Sản phẩm này được thiết kế cho môi trường 800GbE mật độ cao. Trang sản phẩm hiện tại niêm yết giá bán lẻ khoảng 59,742 đô la Mỹ, nhưng giá này không bao gồm card mạng máy chủ, thiết bị quang học, cáp, lắp đặt tủ rack hoặc cấu hình mạng.
Nguồn điện, hệ thống làm mát và dung lượng giá đỡ
Các hệ thống GPU mật độ cao có thể yêu cầu công suất và hệ thống làm mát lớn hơn đáng kể so với các máy chủ doanh nghiệp thông thường. Trước khi mua, hãy xác nhận điện áp đầu vào, khả năng dự phòng của bộ nguồn, công suất hệ thống tối đa, yêu cầu về giá đỡ, hướng luồng không khí, công suất PDU, công suất UPS, khả năng làm mát, trọng lượng và yêu cầu về thanh ray.
Phần mềm và hỗ trợ
Lớp phần mềm có thể bao gồm Linux, trình điều khiển GPU, CUDA, Kubernetes, ảo hóa, khung AI, phần mềm phục vụ mô hình, giám sát, điều phối và các gói hỗ trợ doanh nghiệp.
Giấy phép NVIDIA AI Enterprise được tính trên cơ sở mỗi GPU cho các trường hợp sử dụng phần mềm được hỗ trợ. Xem lại... Hướng dẫn cấp phép doanh nghiệp NVIDIA trước khi hoàn thiện ngân sách sản xuất.
Đề xuất máy chủ AI theo kịch bản triển khai
Suy luận AI cho doanh nghiệp nhỏ
Đối với AI cấp phòng ban, trợ lý nội bộ, ứng dụng RAG hoặc các triển khai suy luận quy mô nhỏ hơn, một nút huấn luyện tám GPU mật độ cao có thể không cần thiết.
Huawang DTT-6502-X5 Hỗ trợ tối đa bốn GPU và có thể được xem xét khi dự án yêu cầu kích thước GPU nhỏ hơn. Giá cuối cùng nên được yêu cầu dựa trên kiểu GPU, bộ nhớ, dung lượng lưu trữ, nguồn điện và cấu hình khung máy cụ thể.
- Các triển khai AI tư nhân quy mô nhỏ
- Ứng dụng RAG nội bộ và cơ sở kiến thức
- Tầm nhìn máy tính và phân tích video
- Phát triển mô hình và các dự án chứng minh tính khả thi
Suy luận cấp doanh nghiệp với nhiều GPU
Đối với các nền tảng trí tuệ nhân tạo hoặc suy luận riêng tư quy mô lớn hơn, Lead Wealth R863A Hỗ trợ tối đa tám GPU NVIDIA L20 trên nền tảng 2U.
Loại cấu hình này có thể phù hợp với các dịch vụ AI riêng tư, thị giác máy tính, suy luận mô hình ngôn ngữ quy mô lớn, lưu trữ mô hình cấp phòng ban và các ứng dụng AI đa người dùng.
Điều quan trọng cần so sánh không chỉ là số lượng GPU. Hãy xem xét bộ nhớ GPU, bộ nhớ hệ thống, dung lượng lưu trữ, card mạng, mức tiêu thụ điện năng và khung phần mềm phục vụ mô hình cần thiết.
Suy luận mật độ cao hoặc triển khai dựa trên H20O
Lead Wealth R860L Hỗ trợ tối đa 16 GPU NVIDIA H20 trên nền tảng 2U.
Giải pháp này có thể được xem xét cho các ứng dụng suy luận mật độ cao, nền tảng GPU dùng chung, môi trường đa người dùng, phục vụ mô hình quy mô lớn và gộp tài nguyên GPU. Giá cả nên được yêu cầu dựa trên số lượng GPU chính xác và cấu hình hệ thống.
Nút huấn luyện H100 8 GPU
Supermicro H100 SYS-821GE-TNHR Các cấu hình này được thiết kế cho trí tuệ nhân tạo (AI) và điện toán GPU hiệu năng cao.
Dựa trên các thông tin niêm yết hiện tại, cấu hình H100 8 GPU có giá khoảng 299,000 USD đến 310,000 USD. Mức giá này phản ánh sự khác biệt về kiểu CPU, bộ nhớ, ổ lưu trữ NVMe, cấu hình GPU, nội dung gói sản phẩm, hỗ trợ và yêu cầu giao hàng.
Huấn luyện và triển khai mô hình quy mô lớn với 8 GPU H200
Supermicro H200 SYS-821GE-TNHR Các cấu hình này được thiết kế cho các khối lượng công việc được hưởng lợi từ dung lượng bộ nhớ GPU cao hơn và khả năng xử lý đa GPU tốc độ cao.
Các thông tin rao bán hiện tại cho thấy cấu hình H200 8 GPU có giá khoảng 309,000–314,300 USD. Việc đánh giá các hệ thống này cần dựa trên kích thước mô hình, quy mô tập dữ liệu huấn luyện, khả năng giao tiếp đa nút, thông lượng lưu trữ, điện năng tiêu thụ, hệ thống làm mát và yêu cầu giao hàng.
Hệ thống AI dựa trên HGX
Hệ thống dựa trên HGX có thể phù hợp khi dự án yêu cầu một nền tảng đa GPU tích hợp chặt chẽ để huấn luyện, tính toán hiệu năng cao (HPC) hoặc suy luận quy mô lớn.
Cấu hình HGX SYS-821GE-TNHR hiện đang được hiển thị trong Danh mục máy chủ AI Mức giá niêm yết cho cấu hình 8 GPU là khoảng 298,000 USD. Cần kiểm tra kỹ nền tảng cụ thể về loại GPU, thiết kế kết nối, bộ nhớ hệ thống, lưu trữ, mạng và hỗ trợ phần mềm.
Ngân sách ước tính cho máy chủ AI doanh nghiệp
Các số liệu sau đây là ước tính kế hoạch dựa trên cấu hình máy chủ hiện đang được công bố. Chúng không phải là báo giá cố định và không bao gồm việc triển khai toàn bộ cơ sở hạ tầng AI.
| Triển khai | Ngân sách ước tính chỉ dành cho tính toán |
|---|---|
| 1 máy chủ H100 8 GPU | Khoảng 299,000 USD – 310,000 USD |
| 1 máy chủ H200 8 GPU | Khoảng 309,000 USD – 314,300 USD |
| 4 máy chủ H100 8 GPU | Khoảng 1.20 triệu USD – 1.24 triệu USD |
| 4 máy chủ H200 8 GPU | Khoảng 1.24 triệu USD – 1.26 triệu USD |
Các con số về cấu hình đa nút là những tính toán đơn giản dựa trên giá máy chủ được liệt kê. Chúng không bao gồm các thiết bị chuyển mạch AI fabric, card mạng (NIC), bộ xử lý dữ liệu (DPU), thiết bị quang học, cáp, bộ nhớ dùng chung, giá đỡ, bộ phân phối điện (PDU), hệ thống UPS, nâng cấp hệ thống làm mát, giấy phép phần mềm, hỗ trợ và tích hợp.
Cách lập ngân sách cho máy chủ AI
Trước khi yêu cầu báo giá, hãy xác định rõ khối lượng công việc và các ràng buộc về cơ sở hạ tầng thay vì chỉ hỏi về giá máy chủ AI thấp nhất.
| Hạng mục | Thông tin cần chuẩn bị |
|---|---|
| Khối lượng công việc | Đào tạo, suy luận, RAG, mô phỏng hoặc sử dụng hỗn hợp. |
| Yêu cầu GPU | Kiểu máy, số lượng, bộ nhớ và kết nối |
| Số lượng máy chủ | Cụm máy chủ đơn lẻ, cụm thử nghiệm hoặc cụm sản xuất. |
| Nền tảng CPU | Số lượng CPU, số lõi và yêu cầu NUMA |
| Bộ nhớ hệ thống | Tổng tốc độ RAM và bộ nhớ |
| Bảo quản | Dung lượng, độ bền, lưu trữ cục bộ hoặc dùng chung |
| mạng | 100G, 200G, 400G hoặc 800G |
| vải | Ethernet, RoCE, InfiniBand hoặc kết hợp. |
| Thiết bị giáo dục | Số lượng tủ rack, chiều sâu, trọng lượng và yêu cầu về thanh ray |
| Power | Điện áp, khả năng dự phòng của bộ nguồn và dung lượng PDU khả dụng |
| Làm mát | Hướng luồng không khí và các hạn chế của cơ sở |
| Schedule | Số lượng yêu cầu và ngày giao hàng |
Hãy gửi thông tin về GPU, khối lượng công việc, mạng, giá đỡ và yêu cầu nguồn điện để chúng tôi xem xét danh sách linh kiện (BOM).
Những sai lầm thường gặp khi lập ngân sách máy chủ AI
So sánh số lượng GPU mà không so sánh dung lượng bộ nhớ GPU
Hai máy chủ có thể có cùng số lượng GPU nhưng dung lượng sử dụng được rất khác nhau nếu bộ nhớ GPU khác nhau. Kích thước mô hình, kích thước lô, khả năng xử lý đồng thời và yêu cầu huấn luyện cần được đánh giá trước khi so sánh số lượng GPU.
Bỏ qua cấu trúc mạng
Hệ thống huấn luyện đa nút có thể yêu cầu các card mạng tốc độ cao, bộ chuyển mạch, thiết bị quang học, cáp và cấu hình kiểm soát tắc nghẽn. Những thành phần này không được bao gồm trong giá máy chủ cơ bản.
Coi cấu hình tối đa như một cấu hình tiêu chuẩn
"Hỗ trợ tối đa tám GPU" không có nghĩa là giá niêm yết đã bao gồm tám GPU. Luôn luôn xác nhận chính xác danh sách linh kiện (BOM), số lượng GPU, bộ nhớ, ổ cứng, nguồn điện và phạm vi hỗ trợ.
Quên mất phần mềm và hỗ trợ
Tổng ngân sách cần bao gồm phí bản quyền nền tảng AI, hỗ trợ doanh nghiệp, hỗ trợ triển khai và chi phí gia hạn.
Chọn máy chủ lớn nhất trước khi xác định khối lượng công việc
Đối với ứng dụng suy luận có độ đồng thời thấp, hệ thống huấn luyện mật độ cao có thể không cần thiết. Hãy bắt đầu bằng việc xác định khối lượng công việc, sau đó chọn GPU, nền tảng máy chủ và thiết kế mạng.
Hỗ trợ cơ sở hạ tầng AI cho bộ định tuyến-chuyển mạch
Router-Switch cung cấp các giải pháp cơ sở hạ tầng AI cho các doanh nghiệp, công ty AI, nhà tích hợp hệ thống và đối tác công nghệ—từ các máy trạm AI và triển khai AI riêng tư đến điện toán GPU mật độ cao.
Router-Switch giúp tích hợp các máy chủ, GPU, mạng, mạng không dây và cơ sở hạ tầng hỗ trợ cần thiết xung quanh mỗi khối lượng công việc.
Từ các tác nhân AI đến cơ sở hạ tầng AI, Router-Switch giúp khách hàng thiết kế, cấu hình và tìm nguồn cung cấp phần cứng và kết nối AI phù hợp với yêu cầu triển khai của họ.
Hãy cho chúng tôi biết khối lượng công việc AI, yêu cầu GPU, tốc độ mạng, số lượng rack và các hạn chế về điện năng của bạn. Router-Switch có thể giúp xây dựng danh sách linh kiện (BOM) cho máy chủ AI và cơ sở hạ tầng dựa trên cấu hình để xem xét.