ต้นทุนและราคาของเซิร์ฟเวอร์ AI: ปัจจัยใดบ้างที่ส่งผลต่อต้นทุนการใช้งานในระดับองค์กร?

ราคาเซิร์ฟเวอร์ AI เทียบกับต้นทุนการติดตั้งใช้งานระดับองค์กรโดยรวม

โดยทั่วไป หน้าผลิตภัณฑ์เซิร์ฟเวอร์จะครอบคลุมเฉพาะโหนดประมวลผลเท่านั้น การใช้งาน AI ระดับองค์กรอาจต้องการเซิร์ฟเวอร์ GPU, GPU หรือแพลตฟอร์ม HGX, หน่วยความจำระบบ, ที่เก็บข้อมูล NVMe, การ์ดเครือข่าย (NIC), หน่วยประมวลผลกระจาย (DPU), สวิตช์ความเร็วสูง, อุปกรณ์ออปติก, สายเคเบิล, พื้นที่วางแร็ค, ระบบจ่ายไฟ, ระบบระบายความร้อน, ซอฟต์แวร์, การสนับสนุน และการบูรณาการด้วย

ด้วยเหตุนี้ ราคาเซิร์ฟเวอร์ AI จึงไม่ควรสับสนกับต้นทุนรวมของคลัสเตอร์ AI คุณสามารถเปรียบเทียบการกำหนดค่าปัจจุบันได้ผ่านทาง หมวดหมู่ผลิตภัณฑ์เซิร์ฟเวอร์ AIแต่ควรตรวจสอบราคาที่ระบุไว้กับรายละเอียดการกำหนดค่า GPU หน่วยความจำ พื้นที่จัดเก็บ และการรองรับการใช้งานอย่างแม่นยำเสมอ

อะไรคือปัจจัยที่ส่งผลต่อต้นทุนของเซิร์ฟเวอร์ AI ระดับองค์กร?

รุ่นและจำนวน GPU

โดยปกติแล้ว GPU เป็นส่วนประกอบที่มีต้นทุนสูงที่สุด ราคาจะเปลี่ยนแปลงไปตามสถาปัตยกรรมของ GPU ความจุของหน่วยความจำ จำนวน GPU รูปแบบ PCIe หรือ SXM การเชื่อมต่อระหว่าง GPU ข้อกำหนดด้านการระบายความร้อน และกำหนดการส่งมอบ

เซิร์ฟเวอร์ที่มี GPU หนึ่งหรือสองตัวอาจเหมาะสมสำหรับการประมวลผลหรือการพัฒนา ในขณะที่ระบบที่มี GPU แปดตัวจะเหมาะสมกว่าสำหรับการฝึกอบรมขนาดใหญ่ การประมวลผลที่มีปริมาณงานสูง หรือแพลตฟอร์ม AI สำหรับผู้ใช้หลายคน

โครงสร้างของ CPU, หน่วยความจำ และ PCIe

แม้ว่างานส่วนใหญ่จะทำบน GPU แต่แพลตฟอร์ม CPU ก็ยังคงมีความสำคัญอยู่ดี การกำหนดค่าที่เหมาะสมจะต้องมีจำนวนคอร์ CPU, เลน PCIe, หน่วยความจำระบบ, ตำแหน่ง NUMA, แบนด์วิดท์ในการจัดเก็บข้อมูล และสล็อตสำหรับการ์ดเครือข่าย (NIC) และหน่วยประมวลผลกระจาย (DPU) ที่เพียงพอ

เซิร์ฟเวอร์ราคาประหยัดที่มีแบนด์วิดท์ PCIe ไม่เพียงพอ อาจจำกัดประสิทธิภาพของ GPU, หน่วยเก็บข้อมูล หรือเครือข่าย สำหรับงานประมวลผลระดับองค์กร ควรประเมินการออกแบบ CPU และหน่วยความจำควบคู่ไปกับโครงสร้างของ GPU

ข้อกำหนดการจัดเก็บ

เซิร์ฟเวอร์ AI อาจต้องการพื้นที่จัดเก็บข้อมูลสำหรับระบบปฏิบัติการ ไฟล์โมเดล ชุดข้อมูลสำหรับการฝึกอบรม จุดตรวจสอบ ฐานข้อมูลเวกเตอร์ ข้อมูลการประมวลผลเบื้องต้นชั่วคราว บันทึก และข้อมูลการตรวจสอบ

โหนดประมวลผลพื้นฐานอาจต้องการเพียงไดรฟ์บูตขนาดเล็กและพื้นที่จัดเก็บข้อมูล NVMe ในเครื่องเท่านั้น ในขณะที่ระบบฝึกอบรมอาจต้องการไดรฟ์ NVMe ความจุสูงหลายตัว หรือระบบจัดเก็บข้อมูลภายนอกที่มีประสิทธิภาพสูง

การสร้างเครือข่ายและการเชื่อมต่อระหว่างกัน

เมื่อมีการเชื่อมต่อเซิร์ฟเวอร์หลายเครื่อง งบประมาณในการติดตั้งระบบเครือข่ายอาจเพิ่มขึ้นอย่างมาก โดยทั่วไปแล้ว อุปกรณ์ที่จำเป็นมักได้แก่ การ์ดเครือข่ายเซิร์ฟเวอร์ (NIC) ความเร็ว 100G หรือ 200G, การเชื่อมต่ออัปลิงก์ความเร็ว 400G หรือ 800G, แพลตฟอร์ม NVIDIA ConnectX หรือ BlueField, RoCE หรือ InfiniBand, สวิตช์ความเร็วสูง, ตัวรับส่งสัญญาณแบบออปติคอล และสายเคเบิลแบบแยกส่วน

ยกตัวอย่างเช่น NVIDIA SN5610 ออกแบบมาสำหรับสภาพแวดล้อม 800GbE ที่มีความหนาแน่นสูง ปัจจุบันหน้าผลิตภัณฑ์ระบุราคาขายประมาณ 59,742 ดอลลาร์สหรัฐ แต่ราคานี้ไม่รวมการ์ดเครือข่ายเซิร์ฟเวอร์ อุปกรณ์ออปติก สายเคเบิล การติดตั้งในแร็ค หรือการกำหนดค่าเครือข่าย

กำลังไฟ ระบบระบายความร้อน และความจุของแร็ค

ระบบ GPU ความหนาแน่นสูงอาจต้องการพลังงานและการระบายความร้อนมากกว่าเซิร์ฟเวอร์ระดับองค์กรทั่วไปอย่างมาก ก่อนซื้อ โปรดตรวจสอบแรงดันไฟฟ้าขาเข้า ระบบสำรองไฟ (PSU redundancy) กำลังไฟสูงสุดของระบบ ข้อกำหนดของแร็คยูนิต ทิศทางการไหลของอากาศ ความจุของ PDU ความจุของ UPS ความสามารถในการระบายความร้อน น้ำหนัก และข้อกำหนดของรางยึด

ซอฟต์แวร์และการสนับสนุน

ชั้นซอฟต์แวร์อาจประกอบด้วย Linux, ไดรเวอร์ GPU, CUDA, Kubernetes, การจำลองเสมือน, เฟรมเวิร์ก AI, ​​ซอฟต์แวร์ให้บริการโมเดล, การตรวจสอบ, การจัดการระบบ และการสมัครใช้งานบริการสนับสนุนระดับองค์กร

NVIDIA AI Enterprise มีการให้สิทธิ์การใช้งานแบบต่อ GPU สำหรับกรณีการใช้งานซอฟต์แวร์ที่รองรับ โปรดตรวจสอบ คู่มือการอนุญาตใช้งาน NVIDIA Enterprise ก่อนที่จะสรุปงบประมาณการผลิตขั้นสุดท้าย

คำแนะนำเกี่ยวกับเซิร์ฟเวอร์ AI ตามสถานการณ์การใช้งาน

การอนุมาน AI สำหรับองค์กรขนาดเล็ก

สำหรับ AI ระดับแผนก ผู้ช่วยภายใน แอปพลิเคชัน RAG หรือการใช้งานการอนุมานขนาดเล็ก โหนดฝึกอบรมที่มี GPU แปดตัวที่มีความหนาแน่นสูงอาจไม่จำเป็น

การขอ หัวเว่ย ดีทีที 6502-X5 รองรับ GPU ได้สูงสุดถึงสี่ตัว และสามารถนำไปพิจารณาใช้ได้เมื่อโครงการต้องการ GPU ขนาดเล็กกว่า ราคาขั้นสุดท้ายควรสอบถามโดยพิจารณาจากรุ่น GPU หน่วยความจำ พื้นที่จัดเก็บข้อมูล พลังงาน และการกำหนดค่าเคสที่แน่นอน

• การใช้งาน AI ส่วนตัวขนาดเล็ก
• แอปพลิเคชัน RAG ภายในและฐานความรู้
• การวิเคราะห์ภาพคอมพิวเตอร์และวิดีโอ
• โครงการพัฒนาแบบจำลองและพิสูจน์แนวคิด

การประมวลผลแบบอนุมานระดับองค์กรด้วย GPU หลายตัว

สำหรับแพลตฟอร์ม AI หรือการประมวลผลแบบอนุมานส่วนตัวขนาดใหญ่ ลีด เว็ทธ์ R863A รองรับ GPU NVIDIA L20 ได้สูงสุดถึงแปดตัวในแพลตฟอร์ม 2U

การกำหนดค่าประเภทนี้อาจเหมาะสมสำหรับบริการ AI ส่วนตัว การประมวลผลภาพ การอนุมานแบบจำลองภาษาขนาดใหญ่ การโฮสต์แบบจำลองของแผนก และแอปพลิเคชัน AI ที่มีผู้ใช้หลายคน

การเปรียบเทียบที่สำคัญไม่ได้อยู่ที่จำนวน GPU เพียงอย่างเดียว ควรพิจารณาหน่วยความจำ GPU, หน่วยความจำระบบ, พื้นที่จัดเก็บข้อมูล, อะแดปเตอร์เครือข่าย, การใช้พลังงาน และเฟรมเวิร์กที่จำเป็นสำหรับการประมวลผลโมเดลด้วย

การอนุมานความหนาแน่นสูงหรือการใช้งานแบบ H20O

การขอ ลีด เว็ทธ์ R860L รองรับ GPU NVIDIA H20 ได้สูงสุด 16 ตัวในแพลตฟอร์ม 2U

อาจพิจารณาใช้สำหรับการอนุมานที่มีความหนาแน่นสูง แพลตฟอร์ม GPU ที่ใช้ร่วมกัน สภาพแวดล้อมแบบหลายผู้เช่า การให้บริการโมเดลขนาดใหญ่ และการรวมทรัพยากร GPU ราคาควรสอบถามโดยระบุจำนวน GPU และการกำหนดค่าระบบที่แน่นอน

โหนดฝึกอบรม H100 พร้อม GPU 8 ตัว

การขอ ซูเปอร์ไมโคร H100 SYS-821GE-TNHR การกำหนดค่าเหล่านี้ได้รับการออกแบบมาเพื่อการประมวลผล AI และ GPU ประสิทธิภาพสูง

จากข้อมูลการวางจำหน่ายในปัจจุบัน ราคาของซีพียู H100 รุ่น 8 GPU อยู่ที่ประมาณ 299,000–310,000 ดอลลาร์สหรัฐ โดยช่วงราคาจะแตกต่างกันไปตามรุ่นของซีพียู หน่วยความจำ พื้นที่จัดเก็บข้อมูล NVMe การกำหนดค่า GPU อุปกรณ์เสริม การสนับสนุน และข้อกำหนดในการจัดส่ง

การฝึกอบรมและการใช้งานโมเดลขนาดใหญ่ด้วย GPU 8 ตัวใน H200

การขอ ซูเปอร์ไมโคร H200 SYS-821GE-TNHR การกำหนดค่าเหล่านี้มีจุดประสงค์เพื่อรองรับงานที่ได้รับประโยชน์จากความจุหน่วยความจำ GPU ที่สูงขึ้นและการประมวลผลแบบมัลติ GPU ที่มีประสิทธิภาพสูง

ข้อมูลการจำหน่ายในปัจจุบันแสดงให้เห็นว่าระบบ H200 ที่มี GPU 8 ตัวมีราคาประมาณ 309,000–314,300 ดอลลาร์สหรัฐ ควรประเมินระบบเหล่านี้โดยพิจารณาจากขนาดของโมเดล ขนาดของชุดข้อมูลฝึกฝน การสื่อสารระหว่างหลายโหนด ปริมาณงานของหน่วยเก็บข้อมูล พลังงาน การระบายความร้อน และข้อกำหนดในการจัดส่ง

ระบบ AI ที่ใช้ HGX

ระบบที่ใช้ HGX อาจเหมาะสมเมื่อโครงการต้องการแพลตฟอร์มมัลติ GPU ที่ผสานรวมอย่างแน่นหนาสำหรับการฝึกอบรม การประมวลผลประสิทธิภาพสูง หรือการอนุมานขนาดใหญ่

การกำหนดค่า HGX SYS-821GE-TNHR ที่แสดงอยู่ในปัจจุบัน หมวดหมู่เซิร์ฟเวอร์ AI มีราคาประมาณ 298,000 ดอลลาร์สหรัฐ สำหรับรุ่นที่มี GPU 8 ตัว ควรตรวจสอบรายละเอียดของแพลตฟอร์มอีกครั้ง เช่น ประเภท GPU, การออกแบบการเชื่อมต่อ, หน่วยความจำระบบ, พื้นที่จัดเก็บข้อมูล, เครือข่าย และการรองรับซอฟต์แวร์

งบประมาณโดยประมาณสำหรับเซิร์ฟเวอร์ AI ระดับองค์กร

ตัวเลขต่อไปนี้เป็นค่าประมาณการวางแผนโดยอิงจากโครงสร้างเซิร์ฟเวอร์ที่เปิดเผยต่อสาธารณะในปัจจุบัน ตัวเลขเหล่านี้ไม่ใช่ราคาที่แน่นอนและไม่รวมถึงการติดตั้งโครงสร้างพื้นฐาน AI ทั้งหมด

ตัวเลขสำหรับระบบหลายโหนดเป็นการคำนวณอย่างง่ายโดยอิงจากราคาเซิร์ฟเวอร์ที่ระบุไว้ ตัวเลขเหล่านี้ไม่รวมสวิตช์ AI fabric, NIC, DPU, อุปกรณ์ออปติก, สายเคเบิล, พื้นที่จัดเก็บข้อมูลร่วม, แร็ค, PDU, ระบบ UPS, การอัปเกรดระบบระบายความร้อน, ใบอนุญาตซอฟต์แวร์, การสนับสนุน และการรวมระบบ

วิธีจัดทำงบประมาณสำหรับเซิร์ฟเวอร์ AI

ก่อนขอใบเสนอราคา ควรระบุปริมาณงานและข้อจำกัดด้านโครงสร้างพื้นฐานให้ชัดเจน แทนที่จะขอแค่ราคาเซิร์ฟเวอร์ AI ที่ต่ำที่สุดเพียงอย่างเดียว

ข้อผิดพลาดทั่วไปในการกำหนดงบประมาณเซิร์ฟเวอร์ AI

การเปรียบเทียบจำนวน GPU โดยไม่เปรียบเทียบหน่วยความจำ GPU

เซิร์ฟเวอร์สองเครื่องอาจมีจำนวน GPU เท่ากัน แต่มีประสิทธิภาพการใช้งานที่แตกต่างกันมาก หากหน่วยความจำ GPU แตกต่างกัน ควรประเมินขนาดของโมเดล ขนาดของแบทช์ การทำงานพร้อมกัน และข้อกำหนดในการฝึกอบรม ก่อนที่จะเปรียบเทียบปริมาณ GPU

ไม่สนใจโครงสร้างเครือข่าย

ระบบฝึกอบรมแบบหลายโหนดอาจต้องการการ์ดเครือข่ายความเร็วสูง สวิตช์ อุปกรณ์ออปติก สายเคเบิล และการกำหนดค่าควบคุมการแออัด ซึ่งรายการเหล่านี้ไม่ได้รวมอยู่ในราคาเซิร์ฟเวอร์พื้นฐาน

การพิจารณาการกำหนดค่าสูงสุดเสมือนเป็นการกำหนดค่ามาตรฐาน

คำว่า “รองรับ GPU ได้สูงสุดแปดตัว” ไม่ได้หมายความว่าราคาที่ระบุไว้รวม GPU ทั้งแปดตัวแล้ว โปรดตรวจสอบรายการชิ้นส่วน (BOM), จำนวน GPU, หน่วยความจำ, ที่เก็บข้อมูล, แหล่งจ่ายไฟ และขอบเขตการรองรับอย่างละเอียดเสมอ

การลืมซอฟต์แวร์และการสนับสนุน

ค่าลิценส์แพลตฟอร์ม AI, การสนับสนุนระดับองค์กร, ความช่วยเหลือในการติดตั้งใช้งาน และค่าใช้จ่ายในการต่ออายุ ควรถูกรวมอยู่ในงบประมาณทั้งหมด

การเลือกเซิร์ฟเวอร์ขนาดใหญ่ที่สุดก่อนกำหนดปริมาณงาน

ระบบฝึกอบรมที่มีความหนาแน่นสูงอาจไม่จำเป็นสำหรับแอปพลิเคชันการอนุมานที่มีการทำงานพร้อมกันต่ำ เริ่มต้นด้วยปริมาณงาน จากนั้นจึงเลือก GPU แพลตฟอร์มเซิร์ฟเวอร์ และการออกแบบเครือข่าย

การสนับสนุนโครงสร้างพื้นฐาน AI ของเราเตอร์-สวิตช์

Router-Switch ให้บริการโซลูชันโครงสร้างพื้นฐาน AI สำหรับองค์กร บริษัท AI ผู้รวมระบบ และพันธมิตรทางเทคโนโลยี ตั้งแต่เวิร์กสเตชัน AI และการใช้งาน AI ส่วนตัว ไปจนถึงการประมวลผล GPU ความหนาแน่นสูง

Router-Switch ช่วยในการผสานรวมเซิร์ฟเวอร์, GPU, ระบบเครือข่าย, ระบบไร้สาย และโครงสร้างพื้นฐานสนับสนุนที่จำเป็นสำหรับแต่ละภาระงาน

ตั้งแต่เอージェนต์ AI ไปจนถึงโครงสร้างพื้นฐาน AI, Router-Switch ช่วยให้ลูกค้าออกแบบ กำหนดค่า และจัดหาฮาร์ดแวร์ AI และการเชื่อมต่อที่เหมาะสมสำหรับความต้องการในการใช้งานของพวกเขา

โปรดแจ้งปริมาณงาน AI ความต้องการ GPU ความเร็วเครือข่าย จำนวนแร็ค และข้อจำกัดด้านพลังงาน Router-Switch สามารถช่วยสร้างรายการวัสดุ (BOM) สำหรับเซิร์ฟเวอร์ AI และโครงสร้างพื้นฐานตามการกำหนดค่าเพื่อการตรวจสอบได้

คำถามที่พบบ่อย (FAQs)