เลือกเซิร์ฟเวอร์ GPU xFusion เหล่านี้โดยพิจารณาจากโครงสร้าง GPU ประเภทของภาระงาน หน่วยความจำ พื้นที่จัดเก็บข้อมูล เครือข่าย พลังงาน และข้อกำหนดด้านการระบายความร้อน ไม่ใช่แค่จำนวน GPU เพียงอย่างเดียว โหนดการอนุมานแบบโมดูลาร์ เซิร์ฟเวอร์ HPC แปด GPU และแพลตฟอร์มการเรียนรู้เชิงลึกความหนาแน่นสูง อาจต้องการการกำหนดค่าที่แตกต่างกันมาก
แชร์ข้อมูลความต้องการด้าน GPU, ปริมาณงาน, เครือข่าย, พื้นที่จัดเก็บ และพลังงานของคุณ
เซิร์ฟเวอร์ GPU xFusion ทั้งสามเครื่องนี้ไม่ใช่แพลตฟอร์มเดียวกัน
ข้อผิดพลาดที่พบบ่อยคือการเปรียบเทียบโมเดลเหล่านี้โดยพิจารณาจากจำนวน GPU ที่รองรับเพียงอย่างเดียว การออกแบบทางกายภาพและรูปแบบการใช้งานที่ตั้งใจไว้แตกต่างกัน
G530 V5 เป็นโหนดประมวลผลแบบเฮเทอโรจีนัสขนาดครึ่งความกว้าง รองรับอัตราส่วน CPU ต่อ GPU และฟอร์มแฟคเตอร์ GPU ที่แตกต่างกัน ทำให้เหมาะสำหรับการใช้งานแบบโมดูลาร์
G560 V5 เป็นแพลตฟอร์มประมวลผล GPU แบบเต็มความกว้างที่ออกแบบมาสำหรับโครงสร้าง multi-GPU ขนาดใหญ่ขึ้น ในขณะที่ G5500 V6 เป็นเซิร์ฟเวอร์ AI ขนาด 4U ที่สมบูรณ์แบบ มีพื้นที่มากขึ้นสำหรับจัดเก็บข้อมูล หน่วยความจำ อุปกรณ์ PCIe แหล่งจ่ายไฟ และระบบระบายความร้อน
สำหรับตัวเลือกผลิตภัณฑ์ในปัจจุบัน โปรดเปรียบเทียบ กลุ่มผลิตภัณฑ์เซิร์ฟเวอร์ GPU xFusion ก่อนที่จะเลือกการกำหนดค่าขั้นสุดท้าย
G530 V5 เทียบกับ G560 V5 เทียบกับ G5500 V6
ตารางด้านล่างแสดงทิศทางการเลือกหลักสำหรับแต่ละแพลตฟอร์ม นี่เป็นเพียงคำแนะนำในการวางแผน ไม่ใช่การรับประกันประสิทธิภาพ ต้องยืนยันการกำหนดค่า GPU, CPU, หน่วยความจำ, พื้นที่จัดเก็บข้อมูล, เครือข่าย และแหล่งจ่ายไฟที่แน่นอนก่อนขอใบเสนอราคา
| รุ่น | ประเภทแพลตฟอร์ม | ทิศทาง GPU | การใช้งานที่แนะนำ | การพิจารณาหลัก |
|---|---|---|---|---|
| xFusion G530 V5 | โหนดประมวลผลแบบไม่เป็นเนื้อเดียวกันครึ่งความกว้าง | การกำหนดค่า GPU แบบสล็อตเดียวหรือสองสล็อต ขึ้นอยู่กับเคสและรูปแบบการจัดวาง GPU | การอนุมาน AI แบบโมดูลาร์ โหนด HPC และการขยายทรัพยากร GPU | ปริมาณของ GPU ขึ้นอยู่กับรูปแบบและโครงสร้างของ GPU เป็นอย่างมาก |
| xFusion G560 V5 | โหนดประมวลผล GPU แบบเต็มความกว้าง | รองรับ GPU แบบความกว้างสองเท่าได้สูงสุดถึงแปดตัวในการกำหนดค่าแพลตฟอร์มที่ระบุไว้ | การฝึกอบรม AI, HPC, การคำนวณทางวิทยาศาสตร์ และการเรนเดอร์ | จำเป็นต้องวางแผนอย่างรอบคอบสำหรับแหล่งจ่ายไฟ GPU ระบบระบายความร้อน และโครงสร้าง PCIe |
| xFusion G5500 V6 | เซิร์ฟเวอร์ AI แบบ dual-socket ขนาด 4U | รองรับ GPU FHFL แบบความกว้างสองเท่าได้สูงสุดถึงแปดตัวในการกำหนดค่าแพลตฟอร์มที่ระบุไว้ | การฝึกอบรมการเรียนรู้เชิงลึก การอนุมาน การวิเคราะห์วิดีโอ และ HPC | ต้องการพื้นที่วางอุปกรณ์ในแร็ค พลังงาน และระบบระบายความร้อนที่สูงขึ้น |
รายการสินค้าอาจระบุถึงการกำหนดค่า A100 ที่มี GPU สี่ตัวโดยเฉพาะ ในขณะที่เอกสารประกอบแพลตฟอร์มอาจระบุถึงความจุ GPU สูงสุดที่สูงกว่า ข้อมูลทั้งสองส่วนนี้แตกต่างกันและไม่ควรนำมาใช้แทนกันได้
เมื่อไหร่ที่ G530 V5 จะเหมาะสมกว่า?
G530 V5 น่าสนใจที่สุดเมื่อโครงการต้องการความยืดหยุ่นมากกว่าจำนวน GPU สูงสุดที่กำหนดไว้ตายตัว
การออกแบบแบบเฮเทอโรจีนัสครึ่งความกว้างช่วยรองรับอัตราส่วน CPU และ GPU ที่แตกต่างกัน ขึ้นอยู่กับฟอร์มแฟคเตอร์ของ GPU แพลตฟอร์มนี้สามารถรองรับ GPU แบบสล็อตเดียวหลายตัว หรือ GPU แบบสองสล็อตขนาดใหญ่จำนวนน้อยกว่าได้
G530 V5 อาจเหมาะสำหรับการใช้งานดังต่อไปนี้:
- โหนดอนุมาน AI
- คลัสเตอร์ HPC แบบโมดูลาร์
- ทรัพยากร GPU ขยายตามโหนด
- การเร่งความเร็วฐานข้อมูล
- การใช้งานที่ต้องการ GPUDirect RDMA หรือการสื่อสาร GPU แบบ peer-to-peer
- โครงการต่างๆ ที่อาจใช้ฟอร์มแฟคเตอร์ GPU ที่แตกต่างกัน
คำถามสำคัญในการจัดซื้อไม่ได้อยู่ที่ว่า G530 V5 รองรับ GPU ได้กี่ตัว ต้องตรวจสอบรุ่นของ GPU ความกว้างของช่องเสียบ ระดับพลังงาน ความต้องการหน่วยความจำ และโครงสร้างการเชื่อมต่อสำหรับการกำหนดค่าขั้นสุดท้ายด้วย
ข้อมูลสินค้าที่ระบุว่ารองรับ GPU 8 ตัว ไม่ได้หมายความว่าจะเป็นความสามารถสูงสุดของแพลตฟอร์มเสมอไป โปรดตรวจสอบจำนวน GPU รุ่น GPU แหล่งจ่ายไฟเสริม และระบบระบายความร้อนที่แน่นอนสำหรับสินค้าที่ต้องการ
เมื่อไหร่ที่ G560 V5 จะเหมาะสมกว่า?
G560 V5 เหมาะกว่าสำหรับการใช้งานเป็นโหนดประมวลผล GPU แบบเต็มความกว้างแบบสแตนด์อโลน
ได้รับการออกแบบโดยคำนึงถึงการกำหนดค่า GPU หลายตัวที่ใหญ่กว่า และรองรับ GPU แบบความกว้างสองเท่าได้สูงสุดถึงแปดตัวในการกำหนดค่าแพลตฟอร์มที่ระบุไว้ เมื่อเทียบกับโหนดแบบโมดูลาร์ความกว้างครึ่งหนึ่งแล้ว การจัดวางตำแหน่งให้เป็นเซิร์ฟเวอร์สำหรับการฝึกอบรม AI หรือ HPC โดยเฉพาะด้วยโครงสร้าง GPU ที่สม่ำเสมอจะทำได้ง่ายกว่า
เมนบอร์ด G560 V5 อาจเหมาะกับงานประเภทต่อไปนี้:
- การฝึกอบรมการเรียนรู้เชิงลึก
- การจำลองทางวิทยาศาสตร์
- เวิร์กโหลด HPC
- การแสดงผล
- การวิเคราะห์ข้อมูล
- โหนดประมวลผลมัลติ GPU เฉพาะ
ประสิทธิภาพของ GPU เพียงอย่างเดียวไม่ได้เป็นตัวกำหนดประสิทธิภาพของแอปพลิเคชัน โครงการควรตรวจสอบรุ่นของ CPU ความจุของหน่วยความจำ การกระจายเลน PCIe การสื่อสารระหว่าง GPU แบนด์วิดท์ของอะแดปเตอร์เครือข่าย อัตราการรับส่งข้อมูลของอุปกรณ์จัดเก็บข้อมูล แหล่งจ่ายไฟ และระบบระบายความร้อนด้วย
เมื่อไหร่ที่ G5500 V6 จะเหมาะสมกว่า?
G5500 V6 เป็นตัวเลือกที่ดีที่สุดเมื่อโครงการต้องการแพลตฟอร์มเซิร์ฟเวอร์ AI ที่มีขนาดใหญ่และขยายได้มากขึ้น
เอกสารอย่างเป็นทางการของ G5500 V6 ระบุว่าเป็นเซิร์ฟเวอร์ AI แบบ dual-socket ขนาด 4U ที่ใช้โปรเซสเซอร์ Intel Xeon Scalable เจเนอเรชั่นที่ 3, สล็อต DDR4 DIMM จำนวน 32 ช่อง, รองรับ GPU แบบ FHFL double-width ได้สูงสุด 8 ตัว, สล็อต PCIe 4.0 x16 หลายช่อง และแหล่งจ่ายไฟสำรองความจุสูง
แพลตฟอร์มนี้อาจเหมาะสมสำหรับ:
- หน่วยประมวลผลกราฟิก (GPU) ความหนาแน่นสูง ความกว้างสองเท่า
- ความต้องการหน่วยความจำระบบที่มากขึ้น
- การ์ดขยาย PCIe หลายตัว
- อะแดปเตอร์เครือข่ายความเร็วสูงหลายตัว
- การขยายพื้นที่จัดเก็บข้อมูลภายในเครื่อง
- ระบบไฟฟ้าสำรองความจุสูง
- การทำงานของ AI หรือ HPC อย่างต่อเนื่อง
ข้อเสียหลักคือภาระด้านโครงสร้างพื้นฐาน เซิร์ฟเวอร์ GPU ขนาด 4U ต้องการพื้นที่ในแร็คมากกว่า กำลังไฟฟ้ามากกว่า การระบายอากาศที่แรงกว่า และการวางแผนด้านความร้อนที่รอบคอบกว่าโหนด GPU ขนาดกะทัดรัด
สำหรับข้อจำกัดของแพลตฟอร์มโดยละเอียด โปรดตรวจสอบ... เอกสารทางเทคนิคอย่างเป็นทางการของ xFusion G5500 V6 ก่อนจัดทำรายการวัสดุ (BOM) ที่กำหนดไว้
โครงสร้าง GPU มีความสำคัญมากกว่าจำนวน GPU
เซิร์ฟเวอร์สองเครื่องที่มีจำนวน GPU เท่ากัน อาจให้ผลลัพธ์ที่แตกต่างกันได้เนื่องจากโครงสร้างภายในที่แตกต่างกัน
ก่อนอนุมัติการกำหนดค่า โปรดตรวจสอบรายการต่อไปนี้:
- รุ่น GPU และหน่วยความจำ GPU
- ดีไซน์แบบความกว้างเดียวหรือความกว้างสองเท่า
- เส้นทางการสื่อสารระหว่าง GPU กับ GPU
- การสร้าง PCIe และการจัดสรรเลน
- ความใกล้เคียงของ NUMA ระหว่าง CPU กับ GPU
- ข้อกำหนดด้านพลังงานเสริมของ GPU
- การสนับสนุนการสื่อสารระหว่างบุคคล
- รองรับ GPUDirect RDMA เมื่อจำเป็น
- ตำแหน่งการติดตั้งอะแดปเตอร์เครือข่ายและแบนด์วิดท์
- การออกแบบระบบระบายความร้อนภายใต้ภาระการทำงานต่อเนื่อง
สำหรับงานฝึกฝนโมเดล การสื่อสารระหว่าง GPU และปริมาณงานในการจัดเก็บข้อมูลอาจมีความสำคัญพอๆ กับจำนวน GPU โดยรวม สำหรับงานอนุมาน ความจุของหน่วยความจำ GPU การทำงานพร้อมกัน และความหน่วงของเครือข่ายอาจมีความสำคัญมากกว่าปริมาณงานฝึกฝนสูงสุด
การวางแผน CPU และหน่วยความจำ
ควรเลือกขนาดของ CPU ให้เหมาะสมกับปริมาณงานที่ป้อนและจัดการ GPU
- รุ่นซีพียู
- จำนวนซ็อกเก็ต CPU
- ความใกล้เคียงระหว่าง CPU กับ GPU
- ข้อกำหนดการประมวลผลล่วงหน้าฝั่งโฮสต์
- การโหลดข้อมูลและการสกัดคุณลักษณะ
- ข้อกำหนดด้านเวอร์ชวลไลเซชันหรือระบบหลายผู้เช่า
- ความจุหน่วยความจำและจำนวนช่องหน่วยความจำ
การวางแผนการจดจำควรประกอบด้วย:
อย่าคิดว่าเซิร์ฟเวอร์ GPU ที่มี GPU จำนวนมากจะต้องใช้การกำหนดค่าหน่วยความจำระบบสูงสุดเสมอไป ขนาดหน่วยความจำที่เหมาะสมนั้นขึ้นอยู่กับแบบจำลอง ชุดข้อมูล ขั้นตอนการประมวลผลล่วงหน้า จำนวนงานที่ทำงานพร้อมกัน และว่าเซิร์ฟเวอร์นั้นถูกใช้งานร่วมกันโดยผู้ใช้หลายคนหรือไม่
ข้อกำหนดด้านการจัดเก็บข้อมูลและเครือข่าย
การวางแผนการจัดเก็บข้อมูล
เซิร์ฟเวอร์ AI มักสร้างปัญหาคอขวดนอกระบบ GPU ตรวจสอบว่าเซิร์ฟเวอร์ต้องการ NVMe สำหรับชุดข้อมูลหรือพื้นที่ชั่วคราว, ที่เก็บข้อมูล SSD สำหรับจุดตรวจสอบโมเดล, ที่เก็บข้อมูล HDD หรือ SATA ความจุสูง, การเข้าถึงพื้นที่เก็บข้อมูลแบบใช้ร่วมกัน หรือการเชื่อมต่อระบบไฟล์แบบขนานหรือไม่
เซิร์ฟเวอร์ฝึกอบรมที่โหลดชุดข้อมูลขนาดใหญ่ซ้ำๆ อาจต้องการเส้นทางการจัดเก็บข้อมูลที่เร็วกว่า แม้ว่า GPU จะมีประสิทธิภาพเพียงพอแล้วก็ตาม
การวางแผนเครือข่าย
ความต้องการของเครือข่ายขึ้นอยู่กับรูปแบบการใช้งาน:
- เซิร์ฟเวอร์ประมวลผลแบบสแตนด์อโลน: ประเมินว่าควรใช้ 10GbE หรือ 25GbE โดยพิจารณาจากปริมาณการใช้งานของแอปพลิเคชัน
- การฝึกอบรมแบบกระจาย: ประเมินเครือข่ายที่มีความเร็วสูงและมีความหน่วงต่ำ
- ระบบ HPC แบบหลายโหนด: ตรวจสอบข้อกำหนดของ RDMA, RoCE หรือ InfiniBand
- พื้นที่จัดเก็บข้อมูลแบบใช้ร่วมกัน: กำหนดขนาดเครือข่ายให้รองรับการจัดเก็บข้อมูลและการรับส่งข้อมูลของแอปพลิเคชันพร้อมกัน
- แพลตฟอร์ม AI แบบหลายผู้เช่า: แยกการจัดการ การจัดเก็บ และการรับส่งข้อมูลการผลิตออกจากกัน
การเลือกอะแดปเตอร์เครือข่ายจะต้องได้รับการตรวจสอบความถูกต้องกับระบบปฏิบัติการ ไดรเวอร์ เฟรมเวิร์กการสื่อสาร GPU และโครงสร้างสวิตช์ต้นทาง
การวางแผนระบบจ่ายไฟ ระบบระบายความร้อน และแร็ค
ไม่สามารถเลือกเซิร์ฟเวอร์ GPU แยกต่างหากจากสภาพแวดล้อมของศูนย์ข้อมูลได้
- แร็คยูนิตที่ว่างอยู่
- ความลึกของแร็คและความเข้ากันได้ของราง
- แรงดันไฟฟ้าขาเข้าและการกระจายพลังงาน
- ความต้องการพลังงานสำรอง
- การใช้พลังงานสูงสุด
- ทิศทางการไหลของอากาศ
- ระยะห่างในการระบายความร้อนจากด้านหน้าไปด้านหลัง
- อุณหภูมิโดยรอบ
- การออกแบบระบายความร้อน GPU
- การเข้าถึงการบำรุงรักษา
เมนบอร์ด G5500 V6 มีพื้นที่สำหรับ GPU และความสามารถในการขยายเพิ่มเติมมากกว่า แต่ก็ใช้พลังงานและระบบระบายความร้อนมากกว่าเช่นกัน เมนบอร์ด G530 V5 ที่มีขนาดเล็กกว่า อาจใช้งานได้ง่ายกว่าในระบบ Edge หรือคลัสเตอร์แบบโมดูลาร์ ในขณะที่ G560 V5 อาจเป็นทางเลือกที่ตรงกว่าในการสร้างโหนดประมวลผลแบบมัลติ GPU โดยเฉพาะ
โมเดลใดเหมาะกับปริมาณงาน AI ของคุณ?
| จำนวนงาน | ทิศทางที่แนะนำ | ทำไม |
|---|---|---|
| การอนุมาน AI แบบโมดูลาร์ | G530 V5 | ตัวเลือกการออกแบบโหนดที่ยืดหยุ่นและโครงสร้าง GPU |
| ทรัพยากร GPU ขยายตามโหนด | G530 V5 | เหมาะสำหรับการขยายแบบโมดูลาร์และเป็นระยะ |
| โหนด HPC แปด GPU | G560 V5 | แพลตฟอร์มประมวลผลมัลติ GPU แบบเต็มความกว้าง |
| การฝึกอบรมการเรียนรู้เชิงลึกโดยเฉพาะ | G560 V5 หรือ G5500 V6 | ขึ้นอยู่กับโครงสร้าง GPU, หน่วยความจำ, เครือข่าย และข้อกำหนดด้านพลังงาน |
| เวิร์กโหลด AI ที่ใช้หน่วยความจำขนาดใหญ่ | G5500 V6 | หน่วยความจำเพิ่มเติมและความสามารถในการขยาย PCIe |
| การวิเคราะห์วิดีโอ | G5500 V6 | เหมาะสำหรับการประมวลผลแบบหลาย GPU อย่างต่อเนื่อง เมื่อมีกำลังไฟและการระบายความร้อนที่เพียงพอ |
| การคำนวณทางวิทยาศาสตร์ | G560 V5 หรือ G5500 V6 | การเลือกขึ้นอยู่กับรุ่นของ GPU หน่วยความจำ และสถาปัตยกรรมของคลัสเตอร์ |
| การใช้งาน GPU หลายตัวที่มีความหนาแน่นสูง | G5500 V6 | พื้นที่ภายในตัวเครื่องมากขึ้น ความจุ PCIe มากขึ้น และตัวเลือกด้านพลังงานมากขึ้น |
คำแนะนำเหล่านี้เป็นการอธิบายถึงความเหมาะสมของแพลตฟอร์ม ไม่ใช่การรับประกันประสิทธิภาพ การเลือกขั้นสุดท้ายขึ้นอยู่กับรุ่นของ GPU, ชุดซอฟต์แวร์, ขนาดของชุดข้อมูล, การออกแบบเครือข่าย, สถาปัตยกรรมจัดเก็บข้อมูล และงบประมาณด้านพลังงาน
ข้อมูลที่ควรระบุในใบเสนอราคาเซิร์ฟเวอร์ GPU
เพื่อเตรียม BOM ที่ใช้งานได้ โปรดจัดเตรียม GPU มากกว่าจำนวนที่ต้องการ:
- ประเภทภาระงาน AI
- การฝึกอบรม การอนุมาน การประมวลผลประสิทธิภาพสูง หรือการใช้งานแบบผสมผสาน
- รุ่น GPU เป้าหมาย
- จำนวน GPU
- ความต้องการหน่วยความจำ GPU
- รุ่น CPU หรือเป้าหมายประสิทธิภาพ CPU
- ความต้องการหน่วยความจำของระบบ
- ความจุและประสิทธิภาพของพื้นที่จัดเก็บข้อมูลภายในเครื่อง
- ความเร็วเครือข่ายและโปรโตคอล
- ข้อกำหนด RDMA, RoCE หรือ InfiniBand
- ข้อจำกัดด้านกำลังไฟและแร็ค
- ข้อกำหนดของระบบปฏิบัติการและไดรเวอร์
- แผนการขยายธุรกิจที่คาดการณ์ไว้
- การรับประกันและการสนับสนุนที่จำเป็น
คำขอที่ระบุเพียงว่า “ต้องการเซิร์ฟเวอร์ที่มี GPU 8 ตัว” นั้นไม่เพียงพอสำหรับการตรวจสอบการกำหนดค่าขั้นสุดท้าย
คำถามที่พบบ่อย (FAQs)
เลือกแพลตฟอร์มให้เหมาะสมกับปริมาณงาน
ควรพิจารณา G530 V5, G560 V5 และ G5500 V6 ในฐานะตัวเลือกแพลตฟอร์มที่แตกต่างกัน มากกว่าที่จะมองว่าเป็นเพียงการจัดอันดับประสิทธิภาพเพียงอย่างเดียว
เลือก G530 V5 สำหรับความยืดหยุ่นในการจัดวาง GPU เลือก G560 V5 สำหรับโหนดประมวลผล GPU เต็มรูปแบบโดยเฉพาะ เลือก G5500 V6 เมื่อโครงการต้องการ GPU ความหนาแน่นสูง หน่วยความจำขนาดใหญ่ การเชื่อมต่อ PCIe ที่ขยายมากขึ้น และแหล่งจ่ายไฟสำรองสำหรับการประมวลผล AI หรือ HPC อย่างต่อเนื่อง















































































































































