การ์ดเครือข่าย PCIe สำหรับเซิร์ฟเวอร์: จำนวนเลน PCIe, ความเร็ว, รูปทรง และความเข้ากันได้

ช่องเสียบไม่ใช่ข้อกำหนดทั้งหมด

สล็อต PCIe ของเซิร์ฟเวอร์มีคุณลักษณะอย่างน้อยสามประการ ได้แก่ ขนาดทางกายภาพ ความกว้างของเลนไฟฟ้า และรุ่นของ PCIe

ลักษณะเหล่านี้มีความเกี่ยวข้องกัน แต่ไม่สามารถใช้แทนกันได้ สล็อตอาจมีความยาวเพียงพอสำหรับกราฟิกการ์ด x16 แต่การเดินสายทางไฟฟ้าอาจเป็นแบบ x8 หรือ x4 นอกจากนี้ เซิร์ฟเวอร์อาจรองรับ PCIe รุ่นต่างๆ ผ่านทางตัวเชื่อมต่อหรือซ็อกเก็ต CPU ที่แตกต่างกัน

ด้วยเหตุนี้ ข้อมูลที่ว่า “เซิร์ฟเวอร์มีสล็อต x16” จึงไม่เพียงพอสำหรับการตัดสินใจเรื่องความเข้ากันได้ จำเป็นต้องตรวจสอบรุ่นของเซิร์ฟเวอร์ ตัวเชื่อมต่อ การเดินสายสล็อต และข้อกำหนดของอะแดปเตอร์ร่วมกัน

รุ่นและความกว้างของเลน PCIe

PCIe Gen3, Gen4 และ Gen5 ให้ความเร็วในการส่งสัญญาณต่อเลนที่แตกต่างกัน รุ่นใหม่กว่าสามารถให้แบนด์วิดท์ที่มากขึ้นโดยไม่ต้องเพิ่มจำนวนเลน ในขณะที่ลิงก์ที่กว้างขึ้นสามารถให้แบนด์วิดท์โดยรวมที่มากขึ้นภายในรุ่นเดียวกัน

ประเด็นสำคัญในทางปฏิบัติไม่ใช่ว่าการ์ดจะใส่ลงในสล็อต x16 ได้หรือไม่ แต่คำถามคือเซิร์ฟเวอร์สามารถรองรับเทคโนโลยี PCIe รุ่นใหม่ ความกว้างของช่องสัญญาณไฟฟ้า พลังงาน และระบบระบายความร้อนที่อะแดปเตอร์ต้องการได้หรือไม่

ค่าเหล่านี้เป็นค่าการส่งสัญญาณของลิงก์ ไม่ใช่ตัวเลขปริมาณงานของแอปพลิเคชันโดยตรง ค่าใช้จ่ายของโปรโตคอล รูปแบบการรับส่งข้อมูล ประสิทธิภาพของ CPU แบนด์วิดท์ของหน่วยความจำ และสถาปัตยกรรมของอะแดปเตอร์ยังคงส่งผลต่อปริมาณงานจริง

เอกสารของ NVIDIA ให้ตัวอย่างที่เป็นประโยชน์เกี่ยวกับ ConnectX-6: การ์ด PCIe x16 สามารถรองรับความเร็วสูงสุด 100GbE บนลิงก์ Gen3 หรือสูงสุด 200GbE บนลิงก์ Gen4 ในขณะที่การ์ด ConnectX-6 x8 สามารถรองรับความเร็วสูงสุด 100Gb/s ในสล็อต Gen4 ผลลัพธ์ที่แน่นอนขึ้นอยู่กับรุ่นของอะแดปเตอร์

ความเร็วเครือข่ายและประเภทตัวเชื่อมต่อ

ขั้วต่อฝั่งเครือข่ายมีความสำคัญไม่แพ้กับอินเทอร์เฟซฝั่ง PCIe การ์ด PCIe ที่มีพอร์ต QSFP56 ไม่ได้หมายความว่าจะใช้งานร่วมกับอุปกรณ์ออปติกหรือสายเคเบิล QSFP56 ทุกชนิดได้โดยอัตโนมัติ

ก่อนเลือกใช้บัตร โปรดตรวจสอบสิ่งต่อไปนี้:

• โหมดอีเธอร์เน็ตหรืออินฟินิแบนด์
• ความเร็วเครือข่ายที่รองรับ
• DAC, AOC หรือโมดูลออปติคอล
• ข้อกำหนดของ FEC
• แนวรับการทะลุแนวต้าน
• ความเข้ากันได้ของพอร์ตฝั่งสวิตช์
• ความยาวสายเคเบิลและข้อกำหนดด้านความร้อน

อะแดปเตอร์ 100GbE แบบสองพอร์ตอาจเหมาะสมสำหรับเซิร์ฟเวอร์จัดเก็บข้อมูลหรือการเชื่อมต่อแบบ Leaf ในขณะที่อะแดปเตอร์ 25/50GbE แบบสี่พอร์ตอาจเหมาะสมกว่าเมื่อเซิร์ฟเวอร์เครื่องเดียวต้องการลิงก์อิสระหลายลิงก์

อีเธอร์เน็ต, อินฟินิแบนด์ และขีดจำกัดแบนด์วิดท์สองระดับ

อีเธอร์เน็ตหรืออินฟินิแบนด์?

อะแดปเตอร์ NVIDIA Mellanox หลายรุ่นรองรับทั้ง Ethernet และ InfiniBand แต่การเลือกใช้แบบใดแบบหนึ่งจะส่งผลต่อโซลูชันโดยรวม

ก่อนสั่งซื้อ โปรดยืนยัน:

• สวิตช์แฟบริคใช้โปรโตคอลใด
• ไม่ว่าอะแดปเตอร์จะถูกตั้งค่าสำหรับ Ethernet หรือ InfiniBand ก็ตาม
• แอปพลิเคชันนั้นต้องการ RDMA หรือไม่
• ไม่ว่าการใช้งานจะใช้ RoCE หรือ InfiniBand แบบดั้งเดิมก็ตาม
• ต้องใช้ไดรเวอร์และเฟิร์มแวร์อะไรบ้าง
• ตรวจสอบว่าสายเคเบิลและอุปกรณ์ออปติกที่เลือกนั้นรองรับโหมดที่เลือกไว้หรือไม่

การ์ดที่ออกแบบมาสำหรับเครือข่าย InfiniBand ไม่ควรนำมาใช้เป็นอะแดปเตอร์อีเธอร์เน็ตแบบเสียบใช้งานได้ทันทีโดยไม่ตรวจสอบเอกสารผลิตภัณฑ์และสภาพแวดล้อมซอฟต์แวร์อย่างละเอียดเสียก่อน

เพดานแบนด์วิดท์สองอัน

อะแดปเตอร์เครือข่ายของเซิร์ฟเวอร์มีข้อจำกัดด้านแบนด์วิดท์อยู่สองระดับที่แตกต่างกัน

หากลิงก์ PCIe แคบเกินไปหรือเก่าเกินไป อะแดปเตอร์อาจยังคงแสดงว่าออนไลน์อยู่ แต่บัสของโฮสต์อาจจำกัดปริมาณการรับส่งข้อมูลโดยรวมได้ เรื่องนี้สำคัญอย่างยิ่งสำหรับอะแดปเตอร์แบบสองพอร์ต การรับส่งข้อมูลความเร็วสูงของอุปกรณ์จัดเก็บข้อมูล เวิร์กโหลด RDMA เซิร์ฟเวอร์ AI และการรับส่งข้อมูลเต็มอัตราพร้อมกันบนหลายพอร์ต

ConnectX-6 และ ConnectX-7: สิ่งที่ต้องตรวจสอบ

คำถามที่ถูกต้องไม่ใช่แค่ว่า ConnectX-7 ใหม่กว่า ConnectX-6 หรือไม่ คำถามที่มีประโยชน์มากกว่าคือ เซิร์ฟเวอร์และปริมาณงานสามารถใช้ประโยชน์จากความสามารถเพิ่มเติมนี้ได้หรือไม่

เมื่อ ConnectX-6 อาจใช้งานได้

• เซิร์ฟเวอร์รองรับ PCIe Gen3 หรือ Gen4
• ความเร็วเป้าหมายคือ 25G, 50G, 100G หรือการกำหนดค่า 200G ที่รองรับได้
• สภาพแวดล้อมซอฟต์แวร์ที่มีอยู่เดิมใช้ไดรเวอร์ ConnectX-6 อยู่แล้ว
• ปริมาณงานต้องการ Ethernet, RoCE, RDMA หรือการเร่งความเร็วการจัดเก็บข้อมูล โดยไม่จำเป็นต้องใช้อินเทอร์เฟซ PCIe รุ่นใหม่ล่าสุด

ยกตัวอย่างเช่น MCX623106AC-ซีดีเอที เป็นอะแดปเตอร์ QSFP56 ConnectX-6 Dx แบบสองพอร์ตที่มีตำแหน่ง PCIe Gen4 x16 การเลือกใช้ยังคงขึ้นอยู่กับการเดินสายสล็อตเซิร์ฟเวอร์ ตัวยึด การไหลเวียนของอากาศ ประเภทสายเคเบิล และคุณสมบัติด้านความปลอดภัยและซอฟต์แวร์ที่ต้องการ

เมื่อ ConnectX-7 อาจใช้งานได้

• เซิร์ฟเวอร์รองรับ PCIe Gen4 หรือ Gen5
• การติดตั้งระบบนี้ต้องการปริมาณข้อมูลที่สูงขึ้นหรือการกำหนดค่าพอร์ตที่ทันสมัยกว่า
• ปริมาณงานคือ AI, HPC, ระบบจัดเก็บข้อมูล หรือโครงสร้างพื้นฐานศูนย์ข้อมูลความหนาแน่นสูง
• เซิร์ฟเวอร์สามารถตอบสนองความต้องการด้านกำลังไฟและการระบายอากาศของอะแดปเตอร์ได้
• ชุดซอฟต์แวร์รองรับโหมด Ethernet หรือ InfiniBand ที่ต้องการใช้งาน

NVIDIA ระบุว่าการ์ดอะแดปเตอร์ ConnectX-7 บางรุ่นได้รับการออกแบบมาสำหรับเซิร์ฟเวอร์ในศูนย์ข้อมูล และต้องการแหล่งจ่ายไฟและการระบายอากาศที่เหมาะสม ไม่ควรเลือกใช้เป็นการ์ดขยายสำหรับเดสก์ท็อปทั่วไปโดยไม่ตรวจสอบสภาพแวดล้อมของเซิร์ฟเวอร์ก่อน

การขอ MCX713104AC-ADATตัวอย่างเช่น ควรประเมินอุปกรณ์โดยพิจารณาจากโครงสร้างพอร์ต อินเทอร์เฟซ PCIe ตัวยึด เฟิร์มแวร์ และข้อกำหนดของเซิร์ฟเวอร์อย่างละเอียด แทนที่จะพิจารณาจากชื่อ ConnectX-7 เพียงอย่างเดียว

การตรวจสอบความเข้ากันได้และการติดตั้งเซิร์ฟเวอร์

ข้อมูลเซิร์ฟเวอร์และสล็อต

ก่อนสั่งซื้อการ์ดเครือข่าย PCIe โปรดรวบรวมข้อมูลต่อไปนี้:

• ผู้ผลิตเซิร์ฟเวอร์และรุ่นที่สมบูรณ์
• ซีพียูรุ่นต่างๆ
• หมายเลขสล็อต PCIe
• รุ่น PCIe
• ความกว้างของช่องไฟฟ้า
• รุ่นไรเซอร์หรือแบ็คเพลน
• การเชื่อมโยง CPU หรือ NUMA
• เวอร์ชั่น BIOS
• ข้อกำหนดการแยกสาขา

ข้อมูลอะแดปเตอร์และเครือข่าย

• ระบุ PID หรือ OPN ของอะแดปเตอร์ให้ถูกต้อง
• โหมดอีเธอร์เน็ตหรืออินฟินิแบนด์
• จำนวนพอร์ต
• ความเร็วพอร์ต
• รุ่นของ PCIe และข้อกำหนดของเลน
• ความสูงและความยาวของการ์ด
• ประเภทวงเล็บ
• การใช้พลังงาน.
• ปริมาณการไหลเวียนของอากาศที่ต้องการ
• รุ่นสวิตช์และความเร็วพอร์ต
• ข้อกำหนด SFP28, QSFP28, QSFP56, QSFP112 หรือ OSFP
• ข้อกำหนดเกี่ยวกับ DAC, AOC หรือโมดูลออปติคอล
• ข้อกำหนดของ Breakout และ FEC

ซอฟแวร์ข้อมูล

• ระบบปฏิบัติการ.
• เวอร์ชันเคอร์เนลหรือไฮเปอร์ไวเซอร์
• ไดรเวอร์ NVIDIA หรือแพ็คเกจ OFED
• ข้อกำหนดของเฟิร์มแวร์
• SR-IOV หรือการรองรับฟังก์ชันเสมือน
• ข้อกำหนด DPDK, RDMA, RoCE หรือ NVMe over Fabrics

ปัญหาการติดตั้งและการใช้งานทั่วไป

สามารถใช้รายการอะแดปเตอร์เครือข่าย NVIDIA และ Mellanox ที่มีจำหน่ายทั้งหมดเป็นจุดเริ่มต้นได้ แต่ต้องระบุรุ่นเซิร์ฟเวอร์และปริมาณงานที่ต้องการก่อนที่จะเลือกการ์ดเฉพาะตัวใดตัวหนึ่ง

คำถามที่พบบ่อย (FAQs)

รอบชิงชนะเลิศ Takeaway

ควรเลือกการ์ดเครือข่าย PCIe โดยเป็นส่วนหนึ่งของแพลตฟอร์มเซิร์ฟเวอร์ ไม่ใช่เลือกใช้เป็นส่วนประกอบแยกต่างหาก

กระบวนการคัดเลือกที่น่าเชื่อถือที่สุดคือ:

• ตรวจสอบรุ่นเซิร์ฟเวอร์และตัวเชื่อมต่อ (riser) ให้แน่ใจ
• ตรวจสอบความกว้างของช่องไฟฟ้าจริงของช่องเสียบ
• ตรวจสอบให้แน่ใจว่า PCIe รุ่นใดและอะแดปเตอร์ตรงตามข้อกำหนด
• ตรวจสอบความเร็วเครือข่ายและประเภทตัวเชื่อมต่อ
• เลือกระหว่าง Ethernet และ InfiniBand
• ตรวจสอบกำลังไฟ การไหลเวียนของอากาศ และระยะห่างที่เหมาะสม
• ตรวจสอบไดรเวอร์ เฟิร์มแวร์ และการรองรับระบบปฏิบัติการ
• ตรวจสอบให้แน่ใจว่าสายเคเบิล อุปกรณ์ออปติก FEC และพอร์ตสวิตช์ตรงกัน
• ตรวจสอบประสิทธิภาพที่คาดหวังด้วยการตั้งค่าที่สมบูรณ์

การ์ดบางตัวอาจใส่ลงในเซิร์ฟเวอร์ได้ แต่ก็อาจไม่ใช่ตัวเลือกที่เหมาะสม การ์ดที่เหมาะสมคือการ์ดที่มีอินเทอร์เฟซ PCIe พอร์ตเครือข่าย โหมดโปรโตคอล ข้อกำหนดด้านความร้อน และซอฟต์แวร์ที่ตรงกับเซิร์ฟเวอร์และปริมาณงาน