RoCE คือการออกแบบเครือข่ายแบบครบวงจร การซื้อสวิตช์ที่มีพอร์ตอีเธอร์เน็ตความเร็วสูงไม่ได้หมายความว่าจะสร้างโครงสร้างเครือข่าย RoCE ที่ถูกต้องโดยอัตโนมัติ การ์ดเครือข่าย (NIC), สวิตช์, สายเคเบิล, โมดูลออปติคอล, ระบบปฏิบัติการ, ไดรเวอร์ และการกำหนดค่า QoS ต้องทำงานร่วมกันได้
- การเข้าถึงเซิร์ฟเวอร์ บทบาทของลีฟ สไปน์ และพื้นที่จัดเก็บข้อมูล ส่งผลต่อ BOM อย่างไร
- การเลือกอะแดปเตอร์ ConnectX และการตรวจสอบความสามารถในการสลับ
- ข้อกำหนดการควบคุมความแออัดสำหรับโครงสร้าง RoCE ที่คาดการณ์ได้
- วิธีการจับคู่ DAC, AOC, เลนส์, ระยะทาง, ความเร็ว และการเข้ารหัสให้เหมาะสม
- ข้อกำหนดเกี่ยวกับไดรเวอร์ เฟิร์มแวร์ ระบบปฏิบัติการ การจัดการ พลังงาน และแร็ค
- ตัวอย่าง BOM ข้อมูลการจัดซื้อ และคำถามที่พบบ่อย
- ข้อมูลขั้นต่ำที่จำเป็นในการสร้าง BOM ของ RoCE ที่เข้ากันได้
สิ่งที่เครือข่าย RoCE ต้องการจริงๆ
โดยปกติแล้ว เครือข่าย RoCE ที่ใช้งานจริงจะประกอบด้วยอะแดปเตอร์เซิร์ฟเวอร์ที่รองรับ RDMA สวิตช์ที่รองรับ RoCE อุปกรณ์ออปติกหรือสายเคเบิลที่เข้ากันได้ ไดรเวอร์โฮสต์ การกำหนดค่า QoS ของสวิตช์ และเส้นทางการจัดการแยกต่างหาก
| Category | รายการที่จำเป็น | เกณฑ์การคัดเลือกหลัก |
|---|---|---|
| คำนวณ | หน่วยประมวลผลกราฟิก (GPU) หรือโหนดเซิร์ฟเวอร์ | สล็อต PCIe, โครงสร้าง GPU, ระบบปฏิบัติการ |
| การเชื่อมต่อ RDMA | ConnectX หรือ NIC RDMA อื่นๆ ที่รองรับ | ความเร็วพอร์ต, จำนวนพอร์ต, รุ่น PCIe, เฟิร์มแวร์ |
| ผ้าเน็ตเวิร์ค | Spectrum หรือสวิตช์อื่นที่รองรับ RoCE | PFC, ECN, บัฟเฟอร์, QoS และการรองรับการแยกเครือข่าย |
| อุปกรณ์เชื่อมต่อกัน | DAC, AOC หรือทรานซีฟเวอร์แบบออปติคอล | ความเร็ว ระยะทาง ตัวเชื่อมต่อ FEC และการเข้ารหัส |
| ซอฟต์แวร์โฮสต์ | ไดรเวอร์และยูทิลิตี้ RDMA | ระบบปฏิบัติการ เวอร์ชันไดรเวอร์ และเฟิร์มแวร์ NIC |
| ซอฟต์แวร์สวิตช์ | Cumulus Linux, Onyx, SONiC หรือระบบปฏิบัติการเครือข่ายอื่น ๆ ที่ได้รับการตรวจสอบแล้ว | การสนับสนุนฮาร์ดแวร์ การสนับสนุนฟีเจอร์ และสัญญา |
| โครงสร้างพื้นฐาน | อุปกรณ์จัดการ, แร็ค, แหล่งจ่ายไฟ และอุปกรณ์ระบายความร้อน | ระบบสำรองไฟ ความลึก การไหลเวียนของอากาศ และระยะห่างของสายเคเบิล |
รายการชิ้นส่วน (BOM) ที่แน่นอนจะขึ้นอยู่กับว่าเครือข่ายนั้นถูกสร้างขึ้นเพื่อการสื่อสารระหว่าง GPU, ระบบจัดเก็บข้อมูลแบบกระจาย, HPC, การรับส่งข้อมูลฐานข้อมูล หรือโครงสร้างพื้นฐานศูนย์ข้อมูลแบบผสมผสาน
โปรดระบุจำนวนเซิร์ฟเวอร์ รุ่นการ์ดเครือข่าย ความเร็วที่ต้องการ ระยะทางของสายเคเบิล และข้อกำหนดของสวิตช์
เริ่มต้นด้วยบทบาทเครือข่าย
ก่อนเลือกสวิตช์ ให้พิจารณาว่าสวิตช์นั้นจะทำหน้าที่เป็นสวิตช์แบบ Leaf สำหรับเซิร์ฟเวอร์ สวิตช์ Leaf ความหนาแน่นสูง สวิตช์ Spine สวิตช์ Storage Fabric สวิตช์คลัสเตอร์ GPU โดยเฉพาะ หรือสวิตช์แบบผสมผสานระหว่างระดับองค์กรและ RoCE
ตู้แร็คเซิร์ฟเวอร์ขนาดเล็กอาจต้องการการเชื่อมต่อ 25GbE จำนวนมาก และมีการเชื่อมต่ออัปลิงก์ 100GbE เพียงไม่กี่จุด ในขณะที่โครงข่าย GPU อาจต้องการการเชื่อมต่อ 100GbE, 200GbE หรือ 400GbE เป็นส่วนใหญ่ ซึ่งนับเป็น BOM ที่แตกต่างกัน แม้ว่าทั้งสองจะถูกอธิบายว่าเป็นเครือข่าย RoCE เหมือนกันก็ตาม
ตัวอย่างของแพลตฟอร์มสเปกตรัม
การออกแบบการเชื่อมต่อ 25GbE ขนาดกะทัดรัดอาจใช้ MSN2010-CB2RCซึ่งมีพอร์ต SFP28 สำหรับการเข้าถึงข้อมูล และพอร์ต QSFP28 สำหรับอัปโหลดข้อมูล
การออกแบบใบไม้แบบ QSFP28 อาจใช้ MSN2100-CB2Fซึ่งการวางแผนการแยกเครือข่ายจะมีความสำคัญหากจำเป็นต้องใช้การเชื่อมต่อเซิร์ฟเวอร์ 25GbE
ผ้าที่มีความหนาแน่นสูงกว่าอาจใช้ เอ็มเอสเอ็น2700-CS2อาร์โดยมีพอร์ต QSFP28 จำนวนมากขึ้นสำหรับการเชื่อมต่อ 40/50/100GbE หรือการกำหนดค่าแบบแยกพอร์ตที่รองรับ
นี่เป็นเพียงตัวอย่างของแพลตฟอร์ม ไม่ใช่คำแนะนำสากล การเลือกขั้นสุดท้ายขึ้นอยู่กับจำนวนพอร์ต การใช้งานเกินกำลัง การออกแบบแร็ค ระบบออปติก และระบบปฏิบัติการเครือข่ายเป้าหมาย
การ์ดเครือข่าย RDMA และสวิตช์ที่รองรับ RoCE
การเลือก NIC RDMA
อะแดปเตอร์เซิร์ฟเวอร์เป็นหนึ่งในส่วนประกอบที่สำคัญที่สุดในการใช้งาน RoCE ควรตรวจสอบ NIC RDMA ที่เหมาะสมว่ารองรับ RoCEv2 หรือไม่ ความเร็วพอร์ต จำนวนพอร์ต รุ่น PCIe เฟิร์มแวร์ ความเข้ากันได้ของไดรเวอร์ PFC ECN และข้อกำหนดใดๆ ของ GPU Direct หรือ storage-fabric
อะแดปเตอร์ NVIDIA ConnectX มักถูกใช้งานในสภาพแวดล้อม RoCE แต่รุ่นของ ConnectX และ OPN ที่ใช้ก็ยังมีความสำคัญอยู่ อะแดปเตอร์ SFP28 25GbE แบบสองพอร์ต จะสร้างความต้องการสายเคเบิลและพอร์ตสวิตช์ที่แตกต่างจากอะแดปเตอร์ OSFP 400GbE แบบพอร์ตเดียว
- แบบจำลอง NIC และ OPN
- จำนวนพอร์ตและความเร็วของพอร์ต
- ประเภทตัวเชื่อมต่อ
- ข้อกำหนดสล็อต PCIe
- เวอร์ชั่นของเฟิร์มแวร์
- แพ็คเกจไดรเวอร์ RDMA
- ข้อกำหนด GPU Direct หรือการรวมระบบจัดเก็บข้อมูล
ข้อกำหนดสวิตช์ที่รองรับ RoCE
สวิตช์ที่ใช้สำหรับ RoCE ควรได้รับการประเมินจากความสามารถในการจัดการปริมาณการรับส่งข้อมูล ไม่ใช่เพียงแค่ความเร็วสูงสุดของพอร์ตเท่านั้น
- การควบคุมการไหลลำดับความสำคัญ
- แจ้งความแออัดอย่างชัดเจน
- โปรไฟล์คิวแบบไม่สูญเสียข้อมูลหรือแบบรับรู้การสูญเสียข้อมูล
- การบัฟเฟอร์แพ็กเก็ตที่เพียงพอ
- DSCP หรือการจัดประเภทการรับส่งข้อมูล 802.1p
- การจัดการการแจ้งเตือนความแออัด
- โหมด FEC ที่จำเป็น
- รองรับการแยกพอร์ต
- ตรวจสอบระบบปฏิบัติการและเวอร์ชันซอฟต์แวร์แล้ว
สวิตช์อีเธอร์เน็ตทั่วไปอาจส่งต่อแพ็กเก็ต RoCE ได้ แต่ไม่ได้หมายความว่ามันจะให้โครงสร้าง RoCE ที่ได้รับการตรวจสอบหรือคาดการณ์ได้
PFC, ECN, บัฟเฟอร์ และ QoS
การควบคุมการไหลลำดับความสำคัญ
PFC จะหยุดการรับส่งข้อมูลที่มีลำดับความสำคัญบางส่วนชั่วคราว แทนที่จะหยุดการเชื่อมต่อทั้งหมด วิธีนี้ช่วยให้การรับส่งข้อมูล RoCE ได้รับการประมวลผลโดยไม่สูญเสียข้อมูล ในขณะที่การรับส่งข้อมูลประเภทอื่นยังคงใช้งานการเชื่อมต่อต่อไปได้
เพื่อให้ได้โปรไฟล์ RoCE ที่ไม่สูญเสียข้อมูล PFC ต้องได้รับการออกแบบอย่างสม่ำเสมอทั่วทั้ง NIC ของโฮสต์ สวิตช์ลีฟ สวิตช์สไปน์ อุปกรณ์จัดเก็บข้อมูล และอะแดปเตอร์เซิร์ฟเวอร์ระยะไกลในเส้นทางการรับส่งข้อมูล
- กำหนดลำดับความสำคัญหรือประเภทการรับส่งข้อมูล RoCE ให้กับการรับส่งข้อมูลที่กำหนดไว้
- กำหนดค่าการแมปความสำคัญเดียวกันทั้งบนโฮสต์และสวิตช์
- อย่าเปิดใช้งาน PFC ในทุกลำดับความสำคัญโดยไม่มีการออกแบบคลาสการจราจร
- ตรวจสอบเฟรมหยุดชั่วคราวและพฤติกรรมของคิวหลังการปรับใช้
การกำหนดค่า PFC ที่ไม่ถูกต้องอาจส่งผลให้เกิดปัญหาการหยุดชั่วคราวของ PFC, การปิดกั้นส่วนหัวของแถว, การแพร่กระจายของความแออัด และความหน่วงแฝงของแอปพลิเคชันที่ไม่เสถียร
แจ้งความแออัดอย่างชัดเจน
ECN ให้บริการส่งสัญญาณความแออัดแบบครบวงจรสำหรับ RoCEv2 สวิตช์จะทำเครื่องหมายแพ็กเก็ตเมื่อคิวถึงเกณฑ์ที่กำหนดไว้ และโฮสต์ผู้รับจะเข้าร่วมในการตอบสนองต่อความแออัด
- การจำแนกประเภทการจราจร RoCE
- การ์ดเครือข่ายโฮสต์ที่รองรับ ECN
- เกณฑ์การทำเครื่องหมายสวิตช์
- การตอบสนองต่อความแออัดของ NIC โฮสต์
- การจัดการ CNP
- DSCP ที่สอดคล้องกัน หรือการแมปลำดับความสำคัญ
ความแตกต่างระหว่างบัฟเฟอร์และ ASIC
การกำหนดค่า RoCE ไม่สามารถใช้งานร่วมกันได้โดยอัตโนมัติระหว่างรุ่น ASIC ของสวิตช์ โปรไฟล์ที่ผ่านการตรวจสอบแล้วจะต้องตรงกับ ASIC ของสวิตช์ เวอร์ชัน NOS และโทโพโลยีการใช้งานที่แน่นอน
คำแนะนำของ NVIDIA เกี่ยวกับ Ethernet Storage Fabrics ครอบคลุมถึงข้อควรพิจารณาที่เกี่ยวข้องกับ RoCE ในส่วนของบัฟเฟอร์ คิว PFC และ ECN สำหรับการใช้งานบน Spectrum การกำหนดค่าควรได้รับการทดสอบก่อนนำไปใช้ในสภาพแวดล้อมการใช้งานจริง
สายเคเบิล, ออปติก, เบรกเอาต์ และ FEC
DAC และ AOC
DAC มักใช้สำหรับการเชื่อมต่อระยะสั้นภายในแร็คหรือแร็คที่อยู่ติดกัน ส่วน AOC อาจเหมาะสมเมื่อระยะทางยาวกว่าระยะการใช้งาน DAC แต่ไม่จำเป็นต้องใช้โมดูลออปติคอลแยกต่างหาก
ตรวจสอบความเร็ว ขั้วต่อ ความยาว รัศมีโค้ง FEC การใช้พลังงาน และการรองรับสวิตช์และ NIC สำหรับ DAC หรือ AOC ทุกรุ่น
ส่งสัญญาณออปติคอล
สำหรับลิงก์ที่มีระยะทางยาว รายการวัสดุ (BOM) ควรระบุฟอร์มแฟคเตอร์ ความเร็ว ความยาวคลื่น ไฟเบอร์แบบซิงเกิลโหมดหรือมัลติโหมด ประเภทคอนเนคเตอร์ ระยะทาง ข้อกำหนด FEC ช่วงอุณหภูมิ การรองรับ DOM และความเข้ากันได้กับสวิตช์และ NIC
สายเคเบิลฝ่าวงล้อม
โหมด Breakout จะเปลี่ยนวิธีการคำนวณจำนวนพอร์ต พอร์ต 100GbE QSFP28 หนึ่งพอร์ตอาจกลายเป็นพอร์ต 25GbE สี่พอร์ต ในขณะที่แพลตฟอร์มอื่นๆ อาจรองรับโหมด Breakout 200GbE หรือ 400GbE
รายการวัสดุ (BOM) ต้องระบุพอร์ตหลักและแต่ละช่องสัญญาณแยก อย่านับพอร์ตแยกเป็นอินเทอร์เฟซที่ใช้งานได้สี่พอร์ตจนกว่าจะมีการตรวจสอบสวิตช์ สายเคเบิล NOS และโหมดพอร์ตที่แน่นอนแล้ว
FEC และการเข้ารหัสลิงก์
อุปกรณ์สองชิ้นอาจมีความเร็วและขั้วต่อที่ระบุไว้เหมือนกัน แต่ก็ยังไม่สามารถสร้างการเชื่อมต่อที่เสถียรได้เนื่องจากความแตกต่างของ FEC หรือการเข้ารหัส
- โหมด FEC ที่รองรับ
- พฤติกรรม FEC เริ่มต้น
- การกำหนดค่า FEC ด้วยตนเองหรืออัตโนมัติ
- ความเข้ากันได้ของ FEC ระหว่าง NIC กับสวิตช์
- ข้อกำหนด FEC สำหรับช่องทางแยก
- ข้อกำหนดการเข้ารหัสเฉพาะด้านออปติก
FEC ควรเป็นส่วนหนึ่งของเอกสารรายละเอียดการเชื่อมต่อ มากกว่าที่จะเป็นปัญหาที่เพิ่งค้นพบระหว่างการติดตั้ง
ซอฟต์แวร์โฮสต์และโครงสร้างพื้นฐาน
ซอฟต์แวร์โฮสต์
- ระบบปฏิบัติการ
- แพ็คเกจไดรเวอร์ RDMA
- เฟิร์มแวร์ NIC
- ยูทิลิตี้ RDMA
- การกำหนดค่า PFC และ ECN
- DSCP หรือการกำหนดลำดับความสำคัญ
- ไดรเวอร์ GPU Direct หรือไดรเวอร์ที่เกี่ยวข้องกับการจัดเก็บข้อมูล
ซอฟต์แวร์สวิตช์
- ชื่อและเวอร์ชันของ NOS
- รองรับ Switch ASIC
- โปรไฟล์ RoCE
- วิธีการกำหนดค่า PFC และ ECN
- โปรไฟล์บัฟเฟอร์
- ไวยากรณ์การแตกออก
- ขั้นตอนการอัปเกรดและการย้อนกลับ
- สัญญาการสนับสนุนซอฟต์แวร์
การจัดการและโครงสร้างพื้นฐานของแร็ค
เครือข่าย RoCE ที่ใช้งานจริงควรมีเส้นทางการจัดการอิสระทุกครั้งที่เป็นไปได้ ซึ่งจะช่วยให้วิศวกรสามารถเข้าถึงสวิตช์และเซิร์ฟเวอร์ได้ในระหว่างที่เกิดปัญหาความแออัดของดาต้าเพลนหรือการแก้ไขปัญหาคุณภาพบริการ (QoS)
- สวิตช์การจัดการนอกแบนด์
- การเข้าถึงคอนโซล
- VLAN สำหรับการจัดการ หรือเครือข่ายสำหรับการจัดการ
- ระบบตรวจสอบ
- NTP และ DNS
- การสำรองข้อมูลการกำหนดค่า
- ระบบจ่ายไฟแบบแร็ค
- ระบบจ่ายไฟสำรอง
- สวิตช์และพาวเวอร์ซัพพลายแบบปรับทิศทางลมได้
- อุปกรณ์จัดการสายเคเบิล
- อุปกรณ์เลนส์และสายเคเบิลสำรอง
รายการตรวจสอบ BOM และคำขอใบเสนอราคาของ RoCE
ตัวอย่างรายการวัสดุ (BOM) ตามประเภทการใช้งาน
| การใช้งาน | การเชื่อมต่อโฮสต์ | เปลี่ยนบทบาท | การเชื่อมต่อทั่วไป | ประเด็นหลักในการวางแผน |
|---|---|---|---|---|
| ตู้แร็คเซิร์ฟเวอร์ 25GbE | การ์ดเครือข่าย RDMA SFP28 25GbE | ใบไม้หรือชั้นบนสุดของชั้นวาง | SFP28 DAC, AOC หรือออปติก | จำนวนพอร์ต SFP28 ดั้งเดิมและการเชื่อมต่ออัปลิงก์ 100GbE |
| โครงสร้าง GPU 100GbE | การ์ดเครือข่าย 100GbE QSFP28 | ผ้าสันใบ | DAC 100GbE, AOC หรืออุปกรณ์ออปติก | PFC, ECN, การจองเกินจำนวน และบัฟเฟอร์ |
| เครือข่าย AI 200GbE หรือ 400GbE | อะแดปเตอร์ RDMA 200/400GbE | ใบหรือสันความเร็วสูง | สายเคเบิล QSFP56, QSFP112 หรือ OSFP | FEC, การหยุดชั่วคราว, พลังงาน และการสนับสนุนแพลตฟอร์ม |
| เครือข่ายจัดเก็บข้อมูล RoCE | การ์ดเครือข่าย RDMA หรืออะแดปเตอร์จัดเก็บข้อมูล | ผ้าเฉพาะหรือผ้ารวม | ขึ้นอยู่กับความเร็วและระยะทาง | การแยกช่องทางจราจรและการควบคุมการจราจรติดขัด |
| เครือข่ายองค์กรแบบผสมผสานและเครือข่าย RoCE | การ์ดเครือข่าย RDMA และโฮสต์อีเธอร์เน็ตมาตรฐาน | โครงสร้างพื้นฐานศูนย์ข้อมูลส่วนกลาง | การเชื่อมต่อแบบผสมผสานระหว่างใยแก้วนำแสงและทองแดง | การแยกคิวและขอบเขต PFC |
ข้อมูลที่ควรระบุในคำขอใบเสนอราคา RoCE
- จำนวนเซิร์ฟเวอร์หรือโหนด GPU
- รุ่นและจำนวนการ์ดเครือข่าย RDMA
- ความเร็วพอร์ตฝั่งโฮสต์ที่ต้องการ
- ความเร็วพอร์ตสวิตช์ที่ต้องการ
- จำนวนสวิตช์ใบและแกน
- อัตราส่วนการจองเกินจำนวนที่ต้องการ
- ข้อกำหนด RoCEv1 หรือ RoCEv2
- GPUDirect, พื้นที่จัดเก็บข้อมูล หรือแอปพลิเคชัน HPC
- ระยะห่างระหว่างแร็ค
- DAC, AOC หรือตัวเลือกด้านออปติคอล
- ข้อกำหนดเกี่ยวกับชนิดของใยแก้วนำแสงและขั้วต่อ
- ข้อกำหนด FEC
- ข้อกำหนด PFC และ ECN
- ความชอบ NOS
- ความลึกของแร็ค การไหลเวียนของอากาศ และข้อกำหนดด้านพลังงาน
- ต้องใช้เลนส์และสายเคเบิลสำรอง
คำถามที่พบบ่อย (FAQs)
รอบชิงชนะเลิศ Takeaway
โดยปกติแล้ว รายการชิ้นส่วน (BOM) ของเครือข่าย RoCE ที่สมบูรณ์จะประกอบด้วย การ์ดเครือข่าย (NIC) สำหรับเซิร์ฟเวอร์หรือ GPU ที่รองรับ RDMA สวิตช์ที่รองรับ RoCE DACs AOCs หรือตัวรับส่งสัญญาณแบบออปติคอล ไดรเวอร์โฮสต์ ระบบปฏิบัติการ (NOS) ของสวิตช์ที่รองรับ การกำหนดค่า PFC และ ECN เครือข่ายการจัดการ และส่วนประกอบสำหรับแร็ค พลังงาน การระบายความร้อน และการจัดการสายเคเบิล
วิธีที่ปลอดภัยที่สุดในการสร้าง BOM (Bill of Materials) คือเริ่มต้นจากแอปพลิเคชันและรูปแบบการรับส่งข้อมูล จากนั้นจับคู่ NIC, สวิตช์, สายเคเบิล, อุปกรณ์ออปติก, ซอฟต์แวร์ และโมเดลการสนับสนุนเข้าด้วยกันเป็นระบบเดียว
โปรดส่งจำนวนเซิร์ฟเวอร์ รุ่น RDMA NIC ความเร็วเป้าหมาย ความต้องการสวิตช์ ระยะทางของสายเคเบิล และข้อกำหนด RoCE ก่อนที่จะสรุปรายการอุปกรณ์ขั้นสุดท้าย















































































































































