อุปกรณ์ใดบ้างที่จำเป็นสำหรับเครือข่าย RoCE? การ์ดเครือข่าย (NIC), สวิตช์, สายเคเบิล และรายการตรวจสอบวัสดุ (BOM Checklist)

ตามเรา:
ใช้ด่วน
เครือข่าย RoCE ที่ใช้งานจริงนั้นต้องการอะแดปเตอร์เซิร์ฟเวอร์ที่รองรับ RDMA สวิตช์ที่รองรับ RoCE อุปกรณ์ออปติกหรือสายเคเบิลที่เข้ากันได้ ไดรเวอร์โฮสต์ การกำหนดค่า QoS ของสวิตช์ และเส้นทางการจัดการแยกต่างหาก ความเร็วลิงก์เพียงอย่างเดียวไม่เพียงพอ ต้องตรวจสอบ PFC, ECN, บัฟเฟอร์, FEC, โหมดแยกสัญญาณ และการจำแนกประเภทการรับส่งข้อมูลแบบ end-to-end ด้วย

RoCE คือการออกแบบเครือข่ายแบบครบวงจร การซื้อสวิตช์ที่มีพอร์ตอีเธอร์เน็ตความเร็วสูงไม่ได้หมายความว่าจะสร้างโครงสร้างเครือข่าย RoCE ที่ถูกต้องโดยอัตโนมัติ การ์ดเครือข่าย (NIC), สวิตช์, สายเคเบิล, โมดูลออปติคอล, ระบบปฏิบัติการ, ไดรเวอร์ และการกำหนดค่า QoS ต้องทำงานร่วมกันได้

1. เครือข่าย RoCE ต้องการอะไรบ้าง
  • ส่วนประกอบฮาร์ดแวร์และซอฟต์แวร์ในการใช้งาน RoCE อย่างสมบูรณ์
2. เริ่มต้นด้วยบทบาทเครือข่าย
  • การเข้าถึงเซิร์ฟเวอร์ บทบาทของลีฟ สไปน์ และพื้นที่จัดเก็บข้อมูล ส่งผลต่อ BOM อย่างไร
3. การ์ดเครือข่าย RDMA และสวิตช์ที่รองรับ RoCE
  • การเลือกอะแดปเตอร์ ConnectX และการตรวจสอบความสามารถในการสลับ
4. PFC, ECN, บัฟเฟอร์ และ QoS
  • ข้อกำหนดการควบคุมความแออัดสำหรับโครงสร้าง RoCE ที่คาดการณ์ได้
5. สายเคเบิล, อุปกรณ์ออปติก, จุดเชื่อมต่อ และ FEC
  • วิธีการจับคู่ DAC, AOC, เลนส์, ระยะทาง, ความเร็ว และการเข้ารหัสให้เหมาะสม
6. ซอฟต์แวร์และโครงสร้างพื้นฐานของระบบโฮสต์
  • ข้อกำหนดเกี่ยวกับไดรเวอร์ เฟิร์มแวร์ ระบบปฏิบัติการ การจัดการ พลังงาน และแร็ค
7. รายการตรวจสอบ BOM และคำขอใบเสนอราคาของ RoCE
  • ตัวอย่าง BOM ข้อมูลการจัดซื้อ และคำถามที่พบบ่อย
8. Takeaway สุดท้าย
  • ข้อมูลขั้นต่ำที่จำเป็นในการสร้าง BOM ของ RoCE ที่เข้ากันได้

สิ่งที่เครือข่าย RoCE ต้องการจริงๆ

โดยปกติแล้ว เครือข่าย RoCE ที่ใช้งานจริงจะประกอบด้วยอะแดปเตอร์เซิร์ฟเวอร์ที่รองรับ RDMA สวิตช์ที่รองรับ RoCE อุปกรณ์ออปติกหรือสายเคเบิลที่เข้ากันได้ ไดรเวอร์โฮสต์ การกำหนดค่า QoS ของสวิตช์ และเส้นทางการจัดการแยกต่างหาก

Category รายการที่จำเป็น เกณฑ์การคัดเลือกหลัก
คำนวณ หน่วยประมวลผลกราฟิก (GPU) หรือโหนดเซิร์ฟเวอร์ สล็อต PCIe, โครงสร้าง GPU, ระบบปฏิบัติการ
การเชื่อมต่อ RDMA ConnectX หรือ NIC RDMA อื่นๆ ที่รองรับ ความเร็วพอร์ต, จำนวนพอร์ต, รุ่น PCIe, เฟิร์มแวร์
ผ้าเน็ตเวิร์ค Spectrum หรือสวิตช์อื่นที่รองรับ RoCE PFC, ECN, บัฟเฟอร์, QoS และการรองรับการแยกเครือข่าย
อุปกรณ์เชื่อมต่อกัน DAC, AOC หรือทรานซีฟเวอร์แบบออปติคอล ความเร็ว ระยะทาง ตัวเชื่อมต่อ FEC และการเข้ารหัส
ซอฟต์แวร์โฮสต์ ไดรเวอร์และยูทิลิตี้ RDMA ระบบปฏิบัติการ เวอร์ชันไดรเวอร์ และเฟิร์มแวร์ NIC
ซอฟต์แวร์สวิตช์ Cumulus Linux, Onyx, SONiC หรือระบบปฏิบัติการเครือข่ายอื่น ๆ ที่ได้รับการตรวจสอบแล้ว การสนับสนุนฮาร์ดแวร์ การสนับสนุนฟีเจอร์ และสัญญา
โครงสร้างพื้นฐาน อุปกรณ์จัดการ, แร็ค, แหล่งจ่ายไฟ และอุปกรณ์ระบายความร้อน ระบบสำรองไฟ ความลึก การไหลเวียนของอากาศ และระยะห่างของสายเคเบิล

รายการชิ้นส่วน (BOM) ที่แน่นอนจะขึ้นอยู่กับว่าเครือข่ายนั้นถูกสร้างขึ้นเพื่อการสื่อสารระหว่าง GPU, ระบบจัดเก็บข้อมูลแบบกระจาย, HPC, การรับส่งข้อมูลฐานข้อมูล หรือโครงสร้างพื้นฐานศูนย์ข้อมูลแบบผสมผสาน

กำลังวางแผนจัดทำ BOM สำหรับเครือข่าย RoCE อยู่ใช่ไหม?

โปรดระบุจำนวนเซิร์ฟเวอร์ รุ่นการ์ดเครือข่าย ความเร็วที่ต้องการ ระยะทางของสายเคเบิล และข้อกำหนดของสวิตช์

เริ่มต้นด้วยบทบาทเครือข่าย

ก่อนเลือกสวิตช์ ให้พิจารณาว่าสวิตช์นั้นจะทำหน้าที่เป็นสวิตช์แบบ Leaf สำหรับเซิร์ฟเวอร์ สวิตช์ Leaf ความหนาแน่นสูง สวิตช์ Spine สวิตช์ Storage Fabric สวิตช์คลัสเตอร์ GPU โดยเฉพาะ หรือสวิตช์แบบผสมผสานระหว่างระดับองค์กรและ RoCE

ตู้แร็คเซิร์ฟเวอร์ขนาดเล็กอาจต้องการการเชื่อมต่อ 25GbE จำนวนมาก และมีการเชื่อมต่ออัปลิงก์ 100GbE เพียงไม่กี่จุด ในขณะที่โครงข่าย GPU อาจต้องการการเชื่อมต่อ 100GbE, 200GbE หรือ 400GbE เป็นส่วนใหญ่ ซึ่งนับเป็น BOM ที่แตกต่างกัน แม้ว่าทั้งสองจะถูกอธิบายว่าเป็นเครือข่าย RoCE เหมือนกันก็ตาม

ตัวอย่างของแพลตฟอร์มสเปกตรัม

การออกแบบการเชื่อมต่อ 25GbE ขนาดกะทัดรัดอาจใช้ MSN2010-CB2RCซึ่งมีพอร์ต SFP28 สำหรับการเข้าถึงข้อมูล และพอร์ต QSFP28 สำหรับอัปโหลดข้อมูล

การออกแบบใบไม้แบบ QSFP28 อาจใช้ MSN2100-CB2Fซึ่งการวางแผนการแยกเครือข่ายจะมีความสำคัญหากจำเป็นต้องใช้การเชื่อมต่อเซิร์ฟเวอร์ 25GbE

ผ้าที่มีความหนาแน่นสูงกว่าอาจใช้ เอ็มเอสเอ็น2700-CS2อาร์โดยมีพอร์ต QSFP28 จำนวนมากขึ้นสำหรับการเชื่อมต่อ 40/50/100GbE หรือการกำหนดค่าแบบแยกพอร์ตที่รองรับ

นี่เป็นเพียงตัวอย่างของแพลตฟอร์ม ไม่ใช่คำแนะนำสากล การเลือกขั้นสุดท้ายขึ้นอยู่กับจำนวนพอร์ต การใช้งานเกินกำลัง การออกแบบแร็ค ระบบออปติก และระบบปฏิบัติการเครือข่ายเป้าหมาย

การ์ดเครือข่าย RDMA และสวิตช์ที่รองรับ RoCE

การเลือก NIC RDMA

อะแดปเตอร์เซิร์ฟเวอร์เป็นหนึ่งในส่วนประกอบที่สำคัญที่สุดในการใช้งาน RoCE ควรตรวจสอบ NIC RDMA ที่เหมาะสมว่ารองรับ RoCEv2 หรือไม่ ความเร็วพอร์ต จำนวนพอร์ต รุ่น PCIe เฟิร์มแวร์ ความเข้ากันได้ของไดรเวอร์ PFC ECN และข้อกำหนดใดๆ ของ GPU Direct หรือ storage-fabric

อะแดปเตอร์ NVIDIA ConnectX มักถูกใช้งานในสภาพแวดล้อม RoCE แต่รุ่นของ ConnectX และ OPN ที่ใช้ก็ยังมีความสำคัญอยู่ อะแดปเตอร์ SFP28 25GbE แบบสองพอร์ต จะสร้างความต้องการสายเคเบิลและพอร์ตสวิตช์ที่แตกต่างจากอะแดปเตอร์ OSFP 400GbE แบบพอร์ตเดียว

  • แบบจำลอง NIC และ OPN
  • จำนวนพอร์ตและความเร็วของพอร์ต
  • ประเภทตัวเชื่อมต่อ
  • ข้อกำหนดสล็อต PCIe
  • เวอร์ชั่นของเฟิร์มแวร์
  • แพ็คเกจไดรเวอร์ RDMA
  • ข้อกำหนด GPU Direct หรือการรวมระบบจัดเก็บข้อมูล

ข้อกำหนดสวิตช์ที่รองรับ RoCE

สวิตช์ที่ใช้สำหรับ RoCE ควรได้รับการประเมินจากความสามารถในการจัดการปริมาณการรับส่งข้อมูล ไม่ใช่เพียงแค่ความเร็วสูงสุดของพอร์ตเท่านั้น

  • การควบคุมการไหลลำดับความสำคัญ
  • แจ้งความแออัดอย่างชัดเจน
  • โปรไฟล์คิวแบบไม่สูญเสียข้อมูลหรือแบบรับรู้การสูญเสียข้อมูล
  • การบัฟเฟอร์แพ็กเก็ตที่เพียงพอ
  • DSCP หรือการจัดประเภทการรับส่งข้อมูล 802.1p
  • การจัดการการแจ้งเตือนความแออัด
  • โหมด FEC ที่จำเป็น
  • รองรับการแยกพอร์ต
  • ตรวจสอบระบบปฏิบัติการและเวอร์ชันซอฟต์แวร์แล้ว

สวิตช์อีเธอร์เน็ตทั่วไปอาจส่งต่อแพ็กเก็ต RoCE ได้ แต่ไม่ได้หมายความว่ามันจะให้โครงสร้าง RoCE ที่ได้รับการตรวจสอบหรือคาดการณ์ได้

PFC, ECN, บัฟเฟอร์ และ QoS

การควบคุมการไหลลำดับความสำคัญ

PFC จะหยุดการรับส่งข้อมูลที่มีลำดับความสำคัญบางส่วนชั่วคราว แทนที่จะหยุดการเชื่อมต่อทั้งหมด วิธีนี้ช่วยให้การรับส่งข้อมูล RoCE ได้รับการประมวลผลโดยไม่สูญเสียข้อมูล ในขณะที่การรับส่งข้อมูลประเภทอื่นยังคงใช้งานการเชื่อมต่อต่อไปได้

เพื่อให้ได้โปรไฟล์ RoCE ที่ไม่สูญเสียข้อมูล PFC ต้องได้รับการออกแบบอย่างสม่ำเสมอทั่วทั้ง NIC ของโฮสต์ สวิตช์ลีฟ สวิตช์สไปน์ อุปกรณ์จัดเก็บข้อมูล และอะแดปเตอร์เซิร์ฟเวอร์ระยะไกลในเส้นทางการรับส่งข้อมูล

  • กำหนดลำดับความสำคัญหรือประเภทการรับส่งข้อมูล RoCE ให้กับการรับส่งข้อมูลที่กำหนดไว้
  • กำหนดค่าการแมปความสำคัญเดียวกันทั้งบนโฮสต์และสวิตช์
  • อย่าเปิดใช้งาน PFC ในทุกลำดับความสำคัญโดยไม่มีการออกแบบคลาสการจราจร
  • ตรวจสอบเฟรมหยุดชั่วคราวและพฤติกรรมของคิวหลังการปรับใช้

การกำหนดค่า PFC ที่ไม่ถูกต้องอาจส่งผลให้เกิดปัญหาการหยุดชั่วคราวของ PFC, การปิดกั้นส่วนหัวของแถว, การแพร่กระจายของความแออัด และความหน่วงแฝงของแอปพลิเคชันที่ไม่เสถียร

แจ้งความแออัดอย่างชัดเจน

ECN ให้บริการส่งสัญญาณความแออัดแบบครบวงจรสำหรับ RoCEv2 สวิตช์จะทำเครื่องหมายแพ็กเก็ตเมื่อคิวถึงเกณฑ์ที่กำหนดไว้ และโฮสต์ผู้รับจะเข้าร่วมในการตอบสนองต่อความแออัด

  • การจำแนกประเภทการจราจร RoCE
  • การ์ดเครือข่ายโฮสต์ที่รองรับ ECN
  • เกณฑ์การทำเครื่องหมายสวิตช์
  • การตอบสนองต่อความแออัดของ NIC โฮสต์
  • การจัดการ CNP
  • DSCP ที่สอดคล้องกัน หรือการแมปลำดับความสำคัญ

ความแตกต่างระหว่างบัฟเฟอร์และ ASIC

การกำหนดค่า RoCE ไม่สามารถใช้งานร่วมกันได้โดยอัตโนมัติระหว่างรุ่น ASIC ของสวิตช์ โปรไฟล์ที่ผ่านการตรวจสอบแล้วจะต้องตรงกับ ASIC ของสวิตช์ เวอร์ชัน NOS และโทโพโลยีการใช้งานที่แน่นอน

คำแนะนำของ NVIDIA เกี่ยวกับ Ethernet Storage Fabrics ครอบคลุมถึงข้อควรพิจารณาที่เกี่ยวข้องกับ RoCE ในส่วนของบัฟเฟอร์ คิว ​​PFC และ ECN สำหรับการใช้งานบน Spectrum การกำหนดค่าควรได้รับการทดสอบก่อนนำไปใช้ในสภาพแวดล้อมการใช้งานจริง

สายเคเบิล, ออปติก, เบรกเอาต์ และ FEC

DAC และ AOC

DAC มักใช้สำหรับการเชื่อมต่อระยะสั้นภายในแร็คหรือแร็คที่อยู่ติดกัน ส่วน AOC อาจเหมาะสมเมื่อระยะทางยาวกว่าระยะการใช้งาน DAC แต่ไม่จำเป็นต้องใช้โมดูลออปติคอลแยกต่างหาก

ตรวจสอบความเร็ว ขั้วต่อ ความยาว รัศมีโค้ง FEC การใช้พลังงาน และการรองรับสวิตช์และ NIC สำหรับ DAC หรือ AOC ทุกรุ่น

ส่งสัญญาณออปติคอล

สำหรับลิงก์ที่มีระยะทางยาว รายการวัสดุ (BOM) ควรระบุฟอร์มแฟคเตอร์ ความเร็ว ความยาวคลื่น ไฟเบอร์แบบซิงเกิลโหมดหรือมัลติโหมด ประเภทคอนเนคเตอร์ ระยะทาง ข้อกำหนด FEC ช่วงอุณหภูมิ การรองรับ DOM และความเข้ากันได้กับสวิตช์และ NIC

สายเคเบิลฝ่าวงล้อม

โหมด Breakout จะเปลี่ยนวิธีการคำนวณจำนวนพอร์ต พอร์ต 100GbE QSFP28 หนึ่งพอร์ตอาจกลายเป็นพอร์ต 25GbE สี่พอร์ต ในขณะที่แพลตฟอร์มอื่นๆ อาจรองรับโหมด Breakout 200GbE หรือ 400GbE

รายการวัสดุ (BOM) ต้องระบุพอร์ตหลักและแต่ละช่องสัญญาณแยก อย่านับพอร์ตแยกเป็นอินเทอร์เฟซที่ใช้งานได้สี่พอร์ตจนกว่าจะมีการตรวจสอบสวิตช์ สายเคเบิล NOS และโหมดพอร์ตที่แน่นอนแล้ว

FEC และการเข้ารหัสลิงก์

อุปกรณ์สองชิ้นอาจมีความเร็วและขั้วต่อที่ระบุไว้เหมือนกัน แต่ก็ยังไม่สามารถสร้างการเชื่อมต่อที่เสถียรได้เนื่องจากความแตกต่างของ FEC หรือการเข้ารหัส

  • โหมด FEC ที่รองรับ
  • พฤติกรรม FEC เริ่มต้น
  • การกำหนดค่า FEC ด้วยตนเองหรืออัตโนมัติ
  • ความเข้ากันได้ของ FEC ระหว่าง NIC กับสวิตช์
  • ข้อกำหนด FEC สำหรับช่องทางแยก
  • ข้อกำหนดการเข้ารหัสเฉพาะด้านออปติก

FEC ควรเป็นส่วนหนึ่งของเอกสารรายละเอียดการเชื่อมต่อ มากกว่าที่จะเป็นปัญหาที่เพิ่งค้นพบระหว่างการติดตั้ง

ซอฟต์แวร์โฮสต์และโครงสร้างพื้นฐาน

ซอฟต์แวร์โฮสต์

  • ระบบปฏิบัติการ
  • แพ็คเกจไดรเวอร์ RDMA
  • เฟิร์มแวร์ NIC
  • ยูทิลิตี้ RDMA
  • การกำหนดค่า PFC และ ECN
  • DSCP หรือการกำหนดลำดับความสำคัญ
  • ไดรเวอร์ GPU Direct หรือไดรเวอร์ที่เกี่ยวข้องกับการจัดเก็บข้อมูล

ซอฟต์แวร์สวิตช์

  • ชื่อและเวอร์ชันของ NOS
  • รองรับ Switch ASIC
  • โปรไฟล์ RoCE
  • วิธีการกำหนดค่า PFC และ ECN
  • โปรไฟล์บัฟเฟอร์
  • ไวยากรณ์การแตกออก
  • ขั้นตอนการอัปเกรดและการย้อนกลับ
  • สัญญาการสนับสนุนซอฟต์แวร์

การจัดการและโครงสร้างพื้นฐานของแร็ค

เครือข่าย RoCE ที่ใช้งานจริงควรมีเส้นทางการจัดการอิสระทุกครั้งที่เป็นไปได้ ซึ่งจะช่วยให้วิศวกรสามารถเข้าถึงสวิตช์และเซิร์ฟเวอร์ได้ในระหว่างที่เกิดปัญหาความแออัดของดาต้าเพลนหรือการแก้ไขปัญหาคุณภาพบริการ (QoS)

  • สวิตช์การจัดการนอกแบนด์
  • การเข้าถึงคอนโซล
  • VLAN สำหรับการจัดการ หรือเครือข่ายสำหรับการจัดการ
  • ระบบตรวจสอบ
  • NTP และ DNS
  • การสำรองข้อมูลการกำหนดค่า
  • ระบบจ่ายไฟแบบแร็ค
  • ระบบจ่ายไฟสำรอง
  • สวิตช์และพาวเวอร์ซัพพลายแบบปรับทิศทางลมได้
  • อุปกรณ์จัดการสายเคเบิล
  • อุปกรณ์เลนส์และสายเคเบิลสำรอง

รายการตรวจสอบ BOM และคำขอใบเสนอราคาของ RoCE

ตัวอย่างรายการวัสดุ (BOM) ตามประเภทการใช้งาน

การใช้งาน การเชื่อมต่อโฮสต์ เปลี่ยนบทบาท การเชื่อมต่อทั่วไป ประเด็นหลักในการวางแผน
ตู้แร็คเซิร์ฟเวอร์ 25GbE การ์ดเครือข่าย RDMA SFP28 25GbE ใบไม้หรือชั้นบนสุดของชั้นวาง SFP28 DAC, AOC หรือออปติก จำนวนพอร์ต SFP28 ดั้งเดิมและการเชื่อมต่ออัปลิงก์ 100GbE
โครงสร้าง GPU 100GbE การ์ดเครือข่าย 100GbE QSFP28 ผ้าสันใบ DAC 100GbE, AOC หรืออุปกรณ์ออปติก PFC, ECN, การจองเกินจำนวน และบัฟเฟอร์
เครือข่าย AI 200GbE หรือ 400GbE อะแดปเตอร์ RDMA 200/400GbE ใบหรือสันความเร็วสูง สายเคเบิล QSFP56, QSFP112 หรือ OSFP FEC, การหยุดชั่วคราว, พลังงาน และการสนับสนุนแพลตฟอร์ม
เครือข่ายจัดเก็บข้อมูล RoCE การ์ดเครือข่าย RDMA หรืออะแดปเตอร์จัดเก็บข้อมูล ผ้าเฉพาะหรือผ้ารวม ขึ้นอยู่กับความเร็วและระยะทาง การแยกช่องทางจราจรและการควบคุมการจราจรติดขัด
เครือข่ายองค์กรแบบผสมผสานและเครือข่าย RoCE การ์ดเครือข่าย RDMA และโฮสต์อีเธอร์เน็ตมาตรฐาน โครงสร้างพื้นฐานศูนย์ข้อมูลส่วนกลาง การเชื่อมต่อแบบผสมผสานระหว่างใยแก้วนำแสงและทองแดง การแยกคิวและขอบเขต PFC

ข้อมูลที่ควรระบุในคำขอใบเสนอราคา RoCE

  1. จำนวนเซิร์ฟเวอร์หรือโหนด GPU
  2. รุ่นและจำนวนการ์ดเครือข่าย RDMA
  3. ความเร็วพอร์ตฝั่งโฮสต์ที่ต้องการ
  4. ความเร็วพอร์ตสวิตช์ที่ต้องการ
  5. จำนวนสวิตช์ใบและแกน
  6. อัตราส่วนการจองเกินจำนวนที่ต้องการ
  7. ข้อกำหนด RoCEv1 หรือ RoCEv2
  8. GPUDirect, พื้นที่จัดเก็บข้อมูล หรือแอปพลิเคชัน HPC
  9. ระยะห่างระหว่างแร็ค
  10. DAC, AOC หรือตัวเลือกด้านออปติคอล
  11. ข้อกำหนดเกี่ยวกับชนิดของใยแก้วนำแสงและขั้วต่อ
  12. ข้อกำหนด FEC
  13. ข้อกำหนด PFC และ ECN
  14. ความชอบ NOS
  15. ความลึกของแร็ค การไหลเวียนของอากาศ และข้อกำหนดด้านพลังงาน
  16. ต้องใช้เลนส์และสายเคเบิลสำรอง

คำถามที่พบบ่อย (FAQs)

Q1 ฉันจำเป็นต้องใช้การ์ดเครือข่าย ConnectX สำหรับ RoCE หรือไม่?
คุณต้องมีอะแดปเตอร์เครือข่ายที่สามารถรองรับ RDMA และมีคุณสมบัติ RoCE ที่จำเป็น อะแดปเตอร์ ConnectX เป็นตัวเลือกที่นิยมใช้ แต่ยังคงต้องตรวจสอบรุ่น ความเร็วพอร์ต เฟิร์มแวร์ และไดรเวอร์ให้แน่ใจอีกครั้ง
Q2 สวิตช์ 100GbE ทุกตัวสามารถใช้งาน RoCE ได้หรือไม่?
ไม่ ต้องตรวจสอบสวิตช์ว่ามี PFC, ECN, การบัฟเฟอร์, การจำแนกประเภท QoS, FEC และการกำหนดค่า NOS ที่ผ่านการตรวจสอบแล้วหรือไม่ ความเร็วพอร์ตสูงเพียงอย่างเดียวไม่ได้ยืนยันว่ารองรับ RoCE
Q3 RoCE จำเป็นต้องใช้ PFC เสมอหรือไม่?
รูปแบบการออกแบบที่แน่นอนขึ้นอยู่กับเวอร์ชัน RoCE และโปรไฟล์การควบคุมความแออัด โดยทั่วไปแล้ว การใช้งาน RoCE แบบไม่สูญเสียข้อมูลจะใช้ PFC ในขณะที่ RoCEv2 ยังใช้ ECN สำหรับการส่งสัญญาณความแออัดแบบครบวงจร โฮสต์และสวิตช์ทุกตัวในเส้นทางจะต้องได้รับการกำหนดค่าอย่างสอดคล้องกัน
Q4 จำเป็นต้องตั้งค่า PFC และ ECN บน NIC ของเซิร์ฟเวอร์หรือไม่?
ใช่แล้ว RoCE เป็นการออกแบบแบบครบวงจร การกำหนดค่า PFC หรือ ECN เฉพาะบนสวิตช์ไม่ได้รับประกันว่าโฮสต์จะทำงานได้อย่างถูกต้อง
Q5 สามารถใช้สายอีเธอร์เน็ตทั่วไปกับ RoCE ได้หรือไม่?
เฉพาะในกรณีที่ประเภทสายเคเบิล ขั้วต่อ ความเร็ว ระยะทาง การเข้ารหัส FEC และการรองรับของอุปกรณ์เข้ากันได้เท่านั้น ต้องเลือกสายเคเบิลเป็นส่วนหนึ่งของการออกแบบการเชื่อมต่อ NIC กับสวิตช์
Q6 พอร์ต 100GbE หนึ่งพอร์ตสามารถเชื่อมต่อกับเซิร์ฟเวอร์ 25GbE สี่เครื่องได้หรือไม่?
เป็นไปได้ หากพอร์ตสวิตช์ สายเคเบิลแยกสัญญาณ ระบบปฏิบัติการเครือข่าย (NOS) อินเทอร์เฟซการ์ดเครือข่าย (NIC) และโหมดพอร์ตสนับสนุนการกำหนดค่าดังกล่าว พอร์ตหลักและเลนแยกสัญญาณทั้งหมดต้องระบุไว้ในรายการวัสดุ (BOM)
Q7 RoCE เหมาะสำหรับเครือข่ายองค์กรแบบผสมผสานหรือไม่?
เป็นไปได้ แต่ต้องออกแบบคลาสการรับส่งข้อมูลอย่างระมัดระวัง การรับส่งข้อมูล RoCE การจัดการ การจัดเก็บข้อมูล และการรับส่งข้อมูลอีเธอร์เน็ตทั่วไปไม่ควรแข่งขันกันหากไม่มีนโยบายคิว ลำดับความสำคัญ และการควบคุมความแออัดที่ชัดเจน

รอบชิงชนะเลิศ Takeaway

โดยปกติแล้ว รายการชิ้นส่วน (BOM) ของเครือข่าย RoCE ที่สมบูรณ์จะประกอบด้วย การ์ดเครือข่าย (NIC) สำหรับเซิร์ฟเวอร์หรือ GPU ที่รองรับ RDMA สวิตช์ที่รองรับ RoCE DACs AOCs หรือตัวรับส่งสัญญาณแบบออปติคอล ไดรเวอร์โฮสต์ ระบบปฏิบัติการ (NOS) ของสวิตช์ที่รองรับ การกำหนดค่า PFC และ ECN เครือข่ายการจัดการ และส่วนประกอบสำหรับแร็ค พลังงาน การระบายความร้อน และการจัดการสายเคเบิล

วิธีที่ปลอดภัยที่สุดในการสร้าง BOM (Bill of Materials) คือเริ่มต้นจากแอปพลิเคชันและรูปแบบการรับส่งข้อมูล จากนั้นจับคู่ NIC, สวิตช์, สายเคเบิล, อุปกรณ์ออปติก, ซอฟต์แวร์ และโมเดลการสนับสนุนเข้าด้วยกันเป็นระบบเดียว

โปรดส่งจำนวนเซิร์ฟเวอร์ รุ่น RDMA NIC ความเร็วเป้าหมาย ความต้องการสวิตช์ ระยะทางของสายเคเบิล และข้อกำหนด RoCE ก่อนที่จะสรุปรายการอุปกรณ์ขั้นสุดท้าย