การกำหนดค่า NVIDIA SN5610 800G Breakout กับ Cumulus Linux

ตัวเลือกการแยกสัญญาณ SN5610 800G

SN5610 รองรับอินเทอร์เฟซ OSFP 800GbE จำนวน 64 พอร์ต ขึ้นอยู่กับความเร็วปลายทางที่ต้องการ พอร์ตทางกายภาพสามารถใช้งานได้โดยตรงหรือแบ่งออกเป็นอินเทอร์เฟซเชิงตรรกะหลายพอร์ตก็ได้

โหมด 100G จำเป็นต้องได้รับการพิจารณาเป็นพิเศษ ไม่ใช่การแปลงพอร์ต OSFP ทางกายภาพทั้ง 64 พอร์ตให้เป็นพอร์ตเชิงตรรกะ 8 พอร์ตต่อพอร์ตอย่างง่ายๆ ข้อจำกัดของพอร์ตที่อยู่ติดกันลดจำนวนพอร์ตต้นทางทางกายภาพที่ใช้งานได้สำหรับการกำหนดค่านี้

SN5610 รองรับการเข้ารหัสทั้ง PAM4 และ NRZ การทำงานที่ความเร็วต่ำอาจใช้การเข้ารหัส NRZ ในขณะที่ลักษณะการทำงานของแต่ละเลนจะขึ้นอยู่กับโหมดพอร์ต ตัวรับส่งสัญญาณ สายเคเบิลแยก และอุปกรณ์ปลายทาง โปรดตรวจสอบตารางแพลตฟอร์มปัจจุบันก่อนที่จะสรุปแผนผังพอร์ต

สำหรับการเชื่อมต่อ 800G โดยตรง โปรดตรวจสอบขนาดและระยะทางการส่งสัญญาณแสงที่ต้องการก่อนเลือกอุปกรณ์ ตัวรับส่งสัญญาณ OSFP 800Gแม้ว่าทรานซีฟเวอร์จะตรงกับอัตราการส่งข้อมูลที่โฆษณาไว้ ก็อาจยังไม่เหมาะสมกับโทโพโลยีการเชื่อมต่อหรืออินเทอร์เฟซระยะไกลที่เลือกไว้ก็ได้

สิ่งที่ต้องตรวจสอบก่อนทำการกำหนดค่า

การวางแผนการเชื่อมต่อควรเริ่มต้นด้วยข้อกำหนดของอุปกรณ์ปลายทาง อย่าเลือกสายเคเบิลก่อนแล้วค่อยพยายามออกแบบเครือข่ายให้เข้ากับสายเคเบิลนั้น

ยืนยันรูปทรงพอร์ตที่ต้องการ

• จำนวนลิงก์ที่ต้องการ ได้แก่ 800G, 400G, 200G และ 100G
• ความเร็วที่รองรับโดยสวิตช์ระยะไกล, NIC, เซิร์ฟเวอร์ หรือตัวเร่งความเร็ว
• อินเทอร์เฟซ OSFP, QSFP112, QSFP56 หรือ QSFP28 ที่ปลายแต่ละด้าน
• ข้อกำหนดสำหรับ DAC, AOC, ตัวรับส่งสัญญาณแสง หรือแพทช์ไฟเบอร์
• โหมด FEC ที่จำเป็นและพฤติกรรมการเจรจาอัตโนมัติ
• ระบบปฏิบัติการ Cumulus Linux เวอร์ชันที่ทำงานบน SN5610

บันทึกการแมปพอร์ตทางกายภาพไปยังพอร์ตเชิงตรรกะ

สำหรับพอร์ตแหล่งสัญญาณแยกแต่ละพอร์ต ให้บันทึกหมายเลข OSFP ทางกายภาพ ชื่ออินเทอร์เฟซเชิงตรรกะที่ได้ อุปกรณ์ที่เชื่อมต่อ รุ่นสายเคเบิลหรือใยแก้วนำแสง ความเร็ว FEC และ MTU สิ่งนี้มีความสำคัญอย่างยิ่งสำหรับการออกแบบ 8×100G เนื่องจากพอร์ตทางกายภาพที่อยู่ติดกันอาจไม่พร้อมใช้งาน

บันทึกการกำหนดค่าควรระบุด้วยว่าลิงก์นั้นใช้สำหรับการเชื่อมต่อที่หันหน้าเข้าหาหน่วยประมวลผล การเชื่อมต่ออัปลิงก์จากลีฟไปยังสไปน์ เครือข่ายจัดเก็บข้อมูล เส้นทางการจัดการ หรือการเชื่อมต่อระหว่างสวิตช์ โหมดการแยกสัญญาณแบบเดียวกันอาจเหมาะสมสำหรับบทบาทหนึ่ง แต่ไม่เหมาะสมสำหรับอีกบทบาทหนึ่ง

กำหนดค่าพอร์ตแยกใน Cumulus Linux

Cumulus Linux เวอร์ชัน 5.4 และเวอร์ชันที่ใหม่กว่า ใช้สัญลักษณ์แบบแยกส่วน เช่น 1x, 2x, 4xและ 8xโหมดการแยกส่วนจะถูกกำหนดค่าแยกต่างหากจากความเร็วของอินเทอร์เฟซเชิงตรรกะที่ได้

ตัวอย่าง NVUE: 800G เป็น 2×400G

ตัวอย่างต่อไปนี้ใช้ swp1 โดยระบุเป็นพอร์ตต้นทางทางกายภาพ ชื่ออินเทอร์เฟซจริงต้องตรงกับแผนผังพอร์ตของ SN5610

ตัวอย่าง NVUE: 800G เป็น 4×200G

ตัวอย่าง NVUE: 800G เป็น 8×100G

โดยปกติแล้ว อินเทอร์เฟซที่ได้จะถูกตั้งชื่อจาก swp1s0 ตลอด swp1s7ตรวจสอบสถานะพอร์ตที่อยู่ติดกันก่อนนำการกำหนดค่านี้ไปใช้ในสภาพแวดล้อมการใช้งานจริง

วิธีการ ports.conf

ด้วยวิธีการกำหนดค่า Linux ให้กำหนดรูปร่างการแยกออกใน /etc/cumulus/ports.confต่อไปนี้เป็นตัวอย่างการกำหนดค่า 8×100G โปรดแทนที่หมายเลขพอร์ตด้วยค่าที่ถูกต้องสำหรับแผนผังพอร์ต SN5610 ที่วางแผนไว้

ความเร็วพอร์ตจะถูกกำหนดค่าแยกต่างหากใน NVUE หรือใน /etc/network/interfacesหลังจากแก้ไขไฟล์เสร็จแล้ว ให้ตรวจสอบความถูกต้องของไวยากรณ์และโหลดบริการสลับระบบใหม่ตามเวอร์ชัน Cumulus Linux ที่ติดตั้งไว้และขั้นตอนการเปลี่ยนแปลงระบบสำหรับการใช้งานจริง

ในระบบที่ใช้งานจริง ให้ตรวจสอบว่าขั้นตอนการรีโหลดส่งผลกระทบต่อปริมาณการรับส่งข้อมูลชั่วคราวในโหมดการกำหนดค่าที่เลือกหรือไม่ อย่าคิดว่าขั้นตอนการเปลี่ยนแปลงเดียวกันนี้ใช้ได้กับ Cumulus Linux ทุกเวอร์ชันหรือทุกโหมด ACL

ตรวจสอบการตั้งค่าเลนเมื่อเชื่อมต่อกับแพลตฟอร์มอื่น

ในพอร์ต QSFP-DD หรือ OSFP แบบ 8 เลนบางพอร์ต Cumulus Linux จะใช้การจัดสรรเลนเริ่มต้นสำหรับการส่งสัญญาณแบบ 4x หากแพลตฟอร์มปลายทางใช้ความกว้างของเลนที่แตกต่างกัน ทั้งสองฝั่งอาจต้องกำหนดค่าเลนอย่างชัดเจน ตรวจสอบคุณสมบัติของพอร์ตปัจจุบันก่อนที่จะเปลี่ยนความเร็วเพียงอย่างเดียว

OSFP, สายเคเบิลแยกสัญญาณ และข้อจำกัด QSA

สายเคเบิลแยกสัญญาณต้องตรงกับพอร์ตต้นทาง พอร์ตปลายทาง จำนวนเลน การเข้ารหัส ความเร็ว ระยะทาง และข้อกำหนด FEC รูปร่างของขั้วต่อเพียงอย่างเดียวไม่เพียงพอที่จะพิสูจน์ความเข้ากันได้

สำหรับการจัดซื้อจัดหา ให้เปรียบเทียบโครงสร้างที่ต้องการกับโครงสร้างที่มีอยู่ สายเคเบิล NVIDIA Mellanox breakout และ DACโปรดตรวจสอบว่าสินค้าที่เลือกเป็นชุดประกอบ 800G เป็น 2×400G, 800G เป็น 4×200G หรือ 800G เป็น 8×100G ก่อนทำการสั่งซื้อ

ตรวจสอบการเชื่อมต่อของสายเคเบิลและใยแก้วนำแสง

• ตัวเชื่อมต่อแหล่งที่มาและตัวเชื่อมต่อเป้าหมาย
• การกำหนดเส้นทางไฟฟ้า
• อัตราการรับส่งข้อมูลที่รองรับบนอินเทอร์เฟซเชิงตรรกะทุกตัว
• DAC, AOC หรือทรานซีฟเวอร์แบบออปติคอล
• ชนิดของใยแก้วนำแสง ขั้วต่อ และระยะทางสูงสุด
• ข้อกำหนด FEC สำหรับสายเคเบิลหรือใยแก้วนำแสง
• สถานะการสนับสนุนบนเวอร์ชัน Cumulus Linux ที่ติดตั้งไว้

อย่าคิดว่าการสนับสนุน QSA แบบทั่วไปจะรองรับได้

คำแนะนำทั่วไปของ QSA สำหรับการเสียบทรานซีฟเวอร์ SFP เข้ากับพอร์ต QSFP นั้น ไม่ได้ใช้ได้กับพอร์ต OSFP ของ SN5610 โดยอัตโนมัติ เอกสารของ NVIDIA เกี่ยวกับพฤติกรรมของ QSA สำหรับอินเทอร์เฟซ QSFP ที่รองรับนั้น ไม่ควรนำมาใช้เป็นหลักประกันโดยทั่วไปสำหรับการทำงานของ OSFP ไปยัง SFP

ก่อนใช้งานอะแดปเตอร์ โปรดตรวจสอบรุ่นอะแดปเตอร์ โหมดพอร์ต OSFP ชนิดออปติก SFP หรือ SFP28 เวอร์ชัน Cumulus Linux อินเทอร์เฟซฝั่งตรงข้าม และความเร็วที่รองรับให้แน่ชัด การกำหนดค่า QSA ไม่ควรนำไปใช้เป็นการกำหนดค่าแบบแยกสัญญาณ เว้นแต่เอกสารประกอบของแพลตฟอร์มจะรองรับการออกแบบนั้นอย่างชัดเจน

จับคู่ FEC ที่ปลายทั้งสองด้าน

พฤติกรรมของ FEC ขึ้นอยู่กับประเภทของสายเคเบิล โมดูลออปติคอล ความเร็วของเลน และอุปกรณ์ปลายทาง การเชื่อมต่ออาจยังคงหยุดทำงานเมื่อปลายทั้งสองด้านใช้การตั้งค่า FEC ที่ไม่เข้ากัน หรืออาจแสดงข้อผิดพลาดเพิ่มขึ้นหลังจากที่กลับมาใช้งานได้แล้ว

วางแผน SN5610 สำหรับผ้าสันใบไม้ AI

ในการวางแผนโครงสร้าง AI นั้น การเชื่อมต่อควรครอบคลุมถึงลิงก์ที่เชื่อมต่อกับหน่วยประมวลผล ลิงก์อัปจากโหนดใบไปยังโหนดหลัก ระบบสำรอง การรองรับปริมาณงานเกินความต้องการ และการขยายในอนาคต จำนวนพอร์ตเชิงตรรกะที่มากขึ้นไม่ได้หมายความว่าการออกแบบจะดีกว่าเสมอไป

สำหรับแต่ละลีฟและสไปน์ ให้บันทึกข้อมูลพอร์ต OSFP ทางกายภาพ โหมดการแยกสัญญาณ อินเทอร์เฟซเชิงตรรกะ จุดสิ้นสุด รุ่นสายเคเบิลหรือออปติก FEC MTU และเส้นทางการทำงานสำรองที่คาดไว้ การทำเช่นนี้จะช่วยให้การเปลี่ยนและแก้ไขปัญหาในภายหลังทำได้รวดเร็วยิ่งขึ้น

สถาปัตยกรรมอ้างอิงของ NVIDIA ให้ตัวอย่างการเชื่อมต่อระดับ 400G ในโครงสร้างพื้นฐาน AI แต่โทโพโลยีที่ถูกต้องยังคงขึ้นอยู่กับแพลตฟอร์มตัวเร่งความเร็ว ความเร็วของ NIC ขนาดของเครือข่าย รูปแบบการสำรองข้อมูล และเป้าหมายการใช้งานเกินกำลัง ควรใช้... สถาปัตยกรรมอ้างอิง NVIDIA AI Factory ใช้เป็นข้อมูลอ้างอิงด้านการออกแบบมากกว่าเป็นแผนผังท่าเรือสากล

รักษาค่า MTU ให้คงที่ตลอดเส้นทาง

โดยทั่วไป Cumulus Linux จะใช้ MTU ขนาด 9216 ไบต์บนอินเทอร์เฟซดาต้าเพลน แต่ MTU ที่ใช้งานได้จริงนั้นขึ้นอยู่กับอินเทอร์เฟซทางกายภาพ บอนด์ บริดจ์ VLAN VXLAN และอุปกรณ์ปลายทางแต่ละตัว การเปลี่ยนแปลงการเชื่อมต่อแบบแยกออกไม่จำเป็นต้องกำหนด MTU ใหม่โดยอัตโนมัติ แต่เครือข่าย AI และโอเวอร์เลย์ต้องใช้แผน MTU แบบ end-to-end

แก้ไขปัญหาพอร์ตหายและการเชื่อมต่อล้มเหลว

หากตรวจพบโมดูล OSFP ทางกายภาพ แต่ไม่พบอินเทอร์เฟซแบบแยกที่คาดไว้ ให้ตรวจสอบโหมดการแยก (breakout mode), ข้อจำกัดพอร์ตที่อยู่ติดกัน (adjacent-port restriction), ความเร็วอินเทอร์เฟซแบบแยก (split-interface speed), การกำหนดค่าเลน (lane configuration) และการรองรับสายเคเบิลหรือใยแก้วนำแสง (cable or optic support) ก่อนที่จะเปลี่ยนค่า MTU

ตรวจสอบสถานะการเชื่อมต่อและการรับส่งสัญญาณ

ตรวจสอบความเร็วในการเชื่อมต่อและ FEC

เปรียบเทียบค่าการทำงานและค่าที่นำไปใช้สำหรับอินเทอร์เฟซแบบแยก หากความเร็วถูกต้องแต่ลิงก์ยังคงใช้งานไม่ได้ ให้เปรียบเทียบโหมด FEC และจำนวนเลนกับอุปกรณ์ปลายทาง

ตรวจสอบค่า MTU เฉพาะหลังจากที่การเชื่อมต่อทางกายภาพถูกต้องแล้วเท่านั้น

ใช้คำสั่งต่อไปนี้เพื่อยืนยันค่า MTU ที่กำหนดค่าและใช้งานอยู่ หากลิงก์ทางกายภาพ ความเร็ว FEC และทรานซีฟเวอร์ถูกต้อง ให้เปรียบเทียบค่า MTU ตลอดเส้นทางการส่งต่อทั้งหมด

คำถามที่พบบ่อย (FAQs)

รอบชิงชนะเลิศ Takeaway

SN5610 สามารถทำงานได้ทั้งในโหมดสวิตช์ 800G โดยตรง หรือในโหมดแพลตฟอร์มความหนาแน่นสูง 400G, 200G หรือ 100G รายละเอียดการออกแบบหลักที่ควรจำไว้คือ โหมด 8×100G ใช้พอร์ตต้นทาง OSFP จำนวน 32 พอร์ต และต้องมีการจำกัดพอร์ตที่อยู่ติดกันรวมอยู่ในแผนพอร์ตด้วย

การติดตั้งระบบที่น่าเชื่อถือควรบันทึกโหมดการแยกสัญญาณ ชื่ออินเทอร์เฟซเชิงตรรกะ รุ่นสายเคเบิลหรือใยแก้วนำแสง การกำหนดค่าเลน ความเร็ว FEC และ MTU ไว้ด้วยกัน หากคุณต้องการความช่วยเหลือในการตรวจสอบแผนผังพอร์ตหรือการจับคู่ใยแก้วนำแสงและสายเคเบิลที่ต้องการ ส่งเอกสารข้อกำหนด SN5610 ของคุณเพื่อการตรวจสอบ.