Mellanox Spectrum SN2700 เทียบกับ SN3700: เส้นทางการอัปเกรดสำหรับศูนย์ข้อมูลเป็นอย่างไร?

เมื่อคุณทำการย้ายระบบ NVMe-over-Fabrics (NVMe-oF) ในช่วงเที่ยงคืน หรือขยายคลัสเตอร์ประมวลผล AI ที่เปิดใช้งาน RDMA และเริ่มสังเกตเห็นการสูญเสียแพ็กเก็ตเงียบๆ และการส่ง TCP ซ้ำผ่านสวิตช์ Leaf รุ่นเก่าของคุณ สาเหตุส่วนใหญ่ไม่ได้มาจากสายไฟเบอร์ทางกายภาพ ในสภาพแวดล้อมการจัดเก็บข้อมูลที่มีปริมาณงานสูงและความหน่วงต่ำ การส่งข้อมูลแบบไมโครเบิร์สต์สามารถทำให้บัฟเฟอร์แพ็กเก็ตแบบคงที่ทำงานหนักเกินไปได้ง่าย ส่งผลให้เกิดปัญหาคอขวดในการเรียงลำดับบัฟเฟอร์แพ็กเก็ต เป็นเวลาหลายปีที่ Mellanox Spectrum SN2700 ทำหน้าที่เป็นแกนหลักของโครงสร้าง Leaf/Spine ในศูนย์ข้อมูล 100GbE อย่างไรก็ตาม เมื่อปริมาณงานเปลี่ยนไปสู่การเรียนรู้ของเครื่องแบบกระจายและการจัดเก็บข้อมูลแฟลชความหนาแน่นสูง ข้อจำกัดของซิลิคอนรุ่นแรกก็เริ่มปรากฏชัด

การอัปเกรดจาก Mellanox Spectrum SN2700 (Spectrum-1 ASIC) ไปเป็น SN3700 (Spectrum-2 ASIC) ไม่ใช่แค่การเปลี่ยนจาก 100GbE ไปเป็น 200GbE เท่านั้น แต่เป็นการเปลี่ยนแปลงทางสถาปัตยกรรมพื้นฐานในด้านการจัดสรรบัฟเฟอร์แพ็กเก็ต ความสามารถในการส่งข้อมูลทางไกล และการจัดการความแออัด การวิเคราะห์ทางเทคนิคเชิงลึกนี้จะประเมินไปป์ไลน์ซิลิคอน ตัวชี้วัดประสิทธิภาพ และกลยุทธ์การใช้งานจริงที่จำเป็นต่อการย้ายศูนย์ข้อมูลจาก 100G ไปเป็น 200G อย่างราบรื่น

สารบัญ

• วิวัฒนาการของซิลิคอนไปป์ไลน์: สถาปัตยกรรม ASIC Spectrum-1 เทียบกับ Spectrum-2
• ข้อมูลจำเพาะของฮาร์ดแวร์และการประเมินประสิทธิภาพในโลกแห่งความเป็นจริง
• การลดปัญหา Port Flapping และ FEC Mismatches ในการใช้งาน 100G/200G
• การย้ายระบบและการจัดซื้อเชิงกลยุทธ์: การเพิ่มประสิทธิภาพงบประมาณการลงทุน (CapEx) ของศูนย์ข้อมูล
• การแก้ไขปัญหาโดยผู้เชี่ยวชาญและคำถามและคำตอบจากชุมชน

วิวัฒนาการของซิลิคอนไปป์ไลน์: สถาปัตยกรรม ASIC Spectrum-1 เทียบกับ Spectrum-2

ความแตกต่างทางด้านสถาปัตยกรรมระหว่าง Mellanox Spectrum SN2700 กับ SN3700 เริ่มต้นที่ระดับซิลิคอน SN2700 ขับเคลื่อนด้วยชิป ASIC Spectrum-1 รุ่นแรก ซึ่งผลิตด้วยกระบวนการ 28 นาโนเมตร SN3700 ใช้ชิป Spectrum-2 ASIC ซึ่งสร้างขึ้นบนกระบวนการผลิต FinFET 16 นาโนเมตรที่มีประสิทธิภาพสูง การลดขนาดชิปนี้ทำให้ Mellanox สามารถเพิ่มความสามารถในการสวิตช์ได้เป็นสองเท่า พร้อมทั้งนำเสนอไปป์ไลน์การประมวลผลแพ็กเก็ตที่ซับซ้อนยิ่งขึ้น

การจัดลำดับบัฟเฟอร์แพ็กเก็ตและการลดผลกระทบจากไมโครเบิร์สต์

การปรับปรุงที่สำคัญที่สุดในสถาปัตยกรรม ASIC ของ Spectrum-2 คือโมเดลการจัดสรรบัฟเฟอร์แพ็กเก็ต:

• สเปกตรัม-1 (SN2700): มีบัฟเฟอร์แพ็กเก็ตแบบใช้ร่วมกันเต็มรูปแบบขนาด 16MB แม้ว่าจะเหนือกว่าบัฟเฟอร์แบบแบ่งส่วน/แยกส่วนของชิป Broadcom Tomahawk รุ่นใหม่ๆ แต่ 16MB ก็อาจเต็มได้อย่างรวดเร็วภายใต้รูปแบบการรับส่งข้อมูลแบบ incast ที่หนักหน่วง (เช่น การเขียนข้อมูลแบบ many-to-one)
• สเปกตรัม-2 (SN3700): มีบัฟเฟอร์แพ็กเก็ตขนาดใหญ่ถึง 42MB ที่ใช้งานร่วมกันแบบไดนามิก บัฟเฟอร์นี้ไม่ได้ถูกแบ่งพาร์ติชันแบบคงที่ต่อพอร์ต แต่ใช้อัลกอริธึมการจัดสรรแบบไดนามิกเพื่อจัดสรรพื้นที่บัฟเฟอร์ตามความต้องการให้กับพอร์ตที่ประสบปัญหาความแออัดชั่วคราว ซึ่งจะเปลี่ยนแปลงรูปแบบการดรอปข้อมูลในช่วงไมโครเบิร์สต์อย่างมาก ทำให้ SN3700 สามารถรองรับข้อมูลในช่วงเบิร์สต์ที่มีขนาดใหญ่กว่า SN2700 ถึง 2.6 เท่า ก่อนที่จะเริ่มการดรอปข้อมูลส่วนท้ายหรือกระตุ้นการควบคุมการไหลแบบลำดับความสำคัญ (PFC)

โปรไฟล์ความหน่วง

ในการซื้อขายความถี่สูง (HFT) และการจัดกลุ่มคลัสเตอร์ที่มีความหน่วงต่ำมาก ความหน่วงระหว่างพอร์ตเป็นตัวชี้วัดที่สำคัญ SN2700 ให้ความหน่วงต่ำมากเพียง 300 นาโนวินาทีสำหรับแพ็กเก็ต 100GbE ที่น่าสนใจคือ SN3700 มีความหน่วงสูงกว่าเล็กน้อยประมาณ 425 นาโนวินาที การเพิ่มขึ้นเล็กน้อยนี้เป็นข้อแลกเปลี่ยนกับความลึกของไปป์ไลน์ที่เพิ่มขึ้น ตารางค้นหาบัฟเฟอร์ที่ใหญ่ขึ้น และความสามารถในการแยกวิเคราะห์แพ็กเก็ตขั้นสูงของ Spectrum-2 สำหรับศูนย์ข้อมูลองค์กรและเวิร์กโหลด AI 99% ความจุบัฟเฟอร์ขนาดใหญ่และกลไกการหลีกเลี่ยงความแออัดของ SN3700 นั้นคุ้มค่ากว่าความแตกต่างของความหน่วง 125 นาโนวินาทีมาก

ระบบส่งข้อมูลทางไกลของฮาร์ดแวร์: เกิดอะไรขึ้นบ้าง (WJH)

ชิป ASIC Spectrum-1 อาศัยการตรวจสอบสถานะแบบดั้งเดิมด้วย sFlow และ SNMP ซึ่งมักจะพลาดสัญญาณรบกวนขนาดเล็กที่เกิดขึ้นในช่วงเวลาไม่กี่มิลลิวินาที ส่วนชิป ASIC Spectrum-2 นำเสนอการฝังฮาร์ดแวร์ เกิดอะไรขึ้นเมื่อกี้ (WJH) ระบบตรวจสอบข้อมูลทางไกล (Telemetry) WJH ตรวจสอบแพ็กเก็ตที่ถูกดรอปที่ระดับ ASIC และส่งข้อมูลเมตาการวินิจฉัยโดยละเอียด (รวมถึงสาเหตุการดรอปที่แน่นอน เช่น ความไม่ตรงกันของ VLAN, การดรอป ACL หรือการดรอปส่วนท้ายของบัฟเฟอร์) ไปยังเครื่องมือตรวจสอบแบบเรียลไทม์โดยตรง ซึ่งช่วยลดการคาดเดาในระหว่างการแก้ไขปัญหาเครือข่ายที่ซับซ้อน

ข้อมูลจำเพาะของฮาร์ดแวร์และการประเมินประสิทธิภาพในโลกแห่งความเป็นจริง

ในการวางแผนการอัปเกรด Mellanox SN2700 สถาปนิกเครือข่ายต้องประเมินข้อจำกัดด้านการขยายขนาดทั้งทางกายภาพและตรรกะของทั้งสองแพลตฟอร์ม SN2700 เป็นแพลตฟอร์ม 100GbE โดยเฉพาะ ในขณะที่ตระกูล SN3700 มีหลายรุ่นย่อย รวมถึง SN3700C (สวิตช์ 100G 32 พอร์ตที่ออกแบบมาเพื่อใช้ทดแทน SN2700 โดยตรง แต่มีข้อดีของ Spectrum-2) และ SN3700 มาตรฐาน (ซึ่งรองรับ 32 พอร์ต 200GbE ผ่านอินเทอร์เฟซ QSFP56)

เพื่อเพิ่มประสิทธิภาพในการจัดซื้อจัดจ้างและประเมินการจัดสรรงบประมาณ คุณสามารถศึกษาข้อมูลเพิ่มเติมได้จาก... ข้อมูลจำเพาะและราคาของสวิตช์ Mellanox Spectrum SN2700 เพื่อเปรียบเทียบต้นทุนการใช้งานระบบเดิมกับฮาร์ดแวร์รุ่นใหม่

ตารางต่อไปนี้แสดงรายละเอียดทางเทคนิคของ SN2700, SN3700C และ SN3700:

การลดปัญหา Port Flapping และ FEC Mismatches ในการใช้งาน 100G/200G

ปัญหาที่พบได้ทั่วไปในโลกแห่งความเป็นจริงทางด้านวิศวกรรมระหว่างการย้ายระบบศูนย์ข้อมูลจาก 100G ไปยัง 200G คือ... ความไม่ตรงกันของการแก้ไขข้อผิดพลาดล่วงหน้า (FEC)เมื่อเชื่อมต่อการ์ดเครือข่าย 100G รุ่นเก่า (เช่น ConnectX-4 หรือ ConnectX-5) เข้ากับพอร์ตสวิตช์ Spectrum-2 รุ่นใหม่ หรือเมื่อใช้ทรานซีฟเวอร์จากผู้ผลิตรายอื่น การเชื่อมต่อมักจะไม่ทำงานหรือเกิดการสลับสถานะพอร์ตอย่างต่อเนื่อง

ปัญหานี้เกิดขึ้นเนื่องจากโหมด FEC เริ่มต้นบน SN3700 (โดยทั่วไปคือ FEC แบบ Reed-Solomon หรือ rs) อาจไม่เจรจากับ NIC รุ่นเก่าโดยอัตโนมัติ ซึ่งอาจคาดหวัง no-fec หรือ Firecode FEC (fc).

เพื่อแก้ไขปัญหานี้ วิศวกรเครือข่ายต้องกำหนดค่าความเร็วพอร์ต ตัวเลือกการแยกพอร์ต และโหมด FEC ด้วยตนเอง ด้านล่างนี้คือสคริปต์การกำหนดค่าที่พร้อมคัดลอกและวางสำหรับ Mellanox Onyx (MLNX-OS) เพื่อแยกพอร์ต 200G บน SN3700 ออกเป็นสองอินเทอร์เฟซ 100G และตั้งค่าโหมด FEC ด้วยตนเอง rs เพื่อป้องกันการเกิดการกระพือของแพ็กเก็ต และตรวจสอบตัวนับการดรอปแพ็กเก็ตในบัฟเฟอร์

# Enter global configuration mode
enable
configure terminal

# Step 1: Configure port breakout on interface 1/1 (Split 200G QSFP56 to 2x 100G)
interface ethernet 1/1 module-type qsfp-split-2

# Step 2: Navigate to the newly created sub-interfaces and configure FEC
interface ethernet 1/1/1
  description Uplink_To_Legacy_100G_Leaf
  speed 100G
  fec rs
  no shutdown
exit

interface ethernet 1/1/2
  description Storage_Node_Connection
  speed 100G
  fec rs
  no shutdown
exit

# Step 3: Configure RoCEv2 Congestion Control (Explicit Congestion Notification - ECN)
interface ethernet 1/1/1 traffic-class 3 congestion-control ecn minimum-threshold 150kb maximum-threshold 1500kb mark-probability 10

# Step 4: Verification and Diagnostics
show interfaces ethernet 1/1/1 status
show interfaces ethernet 1/1/1 counters drop
show system wjh-records

การย้ายระบบและการจัดซื้อเชิงกลยุทธ์: การเพิ่มประสิทธิภาพงบประมาณการลงทุน (CapEx) ของศูนย์ข้อมูล

การย้ายโครงข่ายศูนย์ข้อมูลที่ใช้งานอยู่จาก SN2700 ไปยัง SN3700 จำเป็นต้องมีการวางแผนอย่างรอบคอบเพื่อหลีกเลี่ยงการหยุดทำงานของเครือข่ายและงบประมาณที่เกินกำหนด ช่องทางการจัดจำหน่ายแบบดั้งเดิมมักแจ้งระยะเวลานำส่ง 6 ถึง 8 สัปดาห์สำหรับสวิตช์ความหนาแน่นสูง ซึ่งอาจทำให้การขยายโครงสร้างพื้นฐานที่สำคัญหยุดชะงักและส่งผลให้โครงการล่าช้าจนต้องเสียค่าปรับ

ระบบเราเตอร์-สวิตช์ช่วยแก้ไขปัญหาคอขวดในห่วงโซ่อุปทานเหล่านี้โดยการรักษาระดับการทำงานให้มากกว่า 100% สินค้าคงคลังมูลค่า 20 ล้านดอลลาร์สหรัฐ ที่จัดเก็บอยู่ในคลังสินค้าหลายแห่งทำให้สามารถจัดส่งสินค้าไปยังปลายทางทั่วโลก รวมถึงตลาดสหรัฐอเมริกา ได้ภายในสัปดาห์เดียวกัน ความพร้อมใช้งานที่รวดเร็วนี้มีความสำคัญอย่างยิ่งสำหรับลูกค้าระดับองค์กรที่ดำเนินการย้ายระบบเป็นระยะๆ โดยที่ฮาร์ดแวร์จะต้องมาถึงตรงตามช่วงเวลาที่เปิดให้ทำการบำรุงรักษา

นอกจากนี้ ห่วงโซ่อุปทานแบบราบเรียบของ Router-switch ยังช่วยลดขั้นตอนการบวกราคาจากผู้จัดจำหน่ายระดับภูมิภาคหลายชั้น ทำให้ผู้รวมระบบและแผนกไอทีขององค์กรสามารถได้รับส่วนลดสำหรับการซื้อจำนวนมากโดยตรง ทั้งสำหรับรุ่น SN2700 เก่า (สำหรับอะไหล่หรือขยายระบบเดิม) และรุ่น SN3700 ใหม่กว่า

เพื่อลดความเสี่ยงหลังการติดตั้งใช้งาน สวิตช์ทุกตัวที่จัดส่งจึงมาพร้อมกับการรับประกัน รับประกันสินค้าแท้ 100%โดยหมายเลขซีเรียลสามารถตรวจสอบได้อย่างครบถ้วนในฐานข้อมูลอย่างเป็นทางการของผู้ผลิตก่อนการจัดส่ง แทนที่จะพึ่งพาข้อตกลงการสนับสนุนจากผู้ขายที่มีราคาแพงและไม่ยืดหยุ่น การติดตั้งใช้งานจะได้รับการสนับสนุนโดยที่ปรึกษาด้านวิศวกรรมระดับ CCIE/CCDE แบบตัวต่อตัวฟรีจาก Router-switch และบริการเสริมฟรี การรับประกันเพิ่มเติม RS Care 3 ปีซึ่งรวมถึงบริการเปลี่ยนอะไหล่สำรองแบบรวดเร็ว (Rapid RMA standby replacement service) เพื่อลดระยะเวลาเฉลี่ยในการซ่อมแซม (Mean Time to Repair: MTTR)

การแก้ไขปัญหาโดยผู้เชี่ยวชาญและคำถามและคำตอบจากชุมชน

Q1: ฉันสามารถใช้สวิตช์ SN2700 และ SN3700 ร่วมกันในเครือข่าย EVPN-VXLAN เดียวกันได้หรือไม่?

ใช่แล้ว ทั้งชิป ASIC Spectrum-1 (SN2700) และ Spectrum-2 (SN3700) รองรับระนาบควบคุม EVPN-VXLAN อย่างเต็มรูปแบบ อย่างไรก็ตาม คุณต้องออกแบบโครงสร้างเครือข่ายโดยคำนึงถึงขนาดที่เหมาะสมที่สุดเป็นหลัก SN2700 มีตาราง ARP/ND และ MAC ขนาดเล็กกว่า SN3700 หากคุณใช้สวิตช์ SN2700 เป็นโหนดปลายทาง และสวิตช์ SN3700 เป็นโหนดหลัก โปรดตรวจสอบให้แน่ใจว่าโหนดปลายทางไม่เกินขีดจำกัดการกำหนดเส้นทาง L3 และตารางโฮสต์ที่ 256K

Q2: ทำไม SN3700 ของฉันถึงแสดงข้อผิดพลาดว่ามีแพ็กเก็ตตกหล่น ทั้งๆ ที่การใช้งานแบนด์วิดท์โดยเฉลี่ยต่ำกว่า 40%?

นี่คืออาการคลาสสิกของการเกิดไมโครเบิร์สต์ โดยปกติแล้วแบนด์วิดท์เฉลี่ยจะคำนวณในช่วงเวลา 1 นาทีหรือ 5 นาทีโดย SNMP ไมโครเบิร์สต์เกิดขึ้นในระดับไมโครวินาที ซึ่งพอร์ตเซิร์ฟเวอร์หลายพอร์ตส่งข้อมูลไปยังพอร์ตอัปลิงก์เดียวพร้อมกัน หากเบิร์สต์เกินความจุของบัฟเฟอร์ชั่วคราว สวิตช์จะดรอปแพ็กเก็ต แม้ว่าบัฟเฟอร์ขนาด 42MB ของ SN3700 จะช่วยลดปัญหานี้ได้อย่างมากเมื่อเทียบกับบัฟเฟอร์ขนาด 16MB ของ SN2700 แต่คุณอาจยังคงต้องเปิดใช้งานฟังก์ชันบางอย่าง การแจ้งเตือนความแออัดอย่างชัดเจน (ECN) และ การควบคุมการไหลตามลำดับความสำคัญ (PFC) เพื่อให้ RoCEv2 สามารถควบคุมความเร็วในการส่งข้อมูลของ NIC ก่อนที่จะเกิดการสูญเสียข้อมูล

Q3: ฉันสามารถใช้งาน Cumulus Linux หรือ SONiC บนทั้ง SN2700 และ SN3700 ได้หรือไม่?

ใช่แล้ว สวิตช์ทั้งสองรุ่นสร้างขึ้นบนสถาปัตยกรรมแพลตฟอร์มแบบเปิด รองรับระบบปฏิบัติการ Mellanox Onyx (MLNX-OS), Cumulus Linux และ SONiC (Software for Open Networking in the Cloud) เมื่อทำการย้ายระบบ โปรดตรวจสอบให้แน่ใจว่าสคริปต์การทำงานอัตโนมัติของเครือข่าย (Ansible/Terraform) ของคุณได้รับการอัปเดตแล้ว เนื่องจากข้อกำหนดในการตั้งชื่ออินเทอร์เฟซและโปรไฟล์บัฟเฟอร์เฉพาะฮาร์ดแวร์จะแตกต่างกันระหว่าง ASIC Spectrum-1 และ Spectrum-2 ภายใต้ระบบปฏิบัติการแบบเปิด

Q4: ความสามารถในการแยกพอร์ตแตกต่างกันอย่างไรเมื่อเปลี่ยนจาก SN2700 ไปเป็น SN3700?

SN2700 (QSFP28) รองรับการแยกพอร์ต 100G เดียวออกเป็นอินเทอร์เฟซ 25G หรือ 10G จำนวน 4 ช่อง ส่วน SN3700 (QSFP56) ช่วยให้คุณสามารถแยกพอร์ต 200G เดียวออกเป็นอินเทอร์เฟซ 100G จำนวน 2 ช่อง, 50G จำนวน 4 ช่อง หรือ 25G จำนวน 4 ช่อง ซึ่งจะเพิ่มความหนาแน่นของการเชื่อมต่อ 25G/50G ต่อหน่วยแร็คเป็นสองเท่า ทำให้ SN3700 เป็นสวิตช์ Leaf ที่มีความหนาแน่นสูงเป็นพิเศษสำหรับโหนดประมวลผลประสิทธิภาพสูง