Mellanox Spectrum SN2700과 SN3700: 데이터 센터 업그레이드 경로는 무엇일까요?

심야 NVMe-over-Fabrics(NVMe-oF) 마이그레이션을 수행하거나 RDMA 지원 AI 컴퓨팅 클러스터를 확장하는 과정에서 기존 리프 스위치에서 패킷 손실이나 TCP 재전송이 발생하는 것을 발견한다면, 그 원인은 물리적 광섬유가 아닌 경우가 많습니다. 높은 처리량과 낮은 지연 시간이 요구되는 스토리지 환경에서는 마이크로버스트가 정적 패킷 버퍼를 쉽게 과부하 상태로 만들어 패킷 버퍼 직렬화 병목 현상을 초래합니다. 수년간 Mellanox Spectrum SN2700은 100GbE 데이터 센터 리프/스파인 패브릭의 핵심 장비 역할을 해왔습니다. 그러나 워크로드가 분산 머신 러닝과 고밀도 플래시 스토리지로 전환됨에 따라 1세대 실리콘의 한계가 드러나고 있습니다.

Mellanox Spectrum SN2700(Spectrum-1 ASIC)에서 SN3700(Spectrum-2 ASIC)으로의 업그레이드는 단순히 100GbE에서 200GbE로의 전환을 넘어, 패킷 버퍼 할당, 텔레메트리 기능, 혼잡 관리 측면에서 근본적인 아키텍처 변화를 의미합니다. 본 심층 기술 분석에서는 데이터 센터의 100G에서 200G로의 원활한 마이그레이션을 위해 필요한 실리콘 파이프라인, 성능 지표, 그리고 실제 구축 전략을 살펴봅니다.

차례

• 실리콘 파이프라인의 진화: Spectrum-1과 Spectrum-2 ASIC 아키텍처 비교
• 하드웨어 사양 및 실제 성능 예측
• 100G/200G 구축 환경에서 포트 플래핑 및 FEC 불일치 문제 완화
• 전략적 마이그레이션 및 조달: 데이터 센터 자본 지출 최적화
• 전문가 문제 해결 및 커뮤니티 Q&A

실리콘 파이프라인의 진화: Spectrum-1과 Spectrum-2 ASIC 아키텍처 비교

Mellanox Spectrum SN2700과 SN3700의 아키텍처 차이는 실리콘 수준에서부터 시작됩니다. SN2700 이 제품은 28nm 공정 노드에서 제작된 1세대 Spectrum-1 ASIC으로 구동됩니다. SN3700 멜라녹스는 고효율 16nm FinFET 공정으로 제작된 Spectrum-2 ASIC을 활용합니다. 이러한 다이 축소를 통해 스위칭 용량을 두 배로 늘리는 동시에 정교한 패킷 처리 파이프라인을 도입할 수 있었습니다.

패킷 버퍼 직렬화 및 마이크로버스트 완화

Spectrum-2 ASIC 아키텍처에서 가장 중요한 업그레이드는 패킷 버퍼 할당 모델입니다.

• 스펙트럼-1 (SN2700)16MB의 완전 공유 패킷 버퍼를 갖추고 있습니다. 최신 Broadcom Tomahawk 칩의 분할/분할 버퍼보다 ​​우수하지만, 16MB는 대량의 데이터 입력(예: 다대일 스토리지 쓰기)이 발생하는 경우 빠르게 포화될 수 있습니다.
• 스펙트럼-2 (SN3700)SN3700은 42MB의 대용량 동적 공유 패킷 버퍼를 자랑합니다. 이 버퍼는 포트별로 정적으로 분할되지 않고, 동적 할당 알고리즘을 통해 일시적인 혼잡이 발생하는 포트에 필요에 따라 버퍼 공간을 할당합니다. 이는 마이크로버스트 패킷 손실률을 크게 향상시켜, SN3700이 SN2700보다 최대 2.6배 더 큰 버스트 트래픽을 처리한 후에도 패킷 손실(tail drop)이나 우선 흐름 제어(PFC)를 발생시키지 않고 안정적으로 유지할 수 있도록 합니다.

지연 시간 프로필

고빈도 거래(HFT) 및 초저지연 클러스터링에서 포트 간 지연 시간은 핵심 지표입니다. SN2700은 100GbE 패킷에 대해 300ns의 초저지연 시간을 제공합니다. 흥미롭게도 SN3700은 약 425ns로 약간 더 높은 지연 시간을 보입니다. 이러한 미미한 증가는 Spectrum-2의 향상된 파이프라인 깊이, 더 큰 버퍼 조회 테이블 및 고급 패킷 파싱 기능에 대한 절충안입니다. 대부분의 기업 데이터 센터 및 AI 워크로드(99%)에서 SN3700의 대용량 버퍼와 혼잡 회피 메커니즘은 125ns의 지연 시간 차이를 훨씬 상회합니다.

하드웨어 원격 측정: 방금 발생한 일(WJH)

Spectrum-1 ASIC는 기존의 sFlow 및 SNMP 폴링 방식에 의존하는데, 이 방식은 밀리초 단위로 발생하는 순간적인 마이크로버스트를 감지하지 못하는 경우가 많습니다. Spectrum-2 ASIC는 하드웨어에 내장된 기능을 도입했습니다. 방금 무슨 일이 일어났나요? (WJH) 텔레메트리 기능을 통해 WJH는 ASIC 레벨에서 드롭된 패킷을 검사하고, VLAN 불일치, ACL 드롭, 버퍼 테일 드롭 등 정확한 드롭 사유를 포함한 상세한 진단 메타데이터를 모니터링 도구로 실시간 스트리밍합니다. 이를 통해 복잡한 네트워크 문제 해결 시 추측에 의존하는 것을 방지할 수 있습니다.

하드웨어 사양 및 실제 성능 예측

Mellanox SN2700 업그레이드 경로를 계획할 때 네트워크 설계자는 두 플랫폼의 물리적 및 논리적 확장 한계를 평가해야 합니다. SN2700은 100GbE 플랫폼인 반면, SN3700 제품군은 SN3700C(SN2700을 직접 대체하도록 설계되었지만 Spectrum-2의 이점을 제공하는 32포트 100G 스위치)와 표준 SN3700(QSFP56 인터페이스를 통해 32포트 200GbE를 지원)을 포함한 다양한 SKU 변형을 제공합니다.

구매를 최적화하고 예산 배분을 평가하려면 다음을 살펴보세요. 멜라녹스 스펙트럼 SN2700 스위치 사양 및 가격 기존 시스템 구축 비용과 차세대 하드웨어 구축 비용을 비교하기 위해서입니다.

다음 표는 SN2700, SN3700C 및 SN3700의 기술 사양을 요약한 것입니다.

100G/200G 구축 환경에서 포트 플래핑 및 FEC 불일치 문제 완화

데이터센터를 100G에서 200G로 마이그레이션하는 과정에서 흔히 발생하는 실제 엔지니어링 문제는 다음과 같습니다. 전방 오류 정정(FEC) 불일치기존 100G NIC(예: ConnectX-4 또는 ConnectX-5)를 최신 Spectrum-2 스위치 포트에 연결하거나 타사 트랜시버를 사용하는 경우 링크가 제대로 설정되지 않거나 포트 연결이 계속 불안정해지는 현상이 자주 발생합니다.

이는 SN3700의 기본 FEC 모드(일반적으로 Reed-Solomon FEC 또는 rs)는 기존 NIC와 자동으로 협상하지 않을 수 있으며, 기존 NIC는 다음과 같은 사항을 기대할 수 있습니다. no-fec 또는 화재 안전 규정 FEC (fc).

이 문제를 해결하려면 네트워크 엔지니어는 포트 속도, 브레이크아웃 옵션 및 FEC 모드를 수동으로 구성해야 합니다. 아래는 Mellanox Onyx(MLNX-OS)에서 SN3700의 200G 포트를 두 개의 100G 인터페이스로 분할하고 FEC 모드를 수동으로 설정하는 데 사용할 수 있는 구성 스크립트입니다. rs 패킷 변동을 방지하고 패킷 버퍼 손실 카운터를 확인합니다.

# Enter global configuration mode
enable
configure terminal

# Step 1: Configure port breakout on interface 1/1 (Split 200G QSFP56 to 2x 100G)
interface ethernet 1/1 module-type qsfp-split-2

# Step 2: Navigate to the newly created sub-interfaces and configure FEC
interface ethernet 1/1/1
  description Uplink_To_Legacy_100G_Leaf
  speed 100G
  fec rs
  no shutdown
exit

interface ethernet 1/1/2
  description Storage_Node_Connection
  speed 100G
  fec rs
  no shutdown
exit

# Step 3: Configure RoCEv2 Congestion Control (Explicit Congestion Notification - ECN)
interface ethernet 1/1/1 traffic-class 3 congestion-control ecn minimum-threshold 150kb maximum-threshold 1500kb mark-probability 10

# Step 4: Verification and Diagnostics
show interfaces ethernet 1/1/1 status
show interfaces ethernet 1/1/1 counters drop
show system wjh-records

전략적 마이그레이션 및 조달: 데이터 센터 자본 지출 최적화

기존 데이터센터 패브릭을 SN2700에서 SN3700으로 마이그레이션하려면 네트워크 다운타임과 예산 초과를 방지하기 위해 신중한 계획이 필요합니다. 기존 유통 채널에서는 고밀도 스위치의 경우 일반적으로 6~8주의 납기를 제시하는데, 이는 핵심 인프라 확장을 지연시키고 프로젝트 지연에 따른 추가 비용을 발생시킬 수 있습니다.

라우터-스위치는 100개 이상의 장치를 유지함으로써 이러한 공급망 병목 현상을 해결합니다. 20천만 달러 상당의 여러 창고에 보관된 재고 상품이를 통해 미국 시장을 포함한 전 세계 목적지로 당일 배송이 가능합니다. 이러한 신속한 공급은 하드웨어가 유지보수 기간에 정확히 맞춰 도착해야 하는 단계적 마이그레이션을 실행하는 기업 고객에게 매우 중요합니다.

또한 Router-switch의 수평적 공급망은 여러 단계의 지역 유통업체 마진을 없애 시스템 통합업체와 기업 IT 부서가 기존 SN2700(예비 부품 또는 기존 레거시 포드 확장용)과 최신 SN3700 시리즈 모두에 대해 직접 대량 구매 할인을 받을 수 있도록 합니다.

배포 후 위험을 완화하기 위해 출하되는 모든 스위치에는 보증이 제공됩니다. 100% 정품 보장제품 출하 전 제조사 공식 데이터베이스에서 시리얼 번호를 완벽하게 확인할 수 있습니다. 값비싼 경직된 벤더 지원 계약에 의존하는 대신, Router-switch는 CCIE/CCDE 수준의 엔지니어에게 무료 1:1 컨설팅을 제공하고 구축을 지원합니다. 3년 RS Care 연장 보증여기에는 평균 수리 시간(MTTR)을 최소화하기 위한 신속한 RMA 대기 교체 서비스가 포함됩니다.

전문가 문제 해결 및 커뮤니티 Q&A

Q1: 동일한 EVPN-VXLAN 패브릭에서 SN2700과 SN3700 스위치를 혼합하여 사용할 수 있습니까?

예. Spectrum-1(SN2700) 및 Spectrum-2(SN3700) ASIC 모두 EVPN-VXLAN 제어 평면을 완벽하게 지원합니다. 하지만 확장성을 고려하여 최소 공통 분모에 맞춰 패브릭을 설계해야 합니다. SN2700은 SN3700에 비해 ARP/ND 및 MAC 테이블 크기가 작습니다. 리프 노드로 SN2700 스위치를, 스파인 노드로 SN3700 스위치를 사용하는 경우, 리프 노드의 L3 라우팅 및 호스트 테이블 크기가 256KB를 초과하지 않도록 해야 합니다.

Q2: 평균 대역폭 사용률이 40% 미만인데도 SN3700에서 패킷 손실이 표시되는 이유는 무엇입니까?

이는 전형적인 마이크로버스트 현상입니다. 평균 대역폭은 일반적으로 SNMP를 통해 1분 또는 5분 간격으로 계산됩니다. 마이크로버스트는 여러 서버 포트가 동시에 단일 업링크 포트로 트래픽을 전송하는 마이크로초 단위의 순간적인 현상입니다. 버스트 트래픽이 일시적인 버퍼 용량을 초과하면 스위치는 패킷을 드롭합니다. SN3700의 42MB 버퍼는 SN2700의 16MB 버퍼에 비해 이러한 문제를 상당히 완화시켜 주지만, 경우에 따라 버퍼를 활성화해야 할 수도 있습니다. 명시적 혼잡 알림(ECN) 우선 순위 흐름 제어(PFC) RoCEv2가 패킷 손실이 발생하기 전에 송신 NIC의 속도를 조절할 수 있도록 합니다.

Q3: SN2700과 SN3700 모두에서 Cumulus Linux 또는 SONiC을 실행할 수 있습니까?

예. 두 스위치 모두 개방형 플랫폼 아키텍처를 기반으로 구축되었습니다. Mellanox Onyx(MLNX-OS), Cumulus Linux 및 SONiC(클라우드 기반 개방형 네트워킹 소프트웨어)를 지원합니다. 마이그레이션 시 개방형 운영 체제에서 Spectrum-1과 Spectrum-2 ASIC 간의 인터페이스 명명 규칙 및 하드웨어별 버퍼 프로파일이 다르므로 네트워크 자동화 스크립트(Ansible/Terraform)를 업데이트해야 합니다.

Q4: SN2700에서 SN3700으로 마이그레이션할 때 포트 브레이크아웃 기능은 어떻게 달라지나요?

SN2700(QSFP28)은 단일 100G 포트를 4개의 25G 또는 4개의 10G 인터페이스로 분할할 수 있습니다. SN3700(QSFP56)은 단일 200G 포트를 2개의 100G, 4개의 50G 또는 4개의 25G 인터페이스로 분할할 수 있습니다. 이를 통해 랙 유닛당 25G/50G 연결 밀도를 두 배로 높여 고성능 컴퓨팅 노드에 매우 높은 밀도의 리프 스위치를 제공합니다.