The NVIDIA SN5610 스위치 이 제품은 AI 및 데이터 센터 네트워크와 같이 동일 플랫폼에서 800G, 400G, 200G 및 100G 장치를 연결해야 하는 고밀도 이더넷 패브릭을 위해 설계되었습니다. 이 가이드에서는 브레이크아웃 모드의 작동 방식, Cumulus Linux를 사용한 구성 방법, 그리고 분할 인터페이스 또는 링크가 활성화되지 않을 때 확인해야 할 사항을 설명합니다.
SN5610 800G 브레이크아웃 옵션
SN5610은 64개의 OSFP 800GbE 인터페이스를 지원합니다. 필요한 엔드포인트 속도에 따라 물리적 포트를 네이티브로 사용하거나 여러 개의 논리적 인터페이스로 분할하여 사용할 수 있습니다.
| 물리적 모드 | OSFP당 논리 포트 | SN5610의 최대값 | 주요 제한 사항 |
|---|---|---|---|
| 800G | 1×800G | 64 포트 | 네이티브 포트 운영 |
| 400G | 2×400G | 128 포트 | 지원되는 양방향 브레이크아웃 설계가 필요합니다. |
| 200G | 4×200G | 256 포트 | 지원되는 4방향 브레이크아웃 디자인이 필요합니다. |
| 100G | 8×100G | 256 포트 | 32개의 OSFP 소스 포트를 사용하며 인접한 포트를 비활성화해야 합니다. |
100G 모드는 특별한 주의가 필요합니다. 이는 64개의 물리적 OSFP 포트를 각각 8개의 논리적 포트로 단순히 변환하는 것이 아닙니다. 인접 포트 제한으로 인해 이 구성에 사용할 수 있는 물리적 소스 포트 수가 줄어듭니다.
SN5610은 PAM4 및 NRZ 인코딩을 모두 지원합니다. 저속 동작 시에는 NRZ 인코딩이 사용될 수 있으며, 정확한 레인 동작은 포트 모드, 트랜시버, 브레이크아웃 케이블 및 피어 장치에 따라 달라집니다. 포트 맵을 최종 확정하기 전에 현재 플랫폼 매트릭스를 확인하십시오.
네이티브 800G 연결의 경우, 필요한 폼 팩터와 광 도달 거리를 검토한 후 케이블을 선택하십시오. 800G OSFP 트랜시버광고된 데이터 전송 속도와 일치하는 송수신기라 하더라도 선택한 브레이크아웃 토폴로지 또는 원격 인터페이스에 적합하지 않을 수 있습니다.
설정 전에 확인해야 할 사항
브레이크아웃 계획은 엔드포인트 요구 사항부터 시작해야 합니다. 케이블을 먼저 선택하고 그에 맞춰 네트워크 설계를 하려고 해서는 안 됩니다.
필요한 포트 형상을 확인하십시오.
- 필요한 800G, 400G, 200G 및 100G 링크 수
- 원격 스위치, NIC, 서버 또는 가속기가 지원하는 속도
- 각 끝단에 OSFP, QSFP112, QSFP56 또는 QSFP28 인터페이스가 있습니다.
- DAC, AOC, 광 트랜시버 또는 광섬유 패치 요구 사항
- 필수 FEC 모드 및 자동 협상 동작
- SN5610에서 실행되는 Cumulus Linux 버전
물리적 포트와 논리적 포트의 맵을 기록합니다.
각 브레이크아웃 소스 포트에 대해 물리적 OSFP 번호, 결과적인 논리적 인터페이스 이름, 연결된 장치, 케이블 또는 광 모델, 속도, FEC 및 MTU를 기록하십시오. 이는 인접한 물리적 포트를 사용할 수 없을 수도 있는 8×100G 설계에서 특히 중요합니다.
구성 레코드에는 해당 링크가 컴퓨팅 연결, 리프-스파인 업링크, 스토리지 네트워크, 관리 경로 또는 스위치 간 링크에 사용되는지 여부도 명시해야 합니다. 동일한 브레이크아웃 모드가 특정 역할에는 적합하지만 다른 역할에는 비효율적일 수 있습니다.
포트 수, Cumulus 버전 및 케이블 요구 사항을 보내주십시오.
Cumulus Linux에서 브레이크아웃 포트 구성하기
Cumulus Linux 5.4 이상 버전에서는 다음과 같은 브레이크아웃 표기법을 사용합니다. 1x, 2x, 4x예산 및 8x브레이크아웃 모드는 생성되는 논리 인터페이스의 속도와는 별도로 구성됩니다.
NVUE 예시: 800G에서 2×400G로
다음 예제에서는 다음을 사용합니다. swp1 물리적 소스 포트로 사용합니다. 실제 인터페이스 이름은 SN5610 포트 맵과 일치해야 합니다.
NVUE 예시: 800G에서 4×200G로
NVUE 예시: 800G에서 8×100G로
결과적으로 생성되는 인터페이스는 일반적으로 다음에서 이름을 가져옵니다. swp1s0 을 통하여 swp1s7실제 운영 환경에서 이 구성을 사용하기 전에 인접 포트 상태를 확인하십시오.
ports.conf 메서드
Linux 설정 방법을 사용하여 브레이크아웃 모양을 정의합니다. /etc/cumulus/ports.conf다음은 8×100G 구성의 예시입니다. 포트 번호는 계획된 SN5610 포트 맵에 맞는 값으로 교체하십시오.
포트 속도는 NVUE 또는 다른 곳에서 별도로 설정할 수 있습니다. /etc/network/interfaces파일을 편집한 후 구문을 검증하고 설치된 Cumulus Linux 버전 및 운영 환경 변경 절차에 따라 스위칭 서비스를 다시 로드하십시오.
운영 환경에서 재로드 절차가 선택한 구성 모드에서 일시적인 트래픽 영향을 일으키는지 확인하십시오. 모든 Cumulus Linux 릴리스 또는 ACL 모드에 동일한 변경 절차가 적용된다고 가정하지 마십시오.
다른 플랫폼에 연결할 때 레인 설정을 확인하세요.
일부 8레인 QSFP-DD 또는 OSFP 포트에서 Cumulus Linux는 4배속 브레이크아웃에 대한 기본 레인 할당을 사용합니다. 피어 플랫폼에서 다른 레인 폭을 사용하는 경우 양쪽 끝에서 명시적인 레인 구성이 필요할 수 있습니다. 속도만 변경하기 전에 현재 포트 속성을 확인하십시오.
OSFP, 브레이크아웃 케이블 및 QSA 제한 사항
브레이크아웃 케이블은 소스 포트, 타겟 포트, 레인 수, 인코딩, 속도, 도달 거리 및 FEC 요구 사항을 충족해야 합니다. 커넥터 모양만으로는 호환성을 판단하기에 충분하지 않습니다.
구매 시에는 필요한 토폴로지와 사용 가능한 토폴로지를 비교하십시오. NVIDIA Mellanox 브레이크아웃 및 DAC 케이블주문하기 전에 선택한 품목이 800G-2×400G, 800G-4×200G 또는 800G-8×100G 조립품인지 확인하십시오.
케이블과 광케이블의 조합을 확인하십시오.
- 소스 커넥터 및 대상 커넥터
- 전기 차선 매핑
- 각 논리 인터페이스에서 지원되는 데이터 전송률
- DAC, AOC 또는 광 트랜시버 유형
- 광섬유 유형, 커넥터 및 최대 도달 거리
- 케이블 또는 광섬유에 대한 FEC 요구 사항
- 설치된 Cumulus Linux 릴리스에 대한 지원 상태
일반적인 QSA 지원을 기대하지 마십시오.
SFP 트랜시버를 QSFP 포트에 배치하기 위한 일반적인 QSA 지침은 SN5610 OSFP 포트에 자동으로 적용되지 않습니다. NVIDIA는 지원되는 QSFP 인터페이스에 대한 QSA 동작을 문서화했지만, 이를 OSFP-SFP 간 작동에 대한 포괄적인 보장으로 간주해서는 안 됩니다.
어댑터를 사용하기 전에 정확한 어댑터 모델, OSFP 포트 모드, SFP 또는 SFP28 광 모듈, Cumulus Linux 버전, 피어 인터페이스 및 지원 속도를 확인하십시오. 플랫폼 설명서에서 해당 설계를 명시적으로 지원하지 않는 한 QSA 구성을 브레이크아웃 구성으로 취급해서는 안 됩니다.
양쪽 끝의 FEC를 일치시키세요
FEC 동작은 케이블 종류, 광 모듈, 레인 속도 및 원격 장치에 따라 달라집니다. 양쪽 끝에서 호환되지 않는 FEC 설정을 사용하는 경우 링크가 다운된 상태로 유지되거나, 링크가 연결된 후 오류가 점차 증가할 수 있습니다.
AI 잎-가시 구조용 계획 SN5610
AI 패브릭에서 브레이크아웃 계획을 수립할 때는 컴퓨팅 연결, 리프-스파인 업링크, 이중화, 과부하 처리, 그리고 향후 확장성을 고려해야 합니다. 논리 포트 수가 많다고 해서 자동으로 더 나은 설계가 되는 것은 아닙니다.
| 배포 요구 사항 | 평가 모드 | 계획 초점 |
|---|---|---|
| 고대역폭 스파인 또는 코어 링크 | 800G 또는 2×400G | 광학, FEC, 이중화 및 링크 도달 거리 |
| 잎에서 가시로의 업링크 | 400G 또는 200G | 업링크 수, 과다 가입 및 장애 도메인 |
| 200G 가속기 또는 NIC 연결 | 4×200G 브레이크아웃 | 종단 커넥터, 케이블 길이 및 레인 매핑 |
| 100G 서버 또는 기존 연결 | 8×100G 브레이크아웃 | 인접 포트 제한 및 논리 포트 할당 |
| 혼합 속도 마이그레이션 | 800G, 400G, 200G, 100G | 예약된 포트, 광학 장비, FEC 및 문서화된 포트 지도 |
각 리프 및 스파인에 대해 물리적 OSFP 포트, 브레이크아웃 모드, 논리적 인터페이스, 엔드포인트, 케이블 또는 광 케이블 모델, FEC, MTU 및 예상 페일오버 경로를 문서화하십시오. 이렇게 하면 나중에 교체 및 문제 해결이 훨씬 빨라집니다.
NVIDIA 레퍼런스 아키텍처는 AI 인프라에서 400G급 연결의 예시를 제공하지만, 올바른 토폴로지는 가속기 플랫폼, NIC 속도, 패브릭 크기, 이중화 모델 및 과부하 목표에 따라 달라집니다. NVIDIA AI Factory 레퍼런스 아키텍처 보편적인 항만 계획이라기보다는 설계 참고 자료로 활용하는 것이 좋습니다.
경로 전체에서 MTU를 일정하게 유지합니다.
Cumulus Linux는 일반적으로 데이터 플레인 인터페이스에 9216바이트의 MTU를 사용하지만, 실제 경로 MTU는 모든 물리적 인터페이스, 본드, 브리지, VLAN, VXLAN 및 피어 장치에 따라 달라집니다. 분기 변경 자체만으로는 새로운 MTU가 필요하지 않지만, AI 및 오버레이 네트워크는 종단 간 MTU 계획을 사용해야 합니다.
누락된 포트 및 링크 오류 해결
물리적인 OSFP 모듈이 감지되었지만 예상되는 분할 인터페이스가 나타나지 않으면 MTU를 변경하기 전에 브레이크아웃 모드, 인접 포트 제한, 분할 인터페이스 속도, 레인 구성 및 케이블 또는 광 지원 여부를 확인하십시오.
| 징후 | 가능한 원인 | 첫 번째 확인 사항 |
|---|---|---|
| 분할 인터페이스가 나타나지 않습니다. | 브레이크아웃 모드가 적용되지 않았거나 포트 맵이 잘못되었습니다. | nv show interface, cat /etc/cumulus/ports.conf |
| 인접 포트가 작동 중지되었습니다. | 8×100G 브레이크아웃 제한 | 소스 포트와 인접 포트 할당을 확인하십시오. |
| 광케이블은 감지되었지만 링크가 끊어졌습니다. | 속도 오류, 케이블 문제, 차선 매핑 오류 또는 FEC 오류 | nv show platform transceiver, ethtool |
| 링크가 나타났다가 깜빡거립니다. | FEC, 케이블 품질 또는 동료 협상 문제 | 양쪽 끝단의 FEC와 오류 카운터를 비교하십시오. |
| 대용량 패킷 전송 실패 | MTU 불일치 또는 오버레이 오버헤드 | 물리적, 본딩, 브리지, VLAN, VXLAN 및 피어 MTU를 확인하십시오. |
브레이크아웃 및 송수신기 상태를 확인하십시오.
링크 속도와 FEC를 확인하세요
분할 인터페이스의 작동 값과 적용 값을 비교하십시오. 속도는 정상인데 링크가 끊어진 상태로 유지되면, FEC 모드와 레인 수를 피어 장치와 비교하십시오.
물리적 링크가 올바른지 확인한 후에만 MTU를 확인하십시오.
다음 명령어를 사용하여 구성 및 작동 중인 MTU를 확인하십시오. 물리적 링크, 속도, FEC 및 트랜시버가 올바른 경우 전체 포워딩 경로에 걸쳐 MTU를 비교하십시오.
자주 묻는 질문
최종 테이크 아웃
SN5610은 네이티브 800G 스위치 또는 고밀도 400G, 200G, 100G 플랫폼으로 작동할 수 있습니다. 8×100G 모드에서는 32개의 OSFP 소스 포트가 사용되며, 포트 구성 시 인접 포트 제한을 포함해야 한다는 점을 기억해야 합니다.
안정적인 구축을 위해서는 브레이크아웃 모드, 논리 인터페이스 이름, 케이블 또는 광 모델, 레인 구성, 속도, FEC 및 MTU를 함께 문서화해야 합니다. 포트 맵 검증이나 필요한 광 모듈 및 케이블 매칭에 도움이 필요하시면 문의해 주세요. SN5610 요구사항을 검토를 위해 보내주시기 바랍니다..