AI 또는 HPC 클러스터용 네트워킹 하드웨어를 선택할 때는 스위치 포트 속도 비교 이상의 것이 필요합니다. 올바른 설계는 네트워크 프로토콜, GPU 노드 수, 패브릭 토폴로지, NIC 구성, 케이블 유형, PCIe 세대, 혼잡 제어 기능 및 랙 환경에 따라 달라집니다.
구성 검토를 위해 GPU 노드, 패브릭, 레일 설계, NIC 및 랙 요구 사항을 공유해 주세요.
네트워크 패브릭부터 시작하세요.
AI 및 HPC 클러스터는 일반적으로 다양한 네트워크 계층에 InfiniBand, RoCE를 지원하는 이더넷 또는 기존 이더넷을 사용합니다. 스위치 모델을 선택하기 전에 이러한 계층 구조를 결정해야 합니다.
| 구조 | 전형적인 사용 | 주요 계획 고려 사항 |
|---|---|---|
| 인피니밴드 | 대규모 GPU 학습 및 지연 시간에 민감한 HPC | NDR/XDR 호환성, 서브넷 관리자, 케이블 및 토폴로지 |
| 이더넷/RoCE | 이더넷 인프라를 사용하는 AI 클러스터 | PFC, ECN, QoS, 혼잡 제어 및 무손실 동작 |
| 기존 이더넷 | 관리, 스토리지, 프런트엔드 및 소규모 컴퓨팅 네트워크 | 포트 밀도, 업링크 용량 및 업그레이드 경로 |
InfiniBand와 Ethernet/RoCE는 둘 다 400G 또는 800G 인터페이스를 사용한다고 해서 서로 대체 가능한 기술로 간주해서는 안 됩니다. 400G NDR InfiniBand 어댑터가 400GbE 스위치와 자동으로 호환되는 것은 아닙니다.
프로토콜 모드, 펌웨어, 커넥터, 트랜시버, 케이블 및 운영 체제를 함께 점검해야 합니다. QM9700 및 QM9790 구축의 경우, 해당 문서를 참조하십시오. NVIDIA QM97xx 하드웨어 공식 설명서 원단 선택을 확정하기 전에.
이더넷 또는 RoCE 설계를 위해서는 NVIDIA Spectrum, Cisco Nexus, Arista, Juniper 등의 플랫폼을 모두 고려할 수 있습니다. 각 플랫폼의 운영 체제, 혼잡 관리 기능, 자동화 도구, 원격 측정 기능, 검증된 설계 방식이 다르므로 전체 아키텍처를 중심으로 비교해야 합니다.
노드와 레일을 기준으로 네트워크 규모를 조정하세요
보유 중인 스위치 개수부터 시작하지 마십시오. 서버에 필요한 네트워크 연결 수부터 시작하십시오.
필요한 패브릭 포트 수 = GPU 서버 수 × 서버당 NIC 포트 수 × 네트워크 평면 수 + 업링크 포트 수 + 예비 용량
싱글 레일 설계는 서버당 하나의 백엔드 연결을 사용할 수 있습니다. 듀얼 레일 설계는 두 개의 독립적인 네트워크 평면을 사용하므로 추가적인 NIC 포트, 스위치 포트, 케이블 및 패브릭 관리 계획이 필요합니다.
64포트 스위치라고 해서 반드시 64개의 서버 연결 포트가 모두 사용 가능한 것은 아닙니다. 일부 포트는 스파인 링크, 스위치 간 링크, 스토리지 연결, 이중화, 유지 관리 및 향후 확장을 위해 예약될 수 있습니다.
2계층 팻트리 또는 리프-스파인 아키텍처에서 최종 스위치 수는 업링크 비율과 원하는 오버서브스크립션에 따라 달라집니다. 동일한 수의 GPU 서버를 사용하더라도 싱글레일, 듀얼레일 및 멀티플레인 설계에서 필요한 스위치 수는 다를 수 있습니다.
단일 레일 설계
싱글 레일 네트워킹은 소규모 클러스터, 중간 규모의 추론 또는 초기 하드웨어 비용 절감을 우선시하는 프로젝트에 적합할 수 있습니다. 하지만 어댑터, 케이블 또는 패브릭 중 하나에 오류가 발생하면 서버의 백엔드 연결에 영향을 미칠 수 있다는 한계가 있습니다.
이중 레일 디자인
이중 레일 네트워킹은 교육 작업이 동서 방향 트래픽에 크게 의존하는 경우, 프로젝트에 더 높은 가용성이 요구되는 경우 또는 소프트웨어 스택이 별도의 네트워크 평면을 중심으로 설계된 경우에 더 적합합니다.
네트워크 역할별 하드웨어 비교
다양한 브랜드를 고려할 수 있지만, 단순히 브랜드 이름만으로 비교하기보다는 네트워크 역할과 인프라 역량을 기준으로 비교해야 합니다.
| 네트워크 역할 | 예시 플랫폼 | 비교할 것 |
|---|---|---|
| NDR 인피니밴드 패브릭 | NVIDIA Quantum-2 QM9700/QM9790 | 포트 모드, 관리 모델, 서브넷 관리자, 에어플로우 및 패브릭 소프트웨어 |
| 400G/800G 이더넷 패브릭 | NVIDIA Spectrum, Cisco Nexus 9000, Arista 7060X/7060X6, Juniper QFX | RoCEv2, PFC, ECN, 버퍼, 원격 측정 및 브레이크아웃 옵션 |
| 100G/200G 서버 액세스 | 시스코 넥서스, 아리스타 7050/7060, 주니퍼 QFX | NIC 호환성, 업링크 비율, 포트 밀도 및 마이그레이션 경로 |
| 스토리지 또는 프런트엔드 네트워크 | 다양한 제조사의 이더넷 플랫폼 | 스토리지 프로토콜, 라우팅, 이중화 및 대역폭 격리 |
AI 백엔드 패브릭용으로 설계된 스위치가 관리 또는 스토리지 트래픽에는 최적의 선택이 아닐 수 있습니다. 많은 구축 환경에서 백엔드, 프런트엔드, 스토리지 및 관리 네트워크는 논리적 또는 물리적 계층별로 분리하여 계획해야 합니다.
Quantum-2 옵션을 비교하고 있다면, NVIDIA Quantum-2 QM9700 시리즈 관련 스위치 플랫폼을 검토하는 데 유용한 출발점을 제공합니다.
스위치와 NIC를 매칭하세요
서버 어댑터는 스위치, 패브릭 프로토콜, 케이블 및 호스트 플랫폼과 함께 선택해야 합니다.
| 어댑터 | 주요 역할 | 적합한 계획 시나리오 | 중요 사항 확인 |
|---|---|---|---|
| MCX515A-CCAT | 단일 포트 100GbE QSFP28 | 100G 이더넷 또는 RoCE 엔드포인트 | 기본 NDR InfiniBand 엔드포인트가 아닙니다. |
| MCX75310AAS-NEAT | 단일 포트 400G OSFP 어댑터 | 400G 이더넷 또는 NDR InfiniBand 엔드포인트 | PCIe 세대, 펌웨어, 케이블 및 작동 모드 |
| 900-9X81Q-00CN-ST0 | 듀얼 포트 ConnectX-8 어댑터 | 듀얼 레일 또는 고대역폭 400G 설계 | QSFP112, 호스트 PCIe, 케이블 및 프로토콜 모드 |
| 900-9X81E-00EX-ST0 | ConnectX-8 800G/XDR 지향 어댑터 | 차세대 800G 또는 XDR 설계 | NDR QM97xx 패브릭과의 직접적인 호환성을 가정하지 마십시오. |
포트 속도가 더 높다고 해서 어댑터가 자동으로 적합한 대체품이 되는 것은 아닙니다. 100GbE는 100G InfiniBand와 동일하지 않으며, 400GbE는 400G NDR과 동일하지 않습니다.
OSFP, QSFP28, QSFP56 및 QSFP112는 플랫폼 문서, 케이블 사양, 레인 매핑 및 지원되는 브레이크아웃 모드를 확인하지 않고는 서로 호환되지 않습니다.
관리형 및 비관리형 InfiniBand 스위치
관리형 플랫폼(예: ...) MQM9700-NS2F 스위치가 패브릭 관리 및 운영 모니터링에 참여해야 하는 경우 고려될 수 있습니다.
MQM9790 변형 제품은 외부 패브릭 관리가 설계에 포함될 경우 평가해야 합니다. NS2F 및 NS2R 변형 제품은 공기 흐름 방향이 다르므로 가격뿐만 아니라 랙 냉각 계획을 고려하여 선택해야 합니다.
배포 시나리오에 따라 하드웨어를 선택하세요
400G NDR 인피니밴드 클러스터
일반적인 NDR 설계에는 QM9700 또는 QM9790 스위치 플랫폼, 400G NDR 호환 서버 어댑터, OSFP DAC 또는 AOC 케이블, 정의된 서브넷 관리자 전략, 리프-스파인 또는 팻트리 토폴로지가 포함될 수 있습니다.
주요 위험은 선택한 InfiniBand 모드를 지원하지 않는 이더넷 전용 어댑터 또는 케이블과 NDR 패브릭을 혼합하여 사용하는 것입니다.
100G 이더넷 또는 RoCE 클러스터
100G 이더넷/RoCE 설계에는 MCX515A-CCAT 서버 어댑터, 100G 이더넷 스위치, PFC 및 ECN 구성, RoCE 인식 QoS가 사용될 수 있습니다.
이 경로는 기존 이더넷 데이터 센터와의 통합이 더 쉬울 수 있지만, 혼잡 제어 및 무손실 동작을 위해서는 세심한 엔지니어링이 필요합니다.
고밀도 400G 클러스터
고밀도 400G 클러스터는 MCX75310AAS-NEAT, 듀얼 포트 ConnectX-8 어댑터, 400G 이더넷 또는 NDR 스위칭, 듀얼 레일 연결을 사용할 수 있습니다.
어댑터를 BOM에 추가하기 전에 서버의 PCIe 세대, OSFP 또는 QSFP112 케이블, 펌웨어 버전 및 네트워크 프로토콜을 확인해야 합니다.
800G 또는 XDR 지향 클러스터
800G 설계는 별도의 네트워크 세대로 계획되어야 합니다. 900-9X81E-00EX-ST0은 800G 또는 XDR 지향 아키텍처에 고려될 수 있지만, MQM9700 또는 MQM9790 NDR BOM(네트워크 설계 지침)에 자동으로 추가되어서는 안 됩니다.
이러한 구성 요소를 결합하기 전에 스위치 세대, 패브릭 프로토콜, 어댑터 모드, 케이블 및 광 모듈, 펌웨어, PCIe 지원 및 관리 소프트웨어를 확인하십시오.
프로젝트 BOM에 재고 정보를 적용합니다.
다음 수량 및 가격은 계획 수립을 위한 프로젝트 재고 현황을 보여주는 자료입니다. 이는 고정된 공개 가격이나 전체 클러스터 BOM으로 간주해서는 안 됩니다.
| SKU | 수량 | 참고 단가 | 가능한 역할 |
|---|---|---|---|
| MQM9700-NS2F | 20 | US $ 29,412 | 관리형 NDR InfiniBand 패브릭 |
| MQM9790-NS2F | 10 | US $ 22,200 | 관리되지 않는 NDR 패브릭, P2C 공기 흐름 |
| MQM9790-NS2R | 25 | US $ 22,945 | 관리되지 않는 NDR 패브릭, C2P 공기 흐름 |
| MCX515A-CCAT | 200 | US $ 307 | 100G 이더넷/RoCE 엔드포인트 |
| MCX75310AAS-NEAT | 268 | US $ 1,300 | 400G 이더넷/NDR 엔드포인트 |
| 900-9X81Q-00CN-ST0 | 653 | US $ 1,680 | 듀얼 포트 ConnectX-8 옵션 |
| 900-9X81E-00EX-ST0 | 980 | US $ 1,680 | 800G/XDR 지향 옵션 |
견적을 내기 전에 수량을 특정 프로젝트 설계에 맞춰야 합니다. 스위치 수량은 GPU 노드 수, 레일 아키텍처, 업링크 비율 및 확장 목표를 고려하지 않고는 평가할 수 없습니다.
구매 전에 참고 가격, 재고 여부, 납기 및 할당량을 재확인해야 합니다.
호환성 체크리스트 및 FAQ
프로젝트 BOM에 포함해야 할 정보
- GPU 서버 수 및 서버당 GPU 개수
- 단일 레일 또는 이중 레일 아키텍처
- InfiniBand, 이더넷 또는 RoCE 패브릭
- NIC 포트 개수 및 포트 속도
- 스위치 포트 수 및 사용 가능한 서버 연결 포트
- OSFP, QSFP28, QSFP56 또는 QSFP112 인터페이스 요구 사항
- DAC, AOC 또는 광 트랜시버 요구 사항
- 서버 PCIe 세대 및 슬롯 폭
- 스위치 및 NIC 펌웨어 버전
- FEC, PFC, ECN 및 QoS 요구 사항
- 서브넷 관리자 또는 외부 패브릭 관리 요구 사항
- 랙 공기 흐름, 전력, 냉각 및 확장 요구 사항
자주 묻는 질문
견적 요청에 포함할 정보
- GPU 서버 수량 및 GPU 모델
- 단일 레일 또는 이중 레일 요구 사항
- InfiniBand, 이더넷 또는 RoCE 패브릭을 선호합니다.
- 필요한 스위치 및 NIC 속도
- 랙 공기 흐름 및 전력 요구 사항
- 필요한 케이블, 광학 부품 및 배송 지역
구성별 검토를 원하시면 다음을 수행할 수 있습니다. AI/HPC 네트워킹 요구사항을 보내주세요.여기에는 GPU 노드 수, NIC 구성, 패브릭 유형, 레일 설계 및 목표 납품일이 포함됩니다.
최종 테이크 아웃
최적의 AI/HPC 네트워킹 결정은 가장 저렴한 스위치 가격이나 가장 빠른 포트 속도를 기준으로 이루어지는 것이 아닙니다.
안정적인 설계는 패브릭 프로토콜, 클러스터 토폴로지, 스위치 및 NIC 호환성, 케이블, 펌웨어, 전력 및 냉각 요구 사항이라는 네 가지 결정 사항을 연결합니다.