AI GPU 클러스터에 필요한 스위치는 몇 개일까요? 400G/800G 리프-스파인 크기 및 BOM 정보

구독하세요
빠른 테이크
모든 AI GPU 클러스터에 적합한 단일 스위치 개수는 없습니다. 필요한 스위치 개수는 GPU 서버 개수, 서버당 네트워크 포트 수, 400G 또는 800G 링크 설계, 리프 포트 밀도, 스파인 토폴로지, 스토리지 및 관리 네트워크, 이중화, 그리고 향후 확장 가능성에 따라 달라집니다. 시스코 참조 아키텍처는 유용한 예시를 제공하지만, 해당 아키텍처에 제시된 스위치 및 BOM 개수를 보편적인 공식으로 간주해서는 안 됩니다.

AI 클러스터 크기 산정에서 가장 흔한 실수는 GPU 개수를 정하고 바로 스위치 포트 수로 나누는 것입니다. 신뢰할 수 있는 설계를 위해서는 먼저 GPU 서버 수, 서버당 네트워크 링크 수, 필요한 패브릭 계층, 그리고 스토리지와 관리 네트워크를 분리해야 합니다. 이 가이드에서는 400G 및 800G AI 이더넷 패브릭에 필요한 스위치, 광케이블, DAC/AOC, 그리고 브레이크아웃 포트 수를 산정하는 방법을 설명합니다.

보다 폭넓은 건축적 관점을 보시려면 다음을 참조하십시오. AI GPU 클러스터 네트워킹 솔루션 이더넷 패브릭, 고속 광학 장치, DAC/AOC 및 멀티랙 구축 계획을 다룹니다.

GPU 개수만 생각하지 말고 GPU 서버부터 시작하세요.
  • GPU 개수만으로 스위치 개수를 판단할 수 없는 이유는 무엇일까요?
자재명세서(BOM)에 어떤 네트워크를 포함해야 할까요?
  • 컴퓨팅, 스토리지, 관리 및 서비스 네트워크
컴퓨팅 스위치는 몇 대가 필요합니까?
  • 잎, 척추 및 슈퍼 척추 크기 조정 예시
400g 또는 800g: 어떤 것을 선택해야 할까요?
  • 항만 밀도, 돌파구, 도달 범위 및 확장 고려 사항
송수신기 및 케이블 개수 세는 방법
  • 광학, DAC/AOC, 브레이크아웃 및 예비 부품 계획
시스코 참조 BOM 예시
  • 참조 아키텍처 개수를 해석하는 방법
실용적인 규모 산정 워크플로
  • GPU 요구사항을 BOM으로 변환하는 단계
RoCE 및 조달 점검
  • 무손실 이더넷 및 견적 요구 사항
자주 묻는 질문
  • AI GPU 클러스터 크기 조정 관련 일반적인 질문
최종 테이크 아웃
  • AI 클러스터 스위치 크기 조정에 대한 실용적인 규칙

GPU 개수만 생각하지 말고 GPU 서버부터 시작하세요.

가장 흔한 크기 조정 오류는 GPU 개수를 세고 바로 스위치 포트 수로 나누는 것입니다. 올바른 시작점은 GPU 서버 수와 ​​각 서버에서 사용하는 고속 네트워크 링크 수입니다.

다음의 기본적인 계산법을 사용하십시오.

GPU 서버 수 = 총 GPU 수 ÷ 서버당 GPU 수

1,024개의 GPU를 사용하는 클러스터는 서버당 8개의 GPU를 탑재한 서버 128대 또는 서버당 4개의 GPU를 탑재한 서버 256대를 사용할 수 있습니다. 하지만 이러한 구성 방식은 동일한 수의 네트워크 링크를 생성하지 않습니다. 서버 구성, 네트워크 어댑터 개수, 포트 속도 및 레일 설계에 따라 액세스 측 포트 요구 사항이 결정됩니다.

400G 또는 800G 연결이 여러 개인 서버는 전체 서버 수가 변하지 않더라도 여러 개의 리프 포트를 사용할 수 있습니다.

자재명세서(BOM)에 어떤 네트워크를 포함해야 할까요?

완전한 AI 클러스터 BOM에는 GPU 간 통신에 사용되는 네트워크만 포함해서는 안 됩니다. 실제 운영 환경에서는 여러 개의 독립적인 네트워크 또는 부분적으로 통합된 네트워크가 포함될 수 있습니다.

네트워크 주요 기능 계획 관련 질문
동서 컴퓨팅 패브릭 GPU 집단 통신 및 분산 학습 각 GPU 서버는 몇 개의 고속 링크로 연결되어 있습니까?
스토리지 네트워크 데이터셋 접근, 체크포인트 및 병렬 저장 스토리지 트래픽은 GPU 트래픽과 분리되어 있습니까?
관리 네트워크 프로비저닝, 오케스트레이션, 모니터링 및 제어 어떤 노드와 장치에 관리자 액세스 권한이 필요합니까?
대역 외 네트워크 BMC, 콘솔 및 인프라 관리 서버와 스위치의 관리 포트는 분리되어 있습니까?
PDU 및 서비스 네트워크 전력 제어, 콘솔 액세스 및 운영 서비스 전력 및 지원 시스템이 자재명세서(BOM)에 포함되어 있습니까?

시스코의 참조 아키텍처는 동서 컴퓨팅 네트워크와 남북 스토리지 및 관리 네트워크를 분리합니다. 또한 스위치 관리, 블루필드 관리 및 기타 서비스 네트워크를 별도로 설명합니다.

이러한 이유로 GPU 연결용 리프 스위치만 나열된 BOM은 일반적으로 불완전합니다. 보다 포괄적인 컴퓨팅, 스토리지 및 네트워크 계획은 다음을 참조하십시오. AI 클러스터 네트워크, 스토리지 및 컴퓨팅 계획 가이드.

AI 클러스터용 초기 BOM이 필요하신가요?

GPU 개수, 서버 구성, 링크 속도, 스토리지 요구 사항 및 확장 계획을 보내주세요.

컴퓨팅 스위치는 몇 대가 필요합니까?

시스코의 참조 아키텍처는 고밀도 시스코 8000 플랫폼을 사용하는 3계층 동서 컴퓨팅 네트워크의 예를 보여줍니다. 이 아키텍처는 리프 스위치, 스파인 스위치, 슈퍼 스파인 스위치, 800G 스위치 간 링크 및 400G 서버-리프 연결을 사용합니다.

더 큰 규모의 AI 패브릭의 경우, 사용 가능한 제품들을 비교해 보세요. Cisco 8000 시리즈 스위치 포트 밀도, 업링크 속도, 지원되는 브레이크아웃 모드 및 정확한 하드웨어 PID에 따라 결정됩니다.

GPU 노드 GPU 리프 스위치 척추 스위치 슈퍼 스파인 스위치
128 1,024 16 16 8
256 2,048 32 32 16
512 4,096 64 64 32
1,024 8,192 128 128 64
2,048 16,384 256 256 128
4,096 32,768 512 512 256

이 그림들은 특정 시스코 참조 아키텍처의 컴퓨팅 패브릭을 설명합니다. 따라서 이 그림들을 소규모 엔터프라이즈 클러스터에 직접 복사해서 사용해서는 안 됩니다. 서버 NIC 레이아웃, 포트 밀도 또는 토폴로지가 다르면 결과가 달라질 수 있습니다.

400g 또는 800g: 어떤 것을 선택해야 할까요?

400G와 800G 중 어떤 것을 선택할지는 클러스터 규모, 서버 인터페이스 설계, 스위치 기수 및 확장 요구 사항에 따라 달라집니다.

고려 400G 디자인 800G 디자인
일반적인 역할 GPU 서버 링크, 스토리지 및 중대형 패브릭 고밀도 잎, 척추 및 대규모 AI 패브릭
포트 밀도 현재 서버 및 스위치 설계에 더 쉽게 배포할 수 있습니다. 물리적 포트당 더 높은 대역폭
브레이크아웃 사용 호환 플랫폼에서 400G에서 4 × 100G까지 호환 플랫폼에서 800G에서 2 × 400G까지
조달의 복잡성 보다 친숙한 광 및 케이블 옵션 엄격한 OSFP/QSFP-DD 및 브레이크아웃 검증이 필요합니다.
확장 모델 단계적 배포에 적합합니다. 고밀도 개발을 처음부터 계획할 때 유용합니다.

400G 구축이 자동으로 더 작거나 저렴해지는 것은 아닙니다. 모든 서버에 여러 개의 400G 포트가 필요한 경우, 서버 연결 링크의 총 개수는 여전히 상당할 수 있습니다.

800G 플랫폼은 일부 스파인 또는 리프 역할에서 물리적 스위치 포트 수를 줄일 수 있지만, 최종 결과는 포트 분할 방식과 각 서버에 필요한 대역폭에 따라 달라집니다.

송수신기 및 케이블 개수 세는 방법

모든 물리적 연결은 양쪽 끝에서 모두 계산해야 합니다. 각 연결에 대해 포트 속도, 레인 구성, 광 모듈 또는 케이블 유형, 광섬유 거리, 분기 설계 및 FEC 요구 사항을 확인하십시오.

링크 유형 장치 A 장치 B 세어야 할 항목
GPU 서버에서 리프로 GPU NIC 리프를 계산합니다 엔드포인트당 모듈 또는 케이블 어셈블리 1개
잎에서 척추까지 리프 스위치 척추 스위치 링크당 스위치 측 엔드포인트 2개
척추에서 슈퍼 척추로 척추 스위치 슈퍼 스파인 토폴로지에 따른 400G/800G 링크
스토리지 노드에서 스토리지 리프까지 스토리지 NIC 저장 잎 저장측 광학 장치 또는 DAC/AOC
경영 및 BMC 서버 관리 포트 관리 스위치 관리 케이블 및 포트 어댑터

호환되는 400G 광 연결의 경우, 다음과 같은 제품이 있습니다. QDD-400G-DR4-S 스위치 PID, 광섬유 유형, 도달 거리, 코딩 및 지원되는 FEC를 확인한 후 고려될 수 있습니다.

랙 내부 연결 길이가 매우 짧은 경우에는 다음과 같은 수동 케이블을 사용할 수 있습니다. QDD-400-CU1M 포트 호환성 및 지원되는 케이블 길이를 확인한 후 고려해볼 수 있습니다.

400G-to-400G 연결, 400G-to-4 × 100G 브레이크아웃, 그리고 800G-to-2 × 400G 브레이크아웃은 동일한 BOM 구조를 사용하지 않습니다. 포트 구성과 그에 따른 모든 엔드포인트가 포함되어야 합니다.

구리 DAC, 광섬유 AOC 및 광 모듈 간의 선택 절충안에 대해서는 다음을 참조하십시오. 400G DAC, AOC 및 광 링크 가이드.

시스코 참조 BOM 예시

시스코가 공개한 BOM 표는 완전한 참조 아키텍처가 4K에서 32K GPU로 확장되는 방식을 보여주는 예시입니다.

GPU HGX 서버 노드 800G 스위치 400G 스위치 저속 관리 스위치
4,096 512 184 12 36
8,192 1,024 378 26 72
16,384 2,048 754 50 144
32,768 4,096 1,506 98 288

이 값들은 시스코가 정의한 아키텍처에 대한 최소 BOM 값이며, 모든 AI 구축 환경에 대한 일반적인 예상치가 아닙니다. 참조 설계는 특정 시스코 및 NVIDIA 하드웨어, 서버 구성, 링크 속도 및 토폴로지 가정을 기반으로 합니다.

이 표는 전체 클러스터 BOM에 메인 컴퓨팅 리프 스위치와 스파인 스위치 외에도 더 많은 장치가 포함되는 이유를 보여줍니다. 스토리지, 관리 및 저속 인프라 스위치가 상당한 수의 장치를 차지할 수 있습니다.

시스코의 현재 8000 클라우드 참조 아키텍처 이러한 예시 개수의 범위와 근거가 되는 가정을 검증하는 데 사용해야 합니다.

실용적인 규모 산정 워크플로

컴퓨팅 유닛을 정의하십시오.

  • 총 GPU 개수를 기록하십시오.
  • 서버당 GPU 개수를 확인하십시오.
  • GPU 서버 수를 계산하세요.
  • 서버별 NIC 모델과 포트 수를 확인하십시오.
  • 대상 포트 속도를 기록하십시오.
  • 독립형 GPU 네트워크 레일의 수를 확인하십시오.

원단을 정의하세요

  • 2계층 또는 3계층 토폴로지를 선택하십시오.
  • 리프 포트 밀도를 확인하십시오.
  • 스파인 라딕스 및 업링크 요구 사항을 확인하십시오.
  • 초과 구독 목표를 정의하십시오.
  • 중복성 모델을 문서화하십시오.
  • 계획된 성장 목표를 포함시키십시오.

비컴퓨팅 네트워크를 정의하십시오.

  • 저장 리프 스위치
  • 스토리지 스파인 또는 업링크 요구 사항
  • 관리 스위치
  • BMC 및 대역 외 액세스
  • 스위치 관리
  • PDU 및 콘솔 연결

물리적 상호 연결을 정의하십시오.

  • 400G 및 800G 광학 장치
  • 100G 또는 200G 브레이크아웃 링크
  • DAC 및 AOC 길이
  • 싱글모드 또는 멀티모드 광섬유
  • FEC 및 차선 요건
  • 예비 모듈 및 케이블

플랫폼을 검증하세요

  • 정확한 스위치 PID
  • 지원되는 네트워크 운영 체제
  • 포트 브레이크아웃 지원
  • 광 및 케이블 호환성
  • 버퍼 및 혼잡 관리 기능
  • PFC, ECN 및 MTU 지원
  • 전력 및 공기 흐름 요구 사항
  • 소프트웨어 및 지원 권한

RoCE 및 조달 점검

GPU 패브릭이 RoCEv2를 사용하는 경우 스위치 크기 조정만으로는 충분하지 않습니다. 설계 시 PFC 동작, ECN 마킹, 큐 및 버퍼 프로파일, MTU 일관성, 우선순위 매핑, 혼잡 제어, FEC 호환성, NIC 및 드라이버 지원, 장애 복구, 모니터링 및 원격 측정 기능도 검증해야 합니다.

패브릭은 충분한 원시 대역폭을 가지고 있더라도 서버, 스위치 및 광 모듈 전반에 걸쳐 혼잡 제어 및 큐 동작이 일관되지 않으면 성능이 저하될 수 있습니다. 다음을 사용하십시오. RoCEv2를 사용한 AI 클러스터 무손실 네트워킹 가이드 자세한 PFC, ECN, 버퍼 및 GPUDirect 계획 고려 사항은 다음과 같습니다.

사이즈 또는 견적 요청에는 다음 사항이 포함되어야 합니다.

  • 총 GPU 개수
  • GPU 모델 및 서버당 GPU 개수
  • GPU 서버 수
  • NIC 모델 및 포트 수
  • 목표 속도 400G 또는 800G
  • 저장 시스템 및 인터페이스 속도
  • 관리 노드 개수
  • 목표 잎-가시 토폴로지
  • 필수 중복성
  • 광섬유 거리
  • DAC/AOC 길이
  • 분리 요구 사항
  • 계획된 확장 규모
  • 광학 부품 및 케이블 예비 부품
  • 전력 및 공기 흐름 제한

자주 묻는 질문

Q1 1,000개 GPU 클러스터를 구성하는 데 필요한 스위치는 몇 대입니까?
만능 해결책은 없습니다. 시스코의 레퍼런스 아키텍처는 1,024개의 GPU와 128개의 노드로 구성된 3계층 컴퓨팅 설계를 보여주는데, 여기에는 16개의 리프 스위치, 16개의 스파인 스위치, 그리고 8개의 슈퍼 스파인 스위치가 포함됩니다. 서버 NIC 레이아웃, 포트 밀도 또는 토폴로지가 다르면 결과도 달라질 수 있습니다.
Q2 GPU 서버마다 스위치가 하나씩 필요한가요?
아니요. 여러 GPU 서버는 서버 포트 수, 링크 속도, 레일 설계 및 사용 가능한 다운링크 포트에 따라 각 리프 스위치에 연결됩니다.
Q3 AI 클러스터에 별도의 스토리지 네트워크가 필요한가요?
항상 그런 것은 아니지만, 물리적으로 통합되어 있더라도 스토리지는 별도로 계획해야 합니다. 데이터셋 접근, 체크포인트 트래픽, 병렬 스토리지는 GPU 컴퓨팅 패브릭에서 서로 다른 대역폭 및 혼잡 관리 정책을 요구할 수 있습니다.
Q4 800G가 400G보다 항상 더 좋은 걸까요?
아니요, 800G는 물리적 포트당 더 높은 대역폭을 제공하지만 광케이블, 기타 케이블, 호환성 및 구축 복잡성이 증가할 수 있습니다. 적절한 선택은 서버 인터페이스, 스위치 기종, 목표 규모 및 향후 성장 요구 사항에 따라 달라집니다.
Q5 광 송수신기는 몇 개를 포함해야 합니까?
모든 물리적 링크 엔드포인트를 계산하십시오. 이중화된 리프-스파인 설계는 단일 링크 설계보다 더 많은 모듈이 필요하며, 브레이크아웃 구성의 경우 각 레인 또는 엔드포인트에 대해 별도의 계산이 필요합니다.
Q6 GPU 클러스터 BOM에 관리 스위치를 포함해야 할까요?
예. BMC, 스위치 관리, 프로비저닝, 모니터링, 콘솔 및 PDU 연결은 주요 GPU 트래픽을 처리하지는 않지만 운영상 필수적입니다.
Q7 스위치를 선택하기 전에 가장 먼저 확인해야 할 사항은 무엇입니까?
GPU 서버 구성 및 네트워크 인터페이스 레이아웃을 확인하십시오. GPU 개수만으로는 리프 포트 요구량이나 스위치 개수를 결정하기에 충분하지 않습니다.

최종 테이크 아웃

AI GPU 클러스터 스위치 크기 결정은 단순한 GPU 대 스위치 비율이 아니라 서버 및 네트워크 토폴로지에서 시작됩니다.

안정적인 400G 또는 800G BOM을 구성하려면 GPU 서버, GPU 연결 링크, 컴퓨팅 리프 및 스파인 계층, 슈퍼 스파인 요구 사항, 스토리지 및 관리 네트워크, 광 모듈, 브레이크아웃 어셈블리, DAC/AOC 및 광섬유 케이블, 이중화 링크 및 예비 부품을 계산해야 합니다.

시스코의 8000 클라우드 참조 아키텍처는 1개에서 32개에 이르는 GPU에 대한 유용한 예시를 제공하지만, 이러한 수치는 시스코와 NVIDIA가 정의한 특정 설계에 적용됩니다. GPU 서버, 스위치 플랫폼, 네트워크 운영 체제(NOS) 또는 토폴로지가 다른 경우, 자재 명세서(BOM)를 다시 계산해야 합니다.

클러스터 구매를 준비 중이시라면, 스위치, 광 모듈 및 케이블 검토를 위해 GPU 개수, 서버 구성, 목표 링크 속도, 스토리지 요구 사항 및 확장 계획을 보내주시기 바랍니다.