AI 클러스터 크기 산정에서 가장 흔한 실수는 GPU 개수를 정하고 바로 스위치 포트 수로 나누는 것입니다. 신뢰할 수 있는 설계를 위해서는 먼저 GPU 서버 수, 서버당 네트워크 링크 수, 필요한 패브릭 계층, 그리고 스토리지와 관리 네트워크를 분리해야 합니다. 이 가이드에서는 400G 및 800G AI 이더넷 패브릭에 필요한 스위치, 광케이블, DAC/AOC, 그리고 브레이크아웃 포트 수를 산정하는 방법을 설명합니다.
보다 폭넓은 건축적 관점을 보시려면 다음을 참조하십시오. AI GPU 클러스터 네트워킹 솔루션 이더넷 패브릭, 고속 광학 장치, DAC/AOC 및 멀티랙 구축 계획을 다룹니다.
- 컴퓨팅, 스토리지, 관리 및 서비스 네트워크
- 잎, 척추 및 슈퍼 척추 크기 조정 예시
- 항만 밀도, 돌파구, 도달 범위 및 확장 고려 사항
- 광학, DAC/AOC, 브레이크아웃 및 예비 부품 계획
- 참조 아키텍처 개수를 해석하는 방법
- GPU 요구사항을 BOM으로 변환하는 단계
- 무손실 이더넷 및 견적 요구 사항
- AI GPU 클러스터 크기 조정 관련 일반적인 질문
- AI 클러스터 스위치 크기 조정에 대한 실용적인 규칙
GPU 개수만 생각하지 말고 GPU 서버부터 시작하세요.
가장 흔한 크기 조정 오류는 GPU 개수를 세고 바로 스위치 포트 수로 나누는 것입니다. 올바른 시작점은 GPU 서버 수와 각 서버에서 사용하는 고속 네트워크 링크 수입니다.
다음의 기본적인 계산법을 사용하십시오.
GPU 서버 수 = 총 GPU 수 ÷ 서버당 GPU 수
1,024개의 GPU를 사용하는 클러스터는 서버당 8개의 GPU를 탑재한 서버 128대 또는 서버당 4개의 GPU를 탑재한 서버 256대를 사용할 수 있습니다. 하지만 이러한 구성 방식은 동일한 수의 네트워크 링크를 생성하지 않습니다. 서버 구성, 네트워크 어댑터 개수, 포트 속도 및 레일 설계에 따라 액세스 측 포트 요구 사항이 결정됩니다.
400G 또는 800G 연결이 여러 개인 서버는 전체 서버 수가 변하지 않더라도 여러 개의 리프 포트를 사용할 수 있습니다.
자재명세서(BOM)에 어떤 네트워크를 포함해야 할까요?
완전한 AI 클러스터 BOM에는 GPU 간 통신에 사용되는 네트워크만 포함해서는 안 됩니다. 실제 운영 환경에서는 여러 개의 독립적인 네트워크 또는 부분적으로 통합된 네트워크가 포함될 수 있습니다.
| 네트워크 | 주요 기능 | 계획 관련 질문 |
|---|---|---|
| 동서 컴퓨팅 패브릭 | GPU 집단 통신 및 분산 학습 | 각 GPU 서버는 몇 개의 고속 링크로 연결되어 있습니까? |
| 스토리지 네트워크 | 데이터셋 접근, 체크포인트 및 병렬 저장 | 스토리지 트래픽은 GPU 트래픽과 분리되어 있습니까? |
| 관리 네트워크 | 프로비저닝, 오케스트레이션, 모니터링 및 제어 | 어떤 노드와 장치에 관리자 액세스 권한이 필요합니까? |
| 대역 외 네트워크 | BMC, 콘솔 및 인프라 관리 | 서버와 스위치의 관리 포트는 분리되어 있습니까? |
| PDU 및 서비스 네트워크 | 전력 제어, 콘솔 액세스 및 운영 서비스 | 전력 및 지원 시스템이 자재명세서(BOM)에 포함되어 있습니까? |
시스코의 참조 아키텍처는 동서 컴퓨팅 네트워크와 남북 스토리지 및 관리 네트워크를 분리합니다. 또한 스위치 관리, 블루필드 관리 및 기타 서비스 네트워크를 별도로 설명합니다.
이러한 이유로 GPU 연결용 리프 스위치만 나열된 BOM은 일반적으로 불완전합니다. 보다 포괄적인 컴퓨팅, 스토리지 및 네트워크 계획은 다음을 참조하십시오. AI 클러스터 네트워크, 스토리지 및 컴퓨팅 계획 가이드.
GPU 개수, 서버 구성, 링크 속도, 스토리지 요구 사항 및 확장 계획을 보내주세요.
컴퓨팅 스위치는 몇 대가 필요합니까?
시스코의 참조 아키텍처는 고밀도 시스코 8000 플랫폼을 사용하는 3계층 동서 컴퓨팅 네트워크의 예를 보여줍니다. 이 아키텍처는 리프 스위치, 스파인 스위치, 슈퍼 스파인 스위치, 800G 스위치 간 링크 및 400G 서버-리프 연결을 사용합니다.
더 큰 규모의 AI 패브릭의 경우, 사용 가능한 제품들을 비교해 보세요. Cisco 8000 시리즈 스위치 포트 밀도, 업링크 속도, 지원되는 브레이크아웃 모드 및 정확한 하드웨어 PID에 따라 결정됩니다.
| GPU 노드 | GPU | 리프 스위치 | 척추 스위치 | 슈퍼 스파인 스위치 |
|---|---|---|---|---|
| 128 | 1,024 | 16 | 16 | 8 |
| 256 | 2,048 | 32 | 32 | 16 |
| 512 | 4,096 | 64 | 64 | 32 |
| 1,024 | 8,192 | 128 | 128 | 64 |
| 2,048 | 16,384 | 256 | 256 | 128 |
| 4,096 | 32,768 | 512 | 512 | 256 |
이 그림들은 특정 시스코 참조 아키텍처의 컴퓨팅 패브릭을 설명합니다. 따라서 이 그림들을 소규모 엔터프라이즈 클러스터에 직접 복사해서 사용해서는 안 됩니다. 서버 NIC 레이아웃, 포트 밀도 또는 토폴로지가 다르면 결과가 달라질 수 있습니다.
400g 또는 800g: 어떤 것을 선택해야 할까요?
400G와 800G 중 어떤 것을 선택할지는 클러스터 규모, 서버 인터페이스 설계, 스위치 기수 및 확장 요구 사항에 따라 달라집니다.
| 고려 | 400G 디자인 | 800G 디자인 |
|---|---|---|
| 일반적인 역할 | GPU 서버 링크, 스토리지 및 중대형 패브릭 | 고밀도 잎, 척추 및 대규모 AI 패브릭 |
| 포트 밀도 | 현재 서버 및 스위치 설계에 더 쉽게 배포할 수 있습니다. | 물리적 포트당 더 높은 대역폭 |
| 브레이크아웃 사용 | 호환 플랫폼에서 400G에서 4 × 100G까지 | 호환 플랫폼에서 800G에서 2 × 400G까지 |
| 조달의 복잡성 | 보다 친숙한 광 및 케이블 옵션 | 엄격한 OSFP/QSFP-DD 및 브레이크아웃 검증이 필요합니다. |
| 확장 모델 | 단계적 배포에 적합합니다. | 고밀도 개발을 처음부터 계획할 때 유용합니다. |
400G 구축이 자동으로 더 작거나 저렴해지는 것은 아닙니다. 모든 서버에 여러 개의 400G 포트가 필요한 경우, 서버 연결 링크의 총 개수는 여전히 상당할 수 있습니다.
800G 플랫폼은 일부 스파인 또는 리프 역할에서 물리적 스위치 포트 수를 줄일 수 있지만, 최종 결과는 포트 분할 방식과 각 서버에 필요한 대역폭에 따라 달라집니다.
송수신기 및 케이블 개수 세는 방법
모든 물리적 연결은 양쪽 끝에서 모두 계산해야 합니다. 각 연결에 대해 포트 속도, 레인 구성, 광 모듈 또는 케이블 유형, 광섬유 거리, 분기 설계 및 FEC 요구 사항을 확인하십시오.
| 링크 유형 | 장치 A | 장치 B | 세어야 할 항목 |
|---|---|---|---|
| GPU 서버에서 리프로 | GPU NIC | 리프를 계산합니다 | 엔드포인트당 모듈 또는 케이블 어셈블리 1개 |
| 잎에서 척추까지 | 리프 스위치 | 척추 스위치 | 링크당 스위치 측 엔드포인트 2개 |
| 척추에서 슈퍼 척추로 | 척추 스위치 | 슈퍼 스파인 | 토폴로지에 따른 400G/800G 링크 |
| 스토리지 노드에서 스토리지 리프까지 | 스토리지 NIC | 저장 잎 | 저장측 광학 장치 또는 DAC/AOC |
| 경영 및 BMC | 서버 관리 포트 | 관리 스위치 | 관리 케이블 및 포트 어댑터 |
호환되는 400G 광 연결의 경우, 다음과 같은 제품이 있습니다. QDD-400G-DR4-S 스위치 PID, 광섬유 유형, 도달 거리, 코딩 및 지원되는 FEC를 확인한 후 고려될 수 있습니다.
랙 내부 연결 길이가 매우 짧은 경우에는 다음과 같은 수동 케이블을 사용할 수 있습니다. QDD-400-CU1M 포트 호환성 및 지원되는 케이블 길이를 확인한 후 고려해볼 수 있습니다.
400G-to-400G 연결, 400G-to-4 × 100G 브레이크아웃, 그리고 800G-to-2 × 400G 브레이크아웃은 동일한 BOM 구조를 사용하지 않습니다. 포트 구성과 그에 따른 모든 엔드포인트가 포함되어야 합니다.
구리 DAC, 광섬유 AOC 및 광 모듈 간의 선택 절충안에 대해서는 다음을 참조하십시오. 400G DAC, AOC 및 광 링크 가이드.
시스코 참조 BOM 예시
시스코가 공개한 BOM 표는 완전한 참조 아키텍처가 4K에서 32K GPU로 확장되는 방식을 보여주는 예시입니다.
| GPU | HGX 서버 노드 | 800G 스위치 | 400G 스위치 | 저속 관리 스위치 |
|---|---|---|---|---|
| 4,096 | 512 | 184 | 12 | 36 |
| 8,192 | 1,024 | 378 | 26 | 72 |
| 16,384 | 2,048 | 754 | 50 | 144 |
| 32,768 | 4,096 | 1,506 | 98 | 288 |
이 값들은 시스코가 정의한 아키텍처에 대한 최소 BOM 값이며, 모든 AI 구축 환경에 대한 일반적인 예상치가 아닙니다. 참조 설계는 특정 시스코 및 NVIDIA 하드웨어, 서버 구성, 링크 속도 및 토폴로지 가정을 기반으로 합니다.
이 표는 전체 클러스터 BOM에 메인 컴퓨팅 리프 스위치와 스파인 스위치 외에도 더 많은 장치가 포함되는 이유를 보여줍니다. 스토리지, 관리 및 저속 인프라 스위치가 상당한 수의 장치를 차지할 수 있습니다.
시스코의 현재 8000 클라우드 참조 아키텍처 이러한 예시 개수의 범위와 근거가 되는 가정을 검증하는 데 사용해야 합니다.
실용적인 규모 산정 워크플로
컴퓨팅 유닛을 정의하십시오.
- 총 GPU 개수를 기록하십시오.
- 서버당 GPU 개수를 확인하십시오.
- GPU 서버 수를 계산하세요.
- 서버별 NIC 모델과 포트 수를 확인하십시오.
- 대상 포트 속도를 기록하십시오.
- 독립형 GPU 네트워크 레일의 수를 확인하십시오.
원단을 정의하세요
- 2계층 또는 3계층 토폴로지를 선택하십시오.
- 리프 포트 밀도를 확인하십시오.
- 스파인 라딕스 및 업링크 요구 사항을 확인하십시오.
- 초과 구독 목표를 정의하십시오.
- 중복성 모델을 문서화하십시오.
- 계획된 성장 목표를 포함시키십시오.
비컴퓨팅 네트워크를 정의하십시오.
- 저장 리프 스위치
- 스토리지 스파인 또는 업링크 요구 사항
- 관리 스위치
- BMC 및 대역 외 액세스
- 스위치 관리
- PDU 및 콘솔 연결
물리적 상호 연결을 정의하십시오.
- 400G 및 800G 광학 장치
- 100G 또는 200G 브레이크아웃 링크
- DAC 및 AOC 길이
- 싱글모드 또는 멀티모드 광섬유
- FEC 및 차선 요건
- 예비 모듈 및 케이블
플랫폼을 검증하세요
- 정확한 스위치 PID
- 지원되는 네트워크 운영 체제
- 포트 브레이크아웃 지원
- 광 및 케이블 호환성
- 버퍼 및 혼잡 관리 기능
- PFC, ECN 및 MTU 지원
- 전력 및 공기 흐름 요구 사항
- 소프트웨어 및 지원 권한
RoCE 및 조달 점검
GPU 패브릭이 RoCEv2를 사용하는 경우 스위치 크기 조정만으로는 충분하지 않습니다. 설계 시 PFC 동작, ECN 마킹, 큐 및 버퍼 프로파일, MTU 일관성, 우선순위 매핑, 혼잡 제어, FEC 호환성, NIC 및 드라이버 지원, 장애 복구, 모니터링 및 원격 측정 기능도 검증해야 합니다.
패브릭은 충분한 원시 대역폭을 가지고 있더라도 서버, 스위치 및 광 모듈 전반에 걸쳐 혼잡 제어 및 큐 동작이 일관되지 않으면 성능이 저하될 수 있습니다. 다음을 사용하십시오. RoCEv2를 사용한 AI 클러스터 무손실 네트워킹 가이드 자세한 PFC, ECN, 버퍼 및 GPUDirect 계획 고려 사항은 다음과 같습니다.
사이즈 또는 견적 요청에는 다음 사항이 포함되어야 합니다.
- 총 GPU 개수
- GPU 모델 및 서버당 GPU 개수
- GPU 서버 수
- NIC 모델 및 포트 수
- 목표 속도 400G 또는 800G
- 저장 시스템 및 인터페이스 속도
- 관리 노드 개수
- 목표 잎-가시 토폴로지
- 필수 중복성
- 광섬유 거리
- DAC/AOC 길이
- 분리 요구 사항
- 계획된 확장 규모
- 광학 부품 및 케이블 예비 부품
- 전력 및 공기 흐름 제한
자주 묻는 질문
최종 테이크 아웃
AI GPU 클러스터 스위치 크기 결정은 단순한 GPU 대 스위치 비율이 아니라 서버 및 네트워크 토폴로지에서 시작됩니다.
안정적인 400G 또는 800G BOM을 구성하려면 GPU 서버, GPU 연결 링크, 컴퓨팅 리프 및 스파인 계층, 슈퍼 스파인 요구 사항, 스토리지 및 관리 네트워크, 광 모듈, 브레이크아웃 어셈블리, DAC/AOC 및 광섬유 케이블, 이중화 링크 및 예비 부품을 계산해야 합니다.
시스코의 8000 클라우드 참조 아키텍처는 1개에서 32개에 이르는 GPU에 대한 유용한 예시를 제공하지만, 이러한 수치는 시스코와 NVIDIA가 정의한 특정 설계에 적용됩니다. GPU 서버, 스위치 플랫폼, 네트워크 운영 체제(NOS) 또는 토폴로지가 다른 경우, 자재 명세서(BOM)를 다시 계산해야 합니다.
클러스터 구매를 준비 중이시라면, 스위치, 광 모듈 및 케이블 검토를 위해 GPU 개수, 서버 구성, 목표 링크 속도, 스토리지 요구 사항 및 확장 계획을 보내주시기 바랍니다.















































































































































