Okablowanie miedziane a światłowodowe AOC DAC dla karty NVIDIA ConnectX-7 400G

Okablowanie miedziane a światłowodowe AOC DAC dla karty NVIDIA ConnectX-7 400G

Kontekst projektu okablowania łącza

Kontekst projektu okablowania łącza
  • Wraz ze skalowaniem klastrów GPU i coraz głębszym wbudowywaniem łączy 400G w serwery i przełączniki sieciowe NVIDIA Mellanox ConnectX-7, okablowanie przestaje być standardowym wyborem. Równowaga między miedzianym DAC, bezpośrednim podłączeniem i 400G AOC decyduje o tym, jak zagęszczone mogą być szafy AI, jak daleko można rozciągnąć połączenia serwer-przełącznik oraz ile energii, opóźnień i budżetu termicznego zużywa się na port.

    W tej sekcji omówiono kluczowe decyzje projektowe dotyczące wyboru miedzianych lub światłowodowych połączeń DAC/AOC dla wdrożeń ConnectX-7, od okablowania top-of-rack o krótkim zasięgu, po dłuższe łącza wewnątrz szafy i w skali rzędu. Poprzez mapowanie zasięgu, mocy, promienia gięcia i wymagań interoperacyjności dla konkretnych opcji DAC i AOC, poniższe sekcje pomagają architektom w doborze praktycznego połączenia okablowania z wykorzystaniem rozwiązań Mellanox i Cisco 400G QSFP-DD.

Równoważenie kabli miedzianych i światłowodowych w przypadku łączy sieciowych 400G

Wybór pomiędzy miedzianymi łączami DAC, AOC i światłowodowymi dla ConnectX-7 przy 400G jest ograniczony przez zasięg, parametry termiczne, gęstość portów, koszty i ewolucję cyklu życia.

Równoważenie kabli miedzianych i światłowodowych w przypadku łączy sieciowych 400G
  • Kompromisy między krótkim a długim zasięgiem

    Projektanci muszą dopasować odległość i układ każdego łącza 400G do wybranego DAC lub AOC, unikając przy tym nadmiernej inżynierii lub tworzenia ślepych zaułków w przyszłości.

  • Ciśnienie mocy, ciepła i kosztów

    Pasywny przetwornik cyfrowo-analogowy (DAC) zmniejsza pobór mocy i koszty, ale ma ograniczony zasięg; AOC wydłuża zasięg, ale zwiększa pobór mocy, obciążenie cieplne i złożoność budżetu na łącze.

  • Niepewność dotycząca interoperacyjności i ścieżki aktualizacji

    Łączenie różnych dostawców i planowanie światłowodów 800G/następnej generacji wymaga ostrożności, aby uniknąć niezgodności między kablami NIC-przełączniki i niepotrzebnych inwestycji w QSFP-DD.

Łącza miedziane i światłowodowe dla ConnectX-7

Porównaj miedziany DAC z światłowodowym AOC, aby wybrać odpowiednią strategię okablowania 400G dla wdrożeń sztucznej inteligencji i centrów danych NVIDIA ConnectX-7.

Cecha Kable DAC 400G miedziane
Kable światłowodowe 400G AOC (gorące)
Wpływ na biznes
Dopasowanie wdrożenia Najlepiej sprawdza się w przypadku bardzo krótkich łączy serwer-przełącznik wewnątrz szafy (zwykle ≤2–3 m), w których przełączniki i karty sieciowe NVIDIA ConnectX-7 są umieszczone w tej samej lokalizacji. Obejmuje elastyczne trasy wewnątrz regału i między rzędami o długości do kilkudziesięciu metrów, nadaje się do gęstych regałów AI i połączeń liść-grzbiet. Zaplanuj typ okablowania, aby dotrzeć do: DAC dla sąsiedniego sprzętu, AOC dla elastycznego układu szaf i rzędów bez konieczności zmiany architektury struktury.
Wydajność i integralność sygnału Doskonała jakość sygnału na bardzo krótkich dystansach, jednak wydajność i margines widzenia szybko się pogarszają, gdy odległość przekracza kilka metrów. Aktywna optyka zapewnia integralność sygnału na duże odległości i lepsze marginesy, zwłaszcza w klastrach AI o dużym natężeniu promieniowania i dużej gęstości. Używaj DAC, gdy fizyka nie ma znaczenia; polegaj na AOC, aby utrzymać stabilność 400G, gdy układy są skalowane, a ścieżki stają się zaszumione elektrycznie.
Termiczne i energetyczne Brak aktywnych elementów w samym kablu, brak dodatkowego poboru mocy, ale grubsze wiązki miedziane utrudniają przepływ powietrza w gęsto upakowanych serwerach GPU i przełącznikach typu top-of-rack. Wymaga zasilania modułu na obu końcach, ale cieńsze i lżejsze wiązki włókien poprawiają przepływ powietrza w gorących szafach AI i węzłach GPU o dużej mocy. W przypadku szaf AI o ograniczonych parametrach termicznych, zyski przepływu powietrza dzięki AOC często przewyższają niewielki wzrost kosztów energii.
Możliwość zarządzania kablami i ich gęstość Sztywne, grube i cięższe; trudniejsze do zgięcia w zatłoczonych szafach, mogą powodować obciążenia portów QSFP-DD w ciasnych miejscach. Smukły, lekki i niezwykle elastyczny; łatwiejsze układanie, etykietowanie oraz przenoszenie/dodawanie/zmiany w dużych tkaninach. W środowiskach, w których często zachodzi konieczność wymiany okablowania lub występuje bardzo duże zagęszczenie portów, AOC upraszcza obsługę i zmniejsza ryzyko uszkodzenia portów.
Profil kosztów i cykl życia Najniższy koszt początkowy na łącze 400G, ale ograniczone możliwości zasięgu; wymiana może być konieczna w przypadku zmiany układu szafy lub przeniesienia jej do innego rzędu. Wyższy początkowy koszt na łącze, ale zasięg i możliwość ponownego wykorzystania w różnych szafach i rzędach redukują ilość kabli linkowych w miarę rozwoju klastra. DAC optymalizuje początkowe nakłady inwestycyjne (CAPEX) w przypadku stałych układów; AOC optymalizuje całkowity koszt posiadania w rozwijających się lub często rekonfigurowanych klastrach AI.
Dostawca i interoperacyjność Zoptymalizowany pod kątem NVIDIA ConnectX-7 i przełączników kompatybilnych z NVIDIA o krótkim zasięgu; większa wrażliwość na różnice w warstwie fizycznej oraz ograniczenia budżetu łącza w zależności od odległości. Zaprojektowano dla NVIDIA ConnectX-7, a także obsługuje szerszą współpracę dostawców w obrębie przełączników i struktur na dłuższych ścieżkach optycznych. Jeśli przewidujesz wykorzystanie infrastruktury wielu dostawców lub ewolucję topologii, AOC redukuje problemy związane z interoperacyjnością w porównaniu z ograniczeniami dotyczącymi okablowania miedzianego.
Scenariusze najlepszego wykorzystania Ekonomiczne, stałe konstrukcje typu Top-of-Rack; krótkie łącza serwer-przełącznik wewnątrz pojedynczej szafy lub sąsiadujących szaf w małym module. Klastry szkoleniowe sztucznej inteligencji na dużą skalę, struktury GPU obejmujące wiele regałów/rzędów oraz połączenia typu spine-leaf, w których zasięg i łatwość zarządzania mają kluczowe znaczenie. Połącz oba rozwiązania: używaj miedzianego DAC tylko tam, gdzie jest to zdecydowanie wystarczające, a w przypadku struktur o skali AI ustandaryzuj AOC, aby sieć była przygotowana na przyszłość.

Potrzebujesz pomocy? Eksperci techniczni dostępni od zaraz.

  • +1-626-655-0998 (Stany Zjednoczone)
    UTC 15:00-00:00
  • +852-2592-5389 (Hongkong)
    UTC 00:00-09:00
  • +852-2592-5411 (Hongkong)
    UTC 06:00-15:00
Potrzebujesz pomocy? Eksperci techniczni dostępni od zaraz.

Idealne zastosowania i przypadki użycia

Gdzie łącza miedziane DAC i światłowodowe AOC najlepiej sprawdzają się w przypadku serwerów NVIDIA Mellanox ConnectX-7 400G oraz wdrożeń typu spine/leaf.

Moduły szkoleniowe AI i klastry GPU w jednej szafie

Moduły szkoleniowe AI i klastry GPU w jednej szafie

  • Użyj kabli DAC Mellanox 400G o krótkim zasięgu, aby połączyć procesory graficzne ConnectX-7 z przełącznikami 400G montowanymi na górze szafy w gęsto zabudowanych szafach do szkolenia AI, gdzie odległość zwykle wynosi mniej niż 3 m.
  • Zastosuj kable Mellanox 400G AOC do podłączania dwuszynowych lub wieloszynowych procesorów graficznych ConnectX-7 do przełączników agregujących, gdy serwery zajmują całą wysokość szafy, a promień gięcia przewodu miedzianego staje się ograniczający.
  • Połącz DAC w przypadku serwerów wewnątrz obudowy lub obok siebie, w których występują krytyczne opóźnienia, oraz AOC w przypadku topologii między-rackowych w obrębie tego samego modułu AI, aby zapewnić równowagę między integralnością sygnału, przepływem powietrza i łatwością zarządzania okablowaniem.
Tkaniny Leaf-Spine w nowoczesnych centrach danych

Tkaniny Leaf-Spine w nowoczesnych centrach danych

  • Zestawy DAC Mellanox 400G można stosować do połączeń typu serwer-liść oraz liść-spine o krótkim przeskoku w sąsiadujących szafach, w których panele krosowe i przełączniki są umieszczone w tym samym rzędzie.
  • Zastosuj okablowanie Mellanox i Cisco 400G AOC do tras typu liść-spine, które muszą przechodzić przez przejścia zimne i gorące, korytka kablowe lub stelaże rozdzielcze stref, w których długość i waga przewodów miedzianych stanowią czynniki ograniczające.
  • Standaryzacja na poziomie 400G AOC umożliwia tworzenie łączy typu spine-to-core lub łączy rozszerzeń fabric obejmujących wiele rzędów, co upraszcza prowadzenie kabli i pozwala zachować współdziałanie 400G QSFP-DD z kartami sieciowymi ConnectX-7.
Prywatne klastry chmurowe i wirtualizacyjne dla przedsiębiorstw

Prywatne klastry chmurowe i wirtualizacyjne dla przedsiębiorstw

  • Użyj 400G DAC między hostami wirtualizacji wyposażonymi w ConnectX-7 i przełącznikami typu top-of-rack w kompaktowych korporacyjnych kontenerach chmury prywatnej, w których sprzęt jest ułożony w stosy w kilku jednostkach rack.
  • Wybierz łącza AOC 400G do łączenia węzłów hiperkonwergentnych lub węzłów pamięci masowej w oddzielnych szafach w tym samym rzędzie, gdzie wymagany jest dodatkowy zasięg wykraczający poza pasywny kabel miedziany bez poświęcania gęstości portów.
  • Połącz DAC w celu uzyskania stałych, przewidywalnych łączy typu host-przełącznik oraz AOC w celu elastycznego wdrażania poprawek do agregacji sieci lub bram DCI, aby umożliwić stopniową rozbudowę prywatnej chmury.
Wysokowydajne pamięci masowe i struktury o niskim opóźnieniu

Wysokowydajne pamięci masowe i struktury o niskim opóźnieniu

  • Wdróż 400G DAC pomiędzy kartami sieciowymi ConnectX-7 a przełącznikami z obsługą NVMe-oF/RoCEv2, aby uzyskać dostęp do pamięci masowej z wyjątkowo niskim opóźnieniem w tej samej szafie lub sąsiednich szafach przy zachowaniu kontrolowanych odległości.
  • W przypadku łączy pamięci masowej wrażliwych na opóźnienia należy zastosować technologię 400G AOC, w której ścieżki przełącznik-przełącznik lub przełącznik-serwer muszą obejmować wiele szaf i tras okablowania strukturalnego, zachowując jakość sygnału przy prędkościach 400G.
  • Oddziel klasy ruchu, używając DAC do podstawowego bezstratnego ruchu pamięci masowej wschód-zachód oraz AOC do łączy lustrzanych, zapasowych lub replikacji, które biegną dalej w domenach agregacji i odzyskiwania po awarii.
Środowiska chmurowe o dużej skali i wielu dzierżawcach

Środowiska chmurowe o dużej skali i wielu dzierżawcach

  • Zastosuj ekonomiczne okablowanie DAC Mellanox 400G w blokach serwerów o dużej skali, w których stojaki są wysoce standaryzowane, a odległości między serwerami i liśćmi są stałe i krótkie w tysiącach portów ConnectX-7.
  • Wykorzystaj kable Cisco i Mellanox 400G AOC w przypadku stref agregacji wielodostępnych, które łączą ze sobą kontenery, klatki lub strefy dostępności, w których wymagane są długie odcinki i ścisłe ścieżki separacyjne.
  • Zastosuj ustrukturyzowaną konstrukcję, która rezerwuje DAC dla połączeń wewnątrz podów o dużej przepustowości, a AOC dla połączeń między podami, między rzędami i między domenami, aby uprościć planowanie pojemności i zarządzanie cyklem życia.

Najczęściej zadawane pytania

Jak wybrać pomiędzy 400G miedzianym DAC a 400G AOC dla łączy ConnectX-7 w moich szafach?

  • W przypadku łączy serwer-przełącznik na górze szafy ConnectX-7 o długości mniejszej niż 2–3 m wewnątrz tej samej szafy, pasywne miedziane przetworniki cyfrowo-analogowe (DAC), takie jak MLNX:MCP1660-W00AE30, MLNX:MCP1660-W01AE30, MLNX:MCP1660-W02AE26 i MLNX:MCP7Y70-H002, są zazwyczaj bardziej ekonomiczne, prostsze do wdrożenia i zużywają mniej energii.
  • Jeśli potrzebujesz zasięgu 5–30 m, połączeń między regałami lub bardziej elastycznego prowadzenia kabli w gęstych regałach AI i GPU, bardziej odpowiednie okazują się moduły AOC 400G, takie jak MLNX:MFA7U10-H005 / MFA7U10-H030 lub Cisco QDD-400-AOCxM ze względu na niższą wagę, lepszy przepływ powietrza i większy zasięg.
  • Z reguły należy wybierać DAC do krótkich, stałych połączeń w szafie, a AOC do połączeń obejmujących wiele szaf lub częste zmiany okablowania; następnie należy dokonać udoskonaleń na podstawie wymaganej odległości, gęstości portów i budżetu mocy serwerów i przełączników.

Czy numery części Mellanox 400G DAC/AOC podane poniżej są w pełni kompatybilne z portami sieciowymi NVIDIA ConnectX-7?

  • Wymienione jednostki SKU marki Mellanox/NVIDIA (np. MLNX:MCP1660-W00AE30, MLNX:MCP7Y70-H002, MLNX:MFA7U10-H005, MLNX:MFA7U10-H030, MLNX:C-DQ8FNM005-H0-M) zostały zaprojektowane i zakodowane dla ekosystemów NVIDIA 400G QSFP112/QSFP-DD, w tym kart sieciowych ConnectX-7 stosowanych w nowoczesnych serwerach AI i centrach danych.
  • W środowiskach obejmujących urządzenia różnych dostawców (np. ConnectX-7 podłączone do przełączników innych niż NVIDIA 400G lub Cisco QDD-400-AOCxM podłączone do portów NVIDIA) należy zweryfikować macierze interoperacyjności obu dostawców i, w razie potrzeby, rozważyć zastosowanie zakodowanych przez dostawcę zakończeń lub wyjść, aby uniknąć blokowania portów lub spadku prędkości.
  • Jeśli nie masz pewności co do kodowania, profili pamięci EEPROM transceivera lub zależności od wersji systemu operacyjnego, możesz dokonać wstępnej walidacji z naszymi ekspertami ds. sieci za pośrednictwem bezpłatne wsparcie CCIE przed złożeniem zamówienia hurtowego. Uwaga: Szczegółowe warunki gwarancji i usługi wsparcia mogą się różnić w zależności od produktu i regionu. Aby uzyskać szczegółowe informacje, zapoznaj się z oficjalnymi informacjami. W celu uzyskania dalszych informacji prosimy o kontakt: router-switch.com.

Jakich pułapek wdrożeniowych należy unikać podczas łączenia kart sieciowych ConnectX-7 400G z łączami DAC i AOC?

  • W przypadku układów GPU lub węzłów pamięci masowej o dużej gęstości zbytnie wygięcie miedzianych przetworników DAC może powodować naprężenia złączy i zwiększać straty wtrąceniowe. Zawsze należy zachować minimalny promień gięcia i unikać ostrych tacek kablowych, zwłaszcza w przypadku zespołów 400G QSFP112, takich jak MLNX:MCP1660-W02AE26.
  • W przypadku AOC, takich jak MLNX:MFA7U10-H005-FLT lub Cisco QDD-400-AOCxM, należy wcześniej zaplanować ścieżki paneli krosowych i kanałów kablowych; mimo że są lżejsze, silnik optyczny i światłowód mogą być bardziej wrażliwe na zgniatanie i naprężanie niż miedź.
  • Na punktach końcowych ConnectX-7 należy sprawdzić, czy oprogramowanie układowe karty sieciowej, sterowniki hosta i system operacyjny przełącznika obsługują zamierzoną prędkość portu i tryb FEC; w klastrach AI z funkcją RoCE i kontrolą przeciążenia powszechną praktyką jest weryfikacja ustawień bezstratnych i MTU na testowej strukturze przed wdrożeniem setek łączy 400G.

Jak zaplanować cykl życia, EOL i przyszłą skalowalność przy wyborze jednostek SKU DAC/AOC 400G?

  • Ponieważ struktury 400G w klastrach AI i HPC często skalują się fazowo, ważne jest, aby wybrać długość kabli i kodowanie, które będą obsługiwane w cyklach odświeżania przełączników i kart sieciowych, nie tylko w przypadku obecnej generacji serwerów ConnectX-7.
  • Zanim zamrozisz konkretne jednostki SKU, takie jak MLNX:MCP7Y70-H002 lub Cisco QDD-400-AOC10M, sprawdź, czy dla przełączników lub planowanych modernizacji spine/leaf ogłoszono terminy EOL/EOSL i potwierdź, czy ich porty 400G nadal będą obsługiwać te typy kabli i profile kodowania.
  • Możesz szybko sprawdzić status dostawcy i zaplanować okna migracji, korzystając z Sprawdzanie EOL/EOSL, a następnie dostosuj mieszankę miedzi i AOC do swojego planu rozwoju tkanin na okres 3–5 lat.

Co powinienem wiedzieć o czasie realizacji, wysyłce i cłach w przypadku zamówień hurtowych na okablowanie 400G?

  • W przypadku dużych wdrożeń sztucznej inteligencji lub centrów danych wykorzystujących wiele przetworników DAC i AOC Mellanox 400G czas realizacji zamówienia będzie zależał od dokładnych kodów SKU (długości, opcji kodowania) i bieżących stanów magazynowych. W przypadku artykułów dostępnych w magazynie czas wysyłki międzynarodowej będzie się różnić w zależności od kraju docelowego, metody logistyki i lokalnych procesów importowych, a nie będzie stanowił jednej stałej umowy SLA.
  • Aby ograniczyć ryzyko projektu, wielu klientów dzieli zamówienia (np. pierwsza fala na potrzeby walidacji laboratoryjnej, druga fala na potrzeby pełnego wdrożenia) i dostosowuje dostawę do harmonogramów montażu szafy; wczesne omówienie zestawienia materiałów pozwala nam proponować alternatywy (np. inne długości w ramach tej samej rodziny), gdy jeden konkretny numer części ma dłuższy cykl zaopatrzenia.
  • Możliwe opcje i warunki logistyczne można sprawdzić na naszej stronie metody wysyłki przegląd, a w przypadku wdrożeń transgranicznych należy uwzględnić cła i podatek VAT, korzystając z wytycznych dostępnych na stronie podatki i cła.

W jaki sposób obsługiwana jest gwarancja, wsparcie posprzedażowe i zwroty w przypadku produktów 400G DAC i AOC?

  • Produkty Mellanox/NVIDIA i Cisco 400G DAC/AOC zazwyczaj podlegają odpowiedniemu modelowi gwarancji sprzętowej dostawcy w połączeniu z Router-switch.comwłasne procedury postępowania, ale dokładny zakres, czas trwania i warunki mogą się różnić w zależności od rodziny produktów i regionu.
  • Przed wdrożeniem w krytycznym klastrze AI wielu klientów sprawdza warunki producenta i nasze zasady na poziomie placówki, w tym przepływy pracy dotyczące naprawy/wymiany i obsługi DOA; przegląd naszego zakresu usług można znaleźć na stronie Polityka gwarancyjna strona i sprawdź, jak odsyłać uszkodzone kable lub optykę za pośrednictwem instrukcje zwrotu.
  • W przypadku złożonych projektów obejmujących wiele lokalizacji możesz również skontaktować się z naszym zespołem technicznym w celu uzyskania odpowiedzi na pytania dotyczące konfiguracji i interoperacyjności za pośrednictwem bezpłatne wsparcie CCIE Aby zminimalizować ryzyko związane z RMA w fazie projektowania i wdrażania. Uwaga: Szczegółowe warunki gwarancji i usługi wsparcia mogą się różnić w zależności od produktu i regionu. Szczegółowe informacje można znaleźć w oficjalnych informacjach. W celu uzyskania dalszych informacji prosimy o kontakt: router-switch.com.

Więcej rozwiązań

Copper vs Fiber vs DAC/AOC Interconnects Guide

Przewodnik po połączeniach miedzianych, światłowodowych i DAC/AOC

Pełne porównanie kabli miedzianych, światłowodowych, DAC i AOC — opóźnienia, zasięgu, kosztów i przydatności wdrożeń 10G/25G/100G/400G.

Okablowanie i transceivery
GPU Cluster Networking Solutions for AI Scale-Out

Rozwiązania sieciowe klastrów GPU do skalowania AI

Projektuj wydajne struktury Ethernet dla klastrów GPU AI z uwzględnieniem skalowalnej topologii, przełączania o niskich opóźnieniach i architektury gotowej do wdrożenia.

Sieciowanie klastrów GPU AI
Lossless Ethernet for AI & HPC Networks

Bezstratny Ethernet dla sieci AI i HPC

Twórz bezstratne struktury Ethernet dla sztucznej inteligencji i obliczeń o wysokiej wydajności (HPC) dzięki projektowi zgodnemu ze standardem RoCE, wskazówkom dotyczącym kontroli przeciążenia i skalowalnemu planowaniu sieci o niskim opóźnieniu.

Bezstratny Ethernet