Karta sa môže fyzicky zmestiť do slotu PCIe x16 a stále neposkytovať očakávaný výkon, ak je slot elektricky obmedzený na x8, server nedokáže zabezpečiť dostatočné prúdenie vzduchu alebo nie je k dispozícii požadovaný ovládač a protokolový zásobník.
Slot nie je celá špecifikácia
Serverový PCIe slot má najmenej tri samostatné charakteristiky: fyzickú veľkosť, šírku elektrického kanála a generovanie PCIe.
Tieto charakteristiky spolu súvisia, ale nie sú zameniteľné. Slot môže byť fyzicky dostatočne dlhý pre kartu x16, ale elektricky zapojený ako x8 alebo x4. Server môže tiež vystaviť rôzne generácie PCIe prostredníctvom rôznych rozširujúcich paticí alebo pätíc CPU.
| Atribút servera | Prečo je to dôležité |
|---|---|
| Dĺžka fyzickej slotu | Určuje, či je možné kartu vložiť |
| Šírka elektrického pruhu | Určuje, koľko PCIe liniek je skutočne k dispozícii |
| Generácia PCIe | Určuje rýchlosť signalizácie na jazdný pruh |
| Pripojenie CPU alebo NUMA | Môže ovplyvniť latenciu a lokalizáciu pamäte |
| Model stúpačky | Môže zmeniť šírku slotu, smer a podporované karty |
| Konfigurácia BIOSu | Môže ovplyvniť enumeráciu, rozdvojenie a vyjednávanie prepojení |
| Výkon a prúdenie vzduchu | Určuje, či karta dokáže spoľahlivo fungovať |
Preto informácia „server má slot x16“ nie je dostatočná na rozhodnutie o kompatibilite. Model servera, rozširujúca karta, zapojenie slotov a požiadavky na adaptér je potrebné skontrolovať spoločne.
Odošlite model servera, slot alebo rozširujúcu kartu PCIe, rýchlosť siete, režim protokolu a typ kábla.
Generovanie PCIe a šírka línie
PCIe Gen3, Gen4 a Gen5 poskytujú rôzne rýchlosti prenosu signálu na linku. Novšia generácia môže poskytnúť väčšiu šírku pásma bez zvýšenia počtu liniek, zatiaľ čo širšie prepojenie môže poskytnúť väčšiu celkovú šírku pásma v rámci tej istej generácie.
Praktickou otázkou nie je, či sa karta zmestí do slotu x16. Otázkou je, či server dokáže poskytnúť generovanie PCIe, šírku elektrických liniek, napájanie a chladenie, ktoré adaptér vyžaduje.
| Rozhranie PCIe | Rýchlosť signalizácie na jazdný pruh | Typický problém s výberom |
|---|---|---|
| PCIe Gen3 | 8 GT / s | Môže byť postačujúce pre adaptéry s nižšou rýchlosťou |
| PCIe Gen4 | 16 GT / s | Bežné pre moderné serverové adaptéry s kapacitou 25G až 200G |
| PCIe Gen5 | 32 GT / s | Používajú ho novšie vysokorýchlostné adaptéry a adaptéry orientované na umelú inteligenciu |
| x8 | 8 pruhov | Môže byť dostatočné pre vybrané karty s kapacitou 25G alebo 100G |
| x16 | 16 pruhov | Bežné pre vysokopriepustné dvojportové alebo 200G/400G karty |
Toto sú hodnoty signalizácie linky, nie priame údaje o priepustnosti aplikácie. Režijné zaťaženie protokolu, vzorce prevádzky, výkon CPU, šírka pásma pamäte a architektúra adaptéra stále ovplyvňujú skutočnú priepustnosť.
Dokumentácia spoločnosti NVIDIA poskytuje užitočný príklad s rozhraním ConnectX-6: karta PCIe x16 dokáže podporovať až 100 GbE na linke Gen3 alebo až 200 GbE na linke Gen4, zatiaľ čo karta ConnectX-6 x8 dokáže v slote Gen4 podporovať až 100 Gb/s. Presný výsledok závisí od modelu adaptéra.
Rýchlosť siete a typ konektora
Sieťový konektor je rovnako dôležitý ako rozhranie PCIe. Karta PCIe s portami QSFP56 nie je automaticky kompatibilná s každou optikou alebo káblom QSFP56.
| Rýchlosť siete | Spoločný adaptérový konektor | Typické použitie |
|---|---|---|
| 1/10 GbE | RJ45 alebo SFP+ | Podnikový prístup a uplinky serverov |
| 25GbE | SFP28 | Moderný prístup k serverom a úložisko |
| 100GbE | QSFP28 | Dátové centrum, úložisko a uplinky |
| 200GbE | QSFP56 alebo QSFP112 | AI a vysokovýkonné dátové centrá |
| 400GbE | QSFP112 alebo OSFP | AI tkanina a siete chrbtice/listov s vysokou hustotou |
Pred výberom karty si overte:
- Režim Ethernet alebo InfiniBand.
- Podporovaná rýchlosť siete.
- Typ DAC, AOC alebo optického modulu.
- Požiadavky FEC.
- Podpora pri prielome.
- Kompatibilita portov na strane prepínača.
- Dĺžka kábla a tepelné požiadavky.
Dvojportový adaptér 100 GbE môže byť vhodný pre úložný server alebo pripojenie typu leaf, zatiaľ čo štvorportový adaptér 25/50 GbE môže byť vhodnejší, keď jeden server potrebuje niekoľko nezávislých pripojení.
Ethernet, InfiniBand a dva stropy šírky pásma
Ethernet alebo InfiniBand?
Mnoho adaptérov NVIDIA Mellanox podporuje Ethernet aj InfiniBand, ale výber ovplyvňuje celé riešenie.
Pred objednaním si overte:
- Ktorý protokol používa prepínacia štruktúra.
- Či je adaptér nakonfigurovaný pre Ethernet alebo InfiniBand.
- Či aplikácia vyžaduje RDMA.
- Či nasadenie používa RoCE alebo natívny InfiniBand.
- Ktoré ovládače a firmvér sú potrebné.
- Či vybrané káble a optika podporujú zvolený režim.
Karta určená pre sieť InfiniBand by sa nemala považovať za pripájací ethernetový adaptér bez kontroly presnej dokumentácie k produktu a softvérového prostredia.
Dva stropy šírky pásma
Sieťový adaptér servera je obmedzený dvoma samostatnými stropmi šírky pásma.
| Strop šírky pásma | Čo obsahuje | Čo overiť |
|---|---|---|
| Strop na strane siete | Adaptérové porty, káble, optika a porty prepínačov | Rýchlosť portu, konektor, kábel, FEC a breakout |
| Strop na strane PCIe | Generovanie PCIe, šírka jazdného pruhu a hostiteľská zbernica | Zapojenie, stúpačka a dohodnuté prepojenie Gen3/4/5, x8/x16 |
Ak je prepojenie PCIe príliš úzke alebo príliš staré, adaptér sa môže stále zobrazovať online, ale hostiteľská zbernica môže obmedziť agregovanú prevádzku. Toto je obzvlášť dôležité pre adaptéry s dvoma portami, prevádzku vysokorýchlostného úložiska, pracovné zaťaženia RDMA, servery AI a simultánnu prevádzku s plnou rýchlosťou na viacerých portoch.
ConnectX-6 a ConnectX-7: Čo treba skontrolovať
Správna otázka neznie jednoducho, či je ConnectX-7 novší ako ConnectX-6. Užitočnejšia otázka znie, či server a pracovná záťaž dokážu využiť túto dodatočnú funkciu.
Kedy by mohol byť ConnectX-6 vhodný
- Server poskytuje PCIe Gen3 alebo Gen4.
- Cieľová rýchlosť je 25G, 50G, 100G alebo podporovaná konfigurácia 200G.
- Existujúce softvérové prostredie už používa ovládače ConnectX-6.
- Pracovná záťaž vyžaduje Ethernet, RoCE, RDMA alebo akceleráciu úložiska bez nutnosti najnovšieho rozhrania PCIe.
Napríklad MCX623106AC-CDAT je dvojportový adaptér QSFP56 ConnectX-6 Dx s umiestnením PCIe Gen4 x16. Jeho výber stále závisí od zapojenia slotu servera, držiaka, prúdenia vzduchu, typu kábla a požadovaných bezpečnostných a softvérových funkcií.
Kedy by mohol byť ConnectX-7 vhodný
- Server poskytuje PCIe Gen4 alebo Gen5.
- Nasadenie vyžaduje vyššiu priepustnosť alebo novšie konfigurácie portov.
- Pracovná záťaž je umelá inteligencia, HPC, úložisko alebo infraštruktúra dátového centra s vysokou hustotou.
- Server dokáže splniť požiadavky adaptéra na napájanie a prúdenie vzduchu.
- Softvérový balík podporuje zamýšľaný režim Ethernet alebo InfiniBand.
NVIDIA uvádza, že niektoré adaptérové karty ConnectX-7 sú určené pre servery dátových centier a vyžadujú vhodné napájanie a prúdenie vzduchu. Nemali by sa vyberať ako bežné rozširujúce karty pre stolné počítače bez kontroly prostredia servera.
MCX713104AC-ADAT, napríklad, by sa mal hodnotiť podľa presnej konfigurácie portov, rozhrania PCIe, držiaka, firmvéru a požiadaviek servera, a nie len podľa názvu ConnectX-7.
Kontroly kompatibility servera a inštalácie
Informácie o serveri a slote
Pred objednaním sieťovej karty PCIe si zhromaždite nasledujúce informácie:
- Výrobca servera a kompletný model.
- Generovanie CPU.
- Číslo slotu PCIe.
- Generácia PCIe.
- Šírka elektrického pruhu.
- Model s riserom alebo backplane.
- Asociácia CPU alebo NUMA.
- Verzia BIOSu.
- Požiadavky na bifurkáciu.
Informácie o adaptéri a sieti
- Presný PID alebo OPN adaptéra.
- Režim Ethernet alebo InfiniBand.
- Počet portov.
- Rýchlosť portu.
- Generovanie PCIe a požiadavky na linku.
- Výška a dĺžka karty.
- Typ konzoly.
- Spotreba energie.
- Požadované prúdenie vzduchu.
- Model prepínača a rýchlosť portu.
- Požiadavka SFP28, QSFP28, QSFP56, QSFP112 alebo OSFP.
- Požiadavka na DAC, AOC alebo optický modul.
- Požiadavky na prerušenie a FEC.
softvér Information
- Operačný systém.
- Verzia jadra alebo hypervízora.
- Ovládač NVIDIA alebo balík OFED.
- Požiadavka firmvéru.
- Podpora SR-IOV alebo virtuálnych funkcií.
- Požiadavky na DPDK, RDMA, RoCE alebo NVMe cez Fabrics.
Bežné problémy s inštaláciou a výkonom
| Problém | Možná príčina | Prvá kontrola |
|---|---|---|
| Karta nie je detekovaná | Problém so slotom, rozširujúcou kartou, systémom BIOS, napájaním, ovládačom alebo firmvérom | Skontrolujte dokumentáciu k serveru, BIOS a detekciu operačného systému |
| Karta vyjednáva menej PCIe liniek | Fyzický slot x16 je elektricky x8 alebo x4 | Skontrolujte rozširujúcu kartu, zapojenie slotov, BIOS a dohodnutú šírku linky |
| Priepustnosť je nižšia ako očakávania | Problém s úzkym hrdlom PCIe, CPU, NUMA, FEC, káblom alebo ovládačom | Skontrolujte počítadlá prepojenia PCIe, ovládača, firmvéru a siete |
| Adaptér sa prehrieva | Nedostatočné prúdenie vzduchu v serveri alebo konfigurácia káblov s vysokým výkonom | Skontrolujte profil ventilátora, smer prúdenia vzduchu a tepelné požiadavky |
| Ethernet alebo InfiniBand nefunguje podľa očakávania | Nezhoda protokolu, firmvéru, ovládača alebo prepínača a jeho štruktúry | Potvrďte presný kód SKU a zamýšľaný režim protokolu |
Ako východiskový bod možno použiť kompletný zoznam dostupných sieťových adaptérov NVIDIA a Mellanox, ale pred výberom konkrétnej karty je potrebné zahrnúť model servera a cieľovú pracovnú záťaž.
Často kladené otázky
Konečný odber
Sieťová karta PCIe by sa mala vyberať ako súčasť serverovej platformy, nie ako izolovaný komponent.
Najspoľahlivejší výberový proces je:
- Potvrďte model servera a rozširujúcu kartu.
- Skontrolujte skutočnú šírku elektrického kanála slotu.
- Zodpovedajúce požiadavky na generáciu PCIe a adaptér.
- Potvrďte rýchlosť siete a typ konektora.
- Rozhodnite sa medzi Ethernetom a InfiniBandom.
- Skontrolujte napájanie, prúdenie vzduchu a fyzickú vzdialenosť.
- Skontrolujte ovládače, firmvér a podporu operačného systému.
- Zladte kábel, optiku, FEC a port prepínača.
- Potvrďte očakávaný výkon s kompletnou konfiguráciou.
Karta sa môže zmestiť do servera a stále to byť nesprávna voľba. Správny adaptér je ten, ktorého rozhranie PCIe, sieťové porty, režim protokolu, tepelné požiadavky a softvérový balík zodpovedajú serveru a pracovnému zaťaženiu.