NVIDIA ConnectX 7 ile PCIe 5 GPU Kümesi G/Ç'sini Açığa Çıkarın

NVIDIA ConnectX 7 ile PCIe 5 GPU Kümesi G/Ç'sini Açığa Çıkarın

PCIe Uyumlu Kumaşların Tasarımı

PCIe Uyumlu Kumaşların Tasarımı
  • PCIe 5.0 ve yüksek yoğunluklu hızlandırıcılar üzerine kurulu GPU kümeleri, eski sunucu G/Ç ve ağ altyapılarının kaldırabileceğinden daha fazla veriyi kolayca işleyebilir. Modeller ölçeklendikçe, eğitim pencereleri küçüldükçe ve düğüm sayıları arttıkça, birçok ekip PCIe 5.0 bant genişliğinin yetersiz kullanıldığını keşfeder; çünkü doğu-batı trafiği, depolama erişimi ve GPU'dan GPU'ya iletişim, hesaplama sınırlarından ziyade adaptör ve altyapı darboğazları tarafından kısıtlanır.

    Aşağıdaki bölümler, NVIDIA ConnectX-7 PCIe adaptörlerinin ve Mellanox muadillerinin, NIC verimliliğini, gecikmeyi ve ağ tasarımını PCIe 5.0 GPU sunucularıyla nasıl uyumlu hale getirmek için kullanılabileceğine odaklanmaktadır. Kılavuz, ConnectX-7'nin yüksek hızlı alternatiflere göre nerede tercih edileceğini, adaptörlerin InfiniBand ve Ethernet kablolarıyla nasıl eşleştirileceğini ve G/Ç'nin yapay zeka ve yüksek performanslı bilgi işlem (HPC) küme performansında bir kısıtlama olmaktan çıkarılmasını sağlayan uçtan uca bir yolun nasıl tasarlanacağını vurgulamaktadır.

G/Ç Boşlukları Olmadan PCIe 5.0 GPU Ağlarının Tasarlanması

PCIe 5.0 GPU'ları ağ adaptörleri ve kablolarıyla hizalayarak giriş/çıkış darboğazlarını önlemek, aynı zamanda maliyeti, güç tüketimini ve yükseltme riskini kontrol altında tutmak kolay bir iş değildir.

G/Ç Boşlukları Olmadan PCIe 5.0 GPU Ağlarının Tasarlanması
  • PCIe 5.0 GPU Veri Aktarım Hızı G/Ç Yolunu Zorluyor

    GPU tarafındaki PCIe 5.0 bant genişliğini NIC, ağ hızı ve kablolama ile eşleştirerek aşırı yüklenmeyi ve boşta kalan GPU döngülerini önlemek zordur.

  • Performansı Maliyet ve Güçle Dengelemek

    GPU'ları beslemek için 100-400G adaptörler ve bağlantılar arasında seçim yapmak, portlara, kablolara ve güç bütçelerine aşırı yatırım yapmadan sürekli bir denge kurma meselesidir.

  • Eski Sistemlerden Karmaşık Geçiş

    Yeni ConnectX-7 sınıfı adaptörleri, mevcut düğümler ve araçlar çalışmaya devam ederken karma Ethernet/InfiniBand kümelerine entegre etmek, tasarım riskini artırır.

PCIe 5.0 GPU Kümesi G/Ç Özellikleri

Yapay zeka ve yüksek performanslı bilgi işlem (HPC) GPU kümelerinde PCIe 5.0 bant genişliğini açığa çıkarmak ve G/Ç darboğazlarını ortadan kaldırmak için yapılan temel tasarım seçimleri.

G/Ç darboğazlarını ortadan kaldırın.

Doğu-batı yönlü trafik tıkanıklıklarını ortadan kaldırmak için PCIe 5.0 GPU'ları ConnectX-7 ile eşleştirin.

Mimarlar için esnek kumaşlar

Yapay zeka ve yüksek performanslı bilgi işlem (HPC) ağ katmanlarını doğru boyutlandırmak için 400G adaptörleri ve 100–200G seçeneklerini bir araya getirin.

Uçtan uca basit bir şekilde dağıtım yapın.

Küme kurulumlarını standartlaştırmak ve dağıtımları hızlandırmak için onaylanmış kablolar ve ağ kartları kullanın.

PCIe 5.0 GPU Küme G/Ç Adaptörü Karşılaştırması

PCIe 5.0 GPU bant genişliğinin kilidini açmanın en iyi yolunu seçmek için eski PCIe 4.0 adaptörlerini NVIDIA ConnectX-7 ile karşılaştırın.

Özellik Eski PCIe 4.0 GPU Adaptörleri
NVIDIA ConnectX-7 PCIe 5.0 (hot)
Sizin İçin Sonuç
Görevlendirmeye uygunluk Orta düzeyde GPU yoğunluğuna sahip PCIe 3.0/4.0 sunucular için optimize edilmiştir; genellikle yeni GPU'ların işlem performansını sınırlar. PCIe 5.0 GPU düğümleri ve yoğun yapay zeka sunucuları için özel olarak tasarlanmış olup, en son NVIDIA GPU yol haritalarıyla uyumludur. Adaptör seçiminizi sunucu neslinizle uyumlu hale getirin; ConnectX-7, yeni sistemlerde yüksek performanslı GPU'ların yetersiz kullanımını önler.
G/Ç bant genişliği ve gecikmesi Genellikle 100 GbE veya HDR seviyesinde bant genişliği; PCIe 4.0 bağlantısı ve PCIe 5.0 iş yüklerinde daha yüksek gecikme süresi. Ultra düşük gecikmeli GPU-ağ yolları için optimize edilmiş PCIe 5.0 veri yolu ile 400 GbE / NDR sınıfına kadar bant genişliği. Eğitim işlerinin ağa bağlı olduğu durumlarda ConnectX-7 kullanın; eski adaptörler daha az yoğun veya karma iş yükleri için uygundur.
GPU kümesi ölçeklendirmesi Küçük kümeler veya CPU merkezli yüksek performanslı bilgi işlem (HPC) için yeterlidir; çok düğümlü GPU mimarilerinde darboğaz haline gelir. Daha yüksek port hızlarına ve doğu-batı trafiği için verimli yük boşaltmaya sahip büyük ölçekli GPU ağlarını destekler. Çoklu raflı GPU kümeleri için ConnectX-7, G/Ç tavanlarına erken ulaşmak yerine doğrusal ölçeklendirmeyi korur.
Yapay zeka/yüksek performanslı hesaplama yük boşaltma yetenekleri Sınırlı veya eski nesil RDMA, RoCE ve ağ içi hesaplama; daha yüksek CPU kullanımı. Gelişmiş RDMA, RoCEv2 ve hızlandırma yük boşaltma özellikleri, toplu işlemleri boşaltarak CPU/GPU döngülerini serbest bırakır. Yapay zeka/yüksek performanslı hesaplama iş yüklerinde iş tamamlama süresini kısaltmak için ConnectX-7'yi seçin; eski sürüm temel MPI veya kritik olmayan görevler için uygundur.
Maliyet ve yükseltme yolu Daha düşük başlangıç ​​maliyeti; mevcut 100GbE/200GbE ağlarını yeniden kullanır ancak gelecekteki PCIe 5.0 düğümlerini kısıtlar. Daha yüksek adaptör ve bağlantı maliyeti olsa da, PCIe 5.0 sunucularının ve yeni nesil GPU'ların tüm potansiyelini anında kullanır. Maliyet hassasiyeti yüksek, kademeli yükseltmeler için eski sistemi kullanın; sıfırdan geliştirilen yapay zeka projeleri veya yatırım getirisi açısından kritik projeler için ConnectX-7'yi kullanın.
Kablolama ve kumaş birlikte çalışabilirliği Mevcut 100G/200G DAC/AOC ile iyi uyumlu; daha az değişiklik var ancak performans açısından sınırlı alan sunuyor. NDR/400G uyumlu optik/kablolar ve anahtarlar gerektirir, ancak tam GPU küme yapısı performansının kilidini açar. Eğer kablolamayı yeniliyorsanız, yakın zamanda başka bir yenileme döngüsünden kaçınmak için ConnectX-7 ve NDR kablolamasını standartlaştırın.
Operasyonel olgunluk ve ekosistem Olgun araçlar ve sürücüler; ancak daha önceki PCIe ve ağ nesilleri için optimize edilmiştir. NVIDIA yapay zeka yazılımı, DOCA ve modern gözlem araçlarıyla uyumlu, en yeni nesil sürücü yığını. Yapay zeka süreçlerine odaklanan operasyonel ekipler, ConnectX-7'nin daha sıkı ekosistem entegrasyonundan daha fazla fayda sağlıyor.
En iyi kullanım durumu Mevcut PCIe 3.0/4.0 kümeleri, karma CPU/GPU iş yükleri veya kritik olmayan yapay zeka prototipleri. Yüksek yoğunluklu PCIe 5.0 GPU kümeleri, gecikmeye duyarlı yapay zeka eğitimi ve büyük ölçekli yüksek performanslı bilgi işlem (HPC) uygulamaları. Stratejik yapay zeka kümeleri için ConnectX-7'yi standartlaştırın; eski adaptörleri ikincil veya geliştirme/test ortamları için saklayın.

Yardıma mı ihtiyacınız var? Teknik Uzmanlarımız Hemen Hizmetinizde.

  • +1-626-655-0998 (ABD)
    UTC 15:00-00:00
  • +852-2592-5389 (Hong Kong)
    UTC 00:00-09:00
  • +852-2592-5411 (Hong Kong)
    UTC 06:00-15:00
Yardıma mı ihtiyacınız var? Teknik Uzmanlarımız Hemen Hizmetinizde.

İdeal Dağıtım Senaryoları

Yapay zeka, yüksek performanslı bilgi işlem ve veri yoğun GPU kümeleri için PCIe 5.0 ve NVIDIA ConnectX-7 bant genişliğinin en iyi şekilde kullanılabileceği ortamlar.

Hiper ölçekli Yapay Zeka Eğitim Kümeleri

Hiper ölçekli Yapay Zeka Eğitim Kümeleri

  • Büyük ölçekli transformatör ve LLM eğitim ağlarında doğu-batı G/Ç darboğazlarını ortadan kaldırmak için NVIDIA ConnectX-7 ile PCIe 5.0 GPU düğümlerini kullanıma alın.
  • Yüksek hızlı InfiniBand ve Ethernet kabloları kullanarak binlerce GPU sunucusunu düşük gecikmeli, engellemeyen yaprak-omurga veya yusufçuk topolojisine bağlayın.
  • ConnectX-7 adaptörlerini mevcut 100GbE–200GbE ağ kartlarıyla birleştirerek, yeni nesil 400G ve ötesine hazırlanırken karma hızlı eğitim ortamları oluşturun.
Kurumsal Yapay Zeka ve Veri Analitiği Platformları

Kurumsal Yapay Zeka ve Veri Analitiği Platformları

  • Bilgisayar görüşü, öneri motorları ve RAG işlem hatları için şirket içi GPU kümelerini ConnectX-7 PCIe 5.0 adaptörlerine yükselterek hızlandırın.
  • Mevcut 100 GbE analitik kümelerini yüksek hızlı ConnectX alternatifleri kullanarak modernize edin ve kademeli olarak PCIe 5.0 özellikli yapay zeka düğümlerini devreye alın.
  • Sertifikalı Mellanox ara bağlantı kablolarını kullanarak veri gölü, özellik deposu ve GPU çıkarım trafiğini birleşik, yüksek bant genişliğine sahip bir ağ üzerinde birleştirin.
Yüksek Performanslı Hesaplama (HPC) ve Araştırma Laboratuvarları

Yüksek Performanslı Hesaplama (HPC) ve Araştırma Laboratuvarları

  • GPU hızlandırıcıları ve paralel dosya sistemleri arasında hat hızında veri aktarımını sürdürmek için simülasyon ve modelleme kümelerini ConnectX-7 ile donatın.
  • CFD, FEA ve moleküler dinamik iş yükleri için sıkıca bağlanmış MPI ağları oluşturmak üzere InfiniBand ve yüksek hızlı Ethernet kabloları kullanın.
  • ConnectX-7 ve eski Mellanox NIC'leri içeren karma bağlantılı düğümler kullanarak mevcut yüksek performanslı bilgi işlem (HPC) yatırımlarının ömrünü uzatırken PCIe 5.0 kapasitesi de ekleyin.
Gecikmeye Duyarlı Uç Nokta ve Gerçek Zamanlı Çıkarım

Gecikmeye Duyarlı Uç Nokta ve Gerçek Zamanlı Çıkarım

  • ConnectX-7 ultra düşük gecikmeli G/Ç kullanarak PCIe 5.0 GPU düğümlerinde sahtekarlık tespiti, kişiselleştirme ve anormallik tespiti için gerçek zamanlı çıkarım işlemleri gerçekleştirin.
  • Dağıtılmış uç çıkarım düğümlerini 100GbE–200GbE Mellanox adaptörleri ve sertifikalı yüksek hızlı kablolama aracılığıyla çekirdek veri merkezlerine bağlayın.
  • Sınırlı raf alanında GPU kullanımını en üst düzeye çıkarmak için PCIe 5.0 bant genişliğinin kritik önem taşıdığı veri merkezleri ve uç noktalar için kompakt GPU kümeleri tasarlayın.
Bulut Hizmet Sağlayıcısı GPU-as-a-Service

Bulut Hizmet Sağlayıcısı GPU-as-a-Service

  • Çok kullanıcılı yapay zeka ve yüksek performanslı bilgi işlem müşterileri için öngörülebilir performans garantisi sağlamak amacıyla ConnectX-7 tabanlı PCIe 5.0 sunucularla GPU-as-a-Service (GPU Hizmeti Olarak) sunun.
  • Yüksek hızlı Mellanox adaptörlerini ve kablolarını GPU pod'larınıza entegre ederek, her kiracı için esnek 100 GbE–200 GbE bağlantı seçeneklerini destekleyin.
  • ConnectX-7 ve uyumlu alternatiflerini standartlaştırarak, G/Ç darboğazları olmadan SR-IOV veya DPU'lar aracılığıyla dilimlenebilen, ölçeklenebilir ve modüler GPU havuzları oluşturun.

Sıkça Sorulan Sorular

PCIe 5.0 GPU kümeleri için NVIDIA ConnectX-7 ile önceki nesil adaptörler arasında nasıl seçim yapabilirim?

  • GPU sunucularınız PCIe 5.0'ı destekliyorsa ve şu anda G/Ç kısıtlamalı yüksek bant genişliğine sahip yapay zeka veya yüksek performanslı bilgi işlem iş yüklerini çalıştırmayı planlıyorsanız NVIDIA ConnectX-7'yi (örneğin MLNX:MCX75310AAS-NEAT veya MLNX:MCX713104AC-ADAT) kullanın.
  • Eğer kümeniz hala PCIe 4.0 ve 100GbE kullanıyorsa, MLNX:MCX623435AC-CDAB veya ME:MCX653106A-ECAT-SP gibi Mellanox alternatifleri, güçlü verim sağlarken maliyet açısından daha uygun olabilir.
  • Karar verirken, ağ tarafında yeni bir darboğaz oluşturmamak için ağ yapınızı (Ethernet mi yoksa InfiniBand mi), düğüm başına GPU sayısını ve gelecekteki geçiş planlarınızı da göz önünde bulundurun.
  • PCIe 5.0 yol haritanız için hangi adaptör kademesinin uygun olduğundan emin değilseniz, CCIE ekibimizden tasarım rehberliği talep edebilirsiniz. ücretsiz CCIE desteği.
  • Lütfen dikkat: Garanti koşulları ve destek hizmetleri ürüne ve bölgeye göre değişiklik gösterebilir. Ayrıntılı bilgi için lütfen resmi kaynaklara bakın. Daha fazla bilgi için lütfen iletişime geçin: router-switch.com.

ConnectX-7 PCIe 5.0 adaptörleri mevcut sunucular ve switch'lerle geriye dönük uyumlu mu?

  • Çoğu ConnectX-7 adaptörü, standart PCIe yuvalarıyla mekanik olarak uyumludur ve birçok platformda PCIe 4.0'a kadar uyumluluk sağlayabilir; ancak geriye dönük uyumluluk her zaman sunucunun anakartına, BIOS'una ve işletim sistemi sürücü yığınına bağlıdır.
  • Anahtarlama tarafında, 200 GbE veya 400 GbE hızında çalışan bir ConnectX-7 NIC, uygun optik veya kablolar (örneğin MLNX:MFA7U10-H030, MLNX:MCP7Y40-N001 veya MLNX:MCP7Y70-H002) kullanılarak mevcut 100 GbE veya 200 GbE altyapısına bağlanabilir, ancak şerit hızlarını, dağıtım modlarını ve port yapılandırmalarını doğrulamanız gerekir.
  • Satın almadan önce, beklenmedik bağlantı hızı düşüşlerini veya sürücü sorunlarını önlemek için sunucu modelini, yuva tipini ve işletim sistemi/çekirdek sürümünü doğrulamanızı ve bunları NVIDIA/Mellanox uyumluluk listeleriyle karşılaştırmanızı öneririz.
  • Ortamınızda eski Mellanox kartları (örneğin, ME:MCX516A-CDAT) ile ConnectX-7 kartları birlikte kullanılıyorsa, farklı hızlardaki portları hesaba katın ve ağınızın QoS ve tıkanıklık kontrol politikalarının farklı NIC yeteneklerini dikkate aldığından emin olun.

ConnectX-7'yi PCIe 5.0 GPU kümelerine entegre ederken hangi dağıtım tuzaklarından kaçınmalıyım?

  • Yalnızca ConnectX-7 kartı takmanın G/Ç darboğazlarını ortadan kaldıracağını varsaymayın; gecikme cezalarından kaçınmak için PCIe yuva tahsisini, NUMA hizalamasını (NIC'leri ve GPU'ları aynı CPU soketine bağlama) ve GPU-direct yapılandırmalarını da ayarlamanız gerekir.
  • Her GPU sunucusunun yeterli sayıda PCIe 5.0 x16 yuvasına sahip olduğundan ve BIOS'un tüm yuvalar dolu olduğunda önemli yuvaları x8 veya daha düşük bir hıza düşürmediğinden emin olun; aksi takdirde ConnectX-7 bant genişliğinden yeterince yararlanamayabilirsiniz.
  • Kablolamayı dikkatlice planlayın: Hedeflenen hız ve mesafe için MLNX:MFA7U10-H030 veya MLNX:MCP7Y70-H002 gibi sertifikalı Mellanox DAC/AOC seçeneklerini kullanın ve ağır yük altında aralıklı bağlantı kesintilerine neden olabilecek niteliksiz kabloları karıştırmaktan kaçının.
  • Çoklu raf kümelerinde, ConnectX-7'nin daha yüksek veriminin tıkanıklığı yukarı doğru iterek farklı bir G/Ç darboğazı oluşturmasını önlemek için omurga/yaprak anahtarlarındaki aşırı abonelik oranlarına dikkat edin.

ConnectX-7 tabanlı GPU kümeleri için yaşam döngüsü, kullanım ömrü sonu ve genişleme planlamasını nasıl yapmalıyım?

  • ConnectX-7 etrafında bir sistem kurarken, adaptörü uzun vadeli bir platformun parçası olarak ele alın: yol haritasını GPU, sunucu ve switch yenileme döngülerinizle uyumlu hale getirin; böylece yığının geri kalanından önce kullanım ömrü sona erecek bir karta bağımlı kalmaktan kaçının.
  • Büyük bir sipariş vermeden önce, her bir Mellanox SKU'sunu (örneğin MLNX:MCX75310AAS-NEAT, MLNX:MCX713104AC-ADAT, MT28928A0-CCCF-CEM) bizimle karşılaştırın. EOL / EOSL denetleyicisi Gelecekteki değiştirme veya yedek parça stratejilerini öngörmek.
  • Genişletme için, mümkün olduğunca düğümler arasında tutarlı adaptör modelleri kullanın; çok fazla nesil karıştırmak bellenim bakımını zorlaştırır ve GPU kümenizde düzensiz performansa neden olabilir.

Yüksek değerli ConnectX-7 satın alımlarında garanti, iade ve risk kontrolü hakkında nelere dikkat etmeliyim?

  • Yüksek yoğunluklu GPU kümelerinde, tek bir arızalı adaptör veya kablo önemli kesintilere neden olabilir; bu nedenle dağıtımdan önce net bir RMA ve yedek parça politikası belirlemenizi öneririz.
  • Standart kapsam ve seçeneklerimizi inceleyebilirsiniz. garanti poliçesive bunları yapay zeka ve yüksek performanslı bilgi işlem iş yükleriniz için şirket içi hizmet seviyesi anlaşmalarınızla (SLA) uyumlu hale getirin.
  • Nadir durumlarda, ürünün arızalı gelmesi veya erken arızalanması halinde, aşağıda açıklanan sürecimizi izleyin. iade talimatları Soruşturma süresini en aza indirmek ve sevkiyat gecikmelerini önlemek için.
  • Kritik öneme sahip kümeler için, sınır ötesi lojistiği beklemeden bileşenleri değiştirebilmeniz amacıyla, önceden onaylanmış yedek adaptör ve kablolardan (örneğin ME:MC2207130-002) oluşan küçük bir stoğu yerinde bulundurmayı düşünün.
  • Lütfen dikkat: Garanti koşulları ve destek hizmetleri ürüne ve bölgeye göre değişiklik gösterebilir. Ayrıntılı bilgi için lütfen resmi kaynaklara bakın. Daha fazla bilgi için lütfen iletişime geçin: router-switch.com.

Büyük yapay zeka projelerinde ConnectX-7 ve Mellanox ara bağlantı kabloları için nakliye, vergi ve gümrük işlemleri nasıl yürütülüyor?

  • ConnectX-7 adaptörleri ve Mellanox kabloları için teslim süresi ve gönderim seçenekleri, stok durumuna, sipariş büyüklüğüne ve varış yerine bağlı olarak değişiklik gösterebilir; stokta bulunan ürünler için gönderimler genellikle lojistik ve ödeme koşulları onaylandıktan hemen sonra düzenlenir, ancak gerçek teslimat süreleri taşıyıcı performansına ve yerel işlemlere bağlı olacaktır.
  • Mevcut teslimat yöntemlerini, sigorta seçeneklerini ve bölgesel kısıtlamaları anlamak için genel bakışımızı inceleyebilirsiniz. Nakliye Yöntemleri.
  • Uluslararası sevkiyatlar için ithalat vergileri ve KDV, toplam sahip olma maliyetinizi önemli ölçüde etkileyebilir; lütfen kılavuzumuza bakın. vergiler ve gümrük vergileri Yüksek değerli siparişler vermeden önce finans ve lojistik ekiplerinizle uyum sağlayın.
  • Proje zaman çizelgeleri sıkıysa, uçtan uca gecikme riskini azaltmak için aşamalı siparişler vermenizi (önce adaptörler, ardından MLNX:MCP7Y40-N001 ve MLNX:MFA7U10-H030 gibi kablolar) ve tercih ettiğiniz nakliyeciyle koordinasyon sağlamanızı öneririz.

Diğer Çözümler

GPU Cluster Networking Solutions for AI Scale-Out

Yapay Zeka Ölçeklendirmesi için GPU Küme Ağ Çözümleri

Ölçeklenebilir topoloji yönlendirmesi, düşük gecikmeli anahtarlama ve kullanıma hazır mimariye sahip yapay zeka GPU kümeleri için yüksek performanslı Ethernet ağları tasarlayın.

Yapay Zeka GPU Kümesi Ağ Bağlantısı
Lossless Ethernet for AI & HPC Networks

Yapay Zeka ve Yüksek Performanslı Hesaplama Ağları için Kayıpsız Ethernet

RoCE uyumlu tasarım, tıkanıklık kontrolü rehberliği ve ölçeklenebilir düşük gecikmeli ağ planlaması ile yapay zeka ve yüksek performanslı hesaplama (HPC) için kayıpsız Ethernet ağları oluşturun.

Kayıpsız Ethernet
Ethernet vs InfiniBand for AI & HPC Networks

Yapay Zeka ve Yüksek Performanslı Hesaplama Ağları için Ethernet ve InfiniBand Karşılaştırması

Yapay zeka/yüksek performanslı bilgi işlem (AI/HPC) ağları için Ethernet ve InfiniBand'in odaklanmış bir karşılaştırması: gecikme, ölçeklenebilirlik, RDMA ve maliyet avantajları.

Yapay Zeka ve Yüksek Performanslı Hesaplama Ağları