RoCE Ağı İçin Hangi Ekipmanlar Gereklidir? NIC'ler, Anahtarlar, Kablolar ve Malzeme Listesi

Bizi Takip Edin:
Hızlı Çekim
Üretim amaçlı bir RoCE ağı, RDMA özellikli sunucu adaptörleri, RoCE uyumlu anahtarlar, uyumlu optik veya kablolar, ana bilgisayar sürücüleri, anahtar QoS yapılandırması ve ayrı bir yönetim yolu gerektirir. Sadece bağlantı hızı yeterli değildir; PFC, ECN, tamponlar, FEC, çıkış modu ve uçtan uca trafik sınıflandırması da doğrulanmalıdır.

RoCE, uçtan uca bir ağ tasarımıdır. Yüksek hızlı Ethernet portlarına sahip bir switch satın almak, otomatik olarak onaylanmış bir RoCE yapısı oluşturmaz. NIC, switch, kablo, optik modül, işletim sistemi, sürücü ve QoS yapılandırmasının birlikte çalışması gerekir.

1. Bir RoCE Ağının Gerçekte İhtiyaç Duyduğu Şeyler
  • Tam bir RoCE kurulumundaki donanım ve yazılım bileşenleri
2. Ağ Rolü ile başlayın.
  • Sunucu erişimi, leaf, spine ve storage rollerinin BOM'u nasıl etkilediği
3. RDMA Ağ Kartları ve RoCE Özellikli Anahtarlar
  • ConnectX adaptör seçimi ve anahtar yetenek kontrolleri
4. PFC, ECN, Tamponlar ve QoS
  • Öngörülebilir bir RoCE yapısı için tıkanıklık kontrolü gereksinimleri
5. Kablolar, Optik, Dağıtım ve FEC
  • DAC, AOC, optik, mesafe, hız ve kodlama nasıl eşleştirilir?
6. Sunucu Yazılımı ve Altyapısı
  • Sürücüler, bellenim, NOS, yönetim, güç ve raf gereksinimleri
7. RoCE Malzeme Listesi ve Teklif Talebi Kontrol Listesi
  • Malzeme listesi örnekleri, tedarik bilgileri ve sıkça sorulan sorular
8. Son Çıkarım
  • Uyumlu bir RoCE malzeme listesi oluşturmak için gereken minimum bilgiler.

Bir RoCE Ağının Gerçekte İhtiyaç Duyduğu Şeyler

Üretim amaçlı bir RoCE ağı normalde RDMA özellikli sunucu adaptörleri, RoCE uyumlu anahtarlar, uyumlu optik veya kablolar, ana bilgisayar sürücüleri, anahtar QoS yapılandırması ve ayrı bir yönetim yolu içerir.

Kategoriler Gerekli Öğe Ana Seçim Kriterleri
hesaplamak GPU veya sunucu düğümleri PCIe yuvaları, GPU topolojisi, işletim sistemi
RDMA bağlantısı ConnectX veya desteklenen başka bir RDMA ağ kartı Bağlantı noktası hızı, bağlantı noktası sayısı, PCIe nesli, bellenim
Ağ yapısı Spectrum veya RoCE özellikli başka bir anahtar PFC, ECN, tamponlar, QoS ve bağlantı noktası desteği
Ara Bağlantıları DAC, AOC veya optik alıcı-vericiler Hız, mesafe, bağlantı noktası, FEC ve kodlama
Ana bilgisayar yazılımı RDMA sürücüleri ve yardımcı programları İşletim sistemi, sürücü sürümü ve ağ kartı bellenimi
Yazılımı değiştir Cumulus Linux, Onyx, SONiC veya başka bir onaylanmış NOS Donanım desteği, özellik desteği ve sözleşme
Altyapı Yönetim, raf, güç kaynağı ve soğutma ekipmanları Güç yedekliliği, derinlik, hava akışı ve kablo açıklığı

Kullanılacak malzemenin tam listesi, ağın GPU'dan GPU'ya iletişim, dağıtılmış depolama, yüksek performanslı bilgi işlem (HPC), veritabanı trafiği veya karma bir veri merkezi altyapısı için mi kurulduğuna bağlıdır.

RoCE ağı için malzeme listesi (BOM) planlaması mı yapıyorsunuz?

Sunucu sayınızı, ağ kartı modelinizi, hedef hızınızı, kablo mesafesini ve switch gereksinimlerinizi gönderin.

Ağ Rolü ile başlayın

Bir switch seçmeden önce, bunun sunucuya yönelik leaf, yüksek yoğunluklu leaf, spine, depolama altyapısı switchi, özel GPU küme switchi veya karma kurumsal ve RoCE switchi olarak çalışıp çalışmayacağını belirleyin.

Küçük bir sunucu rafı birçok 25 GbE bağlantısına ve yalnızca birkaç 100 GbE uplink'e ihtiyaç duyabilir. Bir GPU ağı ise çoğunlukla 100 GbE, 200 GbE veya 400 GbE bağlantılarına ihtiyaç duyabilir. Her ikisi de RoCE ağları olarak tanımlansa bile, bunlar farklı malzeme listeleridir (BOM).

Spectrum Platformlarına Örnekler

Kompakt bir 25 GbE erişim tasarımı şunları kullanabilir: MSN2010-CB2RCBu, QSFP28 uplink'lerle birlikte yerleşik SFP28 erişim portları sağlar.

QSFP28 tabanlı bir yaprak tasarımı, aşağıdakileri kullanabilir: MSN2100-CB2F25 GbE sunucu bağlantılarına ihtiyaç duyulduğunda, bağlantı planlaması önem kazanır.

Daha yüksek yoğunluklu bir kumaş, şunları kullanabilir: MSN2700-CS2R40/50/100 GbE bağlantıları veya desteklenen breakout yapılandırmaları için daha fazla sayıda QSFP28 portu ile.

Bunlar platform örnekleridir, evrensel öneriler değildir. Nihai seçim, port sayısına, aşırı yüklenmeye, raf tasarımına, optiklere ve hedef ağ işletim sistemine bağlıdır.

RDMA NIC'ler ve RoCE Özellikli Anahtarlar

RDMA NIC Seçimi

Sunucu adaptörü, RoCE dağıtımında en önemli bileşenlerden biridir. Uygun bir RDMA NIC'nin RoCEv2 desteği, port hızı, port sayısı, PCIe nesli, bellenim, sürücü uyumluluğu, PFC, ECN ve GPU Direct veya depolama altyapısı gereksinimleri açısından kontrol edilmesi gerekir.

NVIDIA ConnectX adaptörleri RoCE ortamlarında sıklıkla kullanılır, ancak ConnectX'in tam nesli ve OPN'si yine de önemlidir. Çift portlu 25 GbE SFP28 adaptör, tek portlu 400 GbE OSFP adaptörden farklı bir kablo ve switch portu gereksinimi oluşturur.

  • NIC modeli ve OPN
  • Bağlantı noktası sayısı ve bağlantı noktası hızı
  • Bağlayıcı türü
  • PCIe yuvası gereksinimi
  • Firmware sürümü
  • RDMA sürücü paketi
  • GPU Direct veya depolama entegrasyonu gereksinimleri

RoCE Uyumlu Anahtar Gereksinimleri

RoCE için kullanılan bir switch, yalnızca maksimum port hızı açısından değil, trafik yönetimi yetenekleri açısından da değerlendirilmelidir.

  • Öncelikli Akış Kontrolü
  • Açık Tıkanıklık Bildirimi
  • Kayıpsız veya kayıp duyarlı kuyruk profilleri
  • Yeterli paket arabelleği
  • DSCP veya 802.1p trafik sınıflandırması
  • Tıkanıklık bildirimi işleme
  • Gerekli FEC modları
  • Bağlantı noktası çıkış desteği
  • Doğrulanmış NOS ve yazılım sürümü

Genel amaçlı bir Ethernet anahtarı RoCE paketlerini iletebilir, ancak bu, doğrulanmış veya öngörülebilir bir RoCE yapısı sağladığı anlamına gelmez.

PFC, ECN, Tamponlar ve QoS

Öncelikli Akış Kontrolü

PFC, tüm bağlantıyı durdurmak yerine seçili trafik önceliklerini duraklatır. Bu, RoCE trafiğinin kayıpsız bir şekilde işlenmesini sağlarken, diğer trafik sınıfları bağlantıyı kullanmaya devam eder.

Kayıpsız bir RoCE profili için, PFC'nin trafik yolundaki ana bilgisayar NIC'si, leaf anahtarları, spine anahtarları, depolama uç noktaları ve uzak sunucu adaptörleri genelinde tutarlı bir şekilde tasarlanması gerekir.

  • RoCE trafiğini tanımlanmış bir önceliğe veya trafik sınıfına atayın.
  • Ana bilgisayar ve anahtarlarda aynı öncelik eşlemesini yapılandırın.
  • Trafik sınıfı tasarımı olmadan her öncelik seviyesinde PFC'yi etkinleştirmeyin.
  • Dağıtım sonrasında duraklatma çerçevelerini ve kuyruk davranışını izleyin.

Yanlış PFC yapılandırması, PFC duraklama fırtınalarına, ön sıra engellemelerine, tıkanıklığın yayılmasına ve kararsız uygulama gecikmesine neden olabilir.

Açık Tıkanıklık Bildirimi

ECN, RoCEv2 için uçtan uca tıkanıklık sinyallemesi sağlar. Anahtar, kuyruklar yapılandırılmış eşiğe ulaştığında paketleri işaretler ve alıcı ana bilgisayar tıkanıklık yanıtına katılır.

  • RoCE trafik sınıflandırması
  • ECN özellikli ana bilgisayar NIC'leri
  • Anahtar işaretleme eşikleri
  • Ana bilgisayar NIC tıkanıklık yanıtı
  • CNP işleme
  • Tutarlı DSCP veya öncelik eşlemesi

Tampon ve ASIC Arasındaki Farklar

RoCE yapılandırması, switch ASIC nesilleri arasında otomatik olarak taşınabilir değildir. Doğrulanmış bir profil, switch ASIC'ine, NOS sürümüne ve dağıtım topolojisine tam olarak uygun olmalıdır.

NVIDIA'nın Ethernet Depolama Altyapıları kılavuzu, Spectrum tabanlı dağıtımlar için RoCE ile ilgili tampon, kuyruk, PFC ve ECN hususlarını kapsamaktadır. Yapılandırma, üretime uygulanmadan önce test edilmelidir.

Kablolar, Optik, Dağıtım ve FEC

DAC ve AOC

DAC genellikle kısa mesafeli raf içi veya bitişik raf bağlantıları için kullanılır. AOC, mesafenin pratik bir DAC bağlantısından daha uzun olduğu ancak ayrı optik modüller gerektirmediği durumlarda uygun olabilir.

Her bir DAC veya AOC için hızı, konektörü, uzunluğu, bükülme yarıçapını, FEC'i, güç tüketimini ve anahtar ve NIC desteğini kontrol edin.

Optik Alıcı-Vericiler

Daha uzun bağlantılar için, malzeme listesinde form faktörü, hız, dalga boyu, tek modlu veya çok modlu fiber, konektör tipi, erişim mesafesi, FEC gereksinimi, sıcaklık aralığı, DOM desteği ve anahtar ve NIC uyumluluğu belirtilmelidir.

Koparma Kabloları

Breakout özelliği, port sayısı hesaplamasını değiştirir. Bir adet 100 GbE QSFP28 portu, dört adet 25 GbE bağlantısına dönüşebilirken, diğer platformlar 200 GbE veya 400 GbE breakout modlarını destekleyebilir.

Malzeme listesinde ana bağlantı noktası ve her bir bağlantı yolu belirtilmelidir. Anahtar, kablo, ağ işletim sistemi (NOS) ve bağlantı noktası modu doğrulanana kadar bir bağlantı noktasını dört kullanılabilir arayüz olarak saymayın.

FEC ve Bağlantı Kodlaması

İki cihaz aynı nominal hıza ve bağlantı noktasına sahip olabilir, ancak FEC veya kodlama farklılıkları nedeniyle yine de istikrarlı bir bağlantı kuramayabilir.

  • Desteklenen FEC modları
  • Varsayılan FEC davranışı
  • Manuel veya otomatik FEC yapılandırması
  • NIC ile anahtar arasında FEC uyumluluğu
  • Ayrı şeritli FEC gereksinimleri
  • Optiklere özgü kodlama gereksinimleri

FEC, kurulum sırasında keşfedilen bir sorun olmaktan ziyade, bağlantı çalışma sayfasının bir parçası olmalıdır.

Sunucu Yazılımı ve Altyapısı

Ana Bilgisayar Yazılımı

  • İşletim sistemi
  • RDMA sürücü paketi
  • NIC ürün yazılımı
  • RDMA yardımcı programları
  • PFC ve ECN yapılandırması
  • DSCP veya öncelik eşlemesi
  • GPU Direct veya depolama ile ilgili sürücüler

Yazılımı Değiştir

  • NOS adı ve sürümü
  • ASIC desteğini değiştirin
  • RoCE profili
  • PFC ve ECN yapılandırma yöntemi
  • Tampon profili
  • Breakout sözdizimi
  • Yükseltme ve geri alma prosedürü
  • Yazılım destek sözleşmesi

Yönetim ve Raf Altyapısı

Üretim ortamında kullanılan bir RoCE ağında, mümkün olduğunca bağımsız bir yönetim yolu bulunmalıdır. Bu, mühendislerin veri düzlemi tıkanıklığı veya QoS sorun giderme sırasında anahtara ve sunuculara ulaşmasını sağlar.

  • Bant dışı yönetim anahtarı
  • Konsol erişimi
  • Yönetim VLAN'ı veya yönetim ağı
  • İzleme sistemi
  • NTP ve DNS
  • Yapılandırma yedekleme
  • Raf güç dağıtımı
  • Yedek güç beslemeleri
  • Hava akışına uyumlu anahtar ve güç kaynağı çeşitleri
  • Kablo yönetimi aksesuarları
  • Yedek optik ve kablolar

RoCE Malzeme Listesi ve Teklif Talebi Kontrol Listesi

Dağıtım Türüne Göre Örnek Malzeme Listesi (BOM)

açılma Ana Bilgisayar Bağlantısı Rol Değiştir Tipik Bağlantı Ana Planlama Sorunu
25GbE sunucu rafı 25GbE SFP28 RDMA NIC'ler Yaprak veya rafın en üstü SFP28 DAC, AOC veya optik Yerel SFP28 port sayısı ve 100 GbE uplink bağlantıları
100GbE GPU ağı 100GbE QSFP28 NIC'ler Yaprak sırtlı kumaş 100GbE DAC, AOC veya optik PFC, ECN, aşırı talep ve tamponlar
200GbE veya 400GbE AI ağ yapısı 200/400GbE RDMA adaptörleri Yüksek hızlı yaprak veya omurga QSFP56, QSFP112 veya OSFP kabloları FEC, breakout, güç ve platform desteği
RoCE depolama ağı RDMA ağ kartları veya depolama adaptörleri Özel veya birleşik kumaş Hız ve mesafeye bağlı Trafik ayrımı ve tıkanıklık kontrolü
Karma işletme ve RoCE ağı RDMA ağ kartları ve standart Ethernet sunucuları Paylaşımlı veri merkezi altyapısı Karışık optik ve bakır bağlantılar Kuyruk izolasyonu ve PFC kapsamı

RoCE Teklif Talebinde Yer Alacak Bilgiler

  1. Sunucu veya GPU düğüm sayısı
  2. RDMA NIC modeli ve miktarı
  3. Gerekli sunucu tarafı port hızı
  4. Gerekli anahtar bağlantı noktası hızı
  5. Yaprak ve omurga anahtarlarının sayısı
  6. İstenen fazla talep oranı
  7. RoCEv1 veya RoCEv2 gereksinimi
  8. GPUDirect, depolama veya yüksek performanslı bilgi işlem uygulaması
  9. Raflar arası mesafeler
  10. DAC, AOC veya optik tercih
  11. Fiber tipi ve konektör gereksinimleri
  12. FEC gereksinimleri
  13. PFC ve ECN gereksinimleri
  14. NOS tercihi
  15. Raf derinliği, hava akışı ve güç gereksinimleri
  16. Gerekli yedek optik ve kablolar

Sıkça Sorulan Sorular

Q1 RoCE için ConnectX ağ kartına ihtiyacım var mı?
Gerekli RoCE özelliklerini destekleyen RDMA özellikli bir ağ adaptörüne ihtiyacınız var. ConnectX adaptörleri yaygın bir tercihtir, ancak tam model, port hızı, bellenim ve sürücünün yine de doğrulanması gerekir.
Q2 Herhangi bir 100GbE switch, RoCE çalıştırabilir mi?
Hayır. Anahtarın PFC, ECN, tamponlama, QoS sınıflandırması, FEC ve doğrulanmış bir NOS yapılandırması açısından kontrol edilmesi gerekir. Yüksek port hızı tek başına RoCE desteğini doğrulamaz.
Q3 RoCE her zaman PFC gerektirir mi?
Kesin tasarım, RoCE sürümüne ve tıkanıklık kontrol profiline bağlıdır. Kayıpsız RoCE dağıtımları genellikle PFC kullanırken, RoCEv2 uçtan uca tıkanıklık sinyallemesi için ECN'yi de kullanır. Ana bilgisayar ve yoldaki her anahtar tutarlı bir şekilde yapılandırılmalıdır.
Q4 Sunucu ağ kartında PFC ve ECN ayarlarının yapılması gerekiyor mu?
Evet. RoCE uçtan uca bir tasarımdır. PFC veya ECN'yi yalnızca anahtarda yapılandırmak, ana bilgisayarın doğru davranışını garanti etmez.
Q5 RoCE için sıradan Ethernet kabloları kullanılabilir mi?
Yalnızca kablo tipi, konektör, hız, mesafe, kodlama, FEC ve cihaz desteği uyumluysa kullanılabilir. Kablo, NIC-anahtar bağlantı tasarımının bir parçası olarak seçilmelidir.
Q6 Bir adet 100 GbE portu dört adet 25 GbE sunucuya bağlanabilir mi?
Muhtemelen, eğer anahtar bağlantı noktası, dağıtım kablosu, NOS, NIC arayüzleri ve bağlantı noktası modu bu yapılandırmayı destekliyorsa. Ana bağlantı noktası ve tüm dağıtım hatları malzeme listesinde (BOM) belgelenmelidir.
Q7 RoCE, karma kurumsal ağlar için uygun mudur?
Olabilir, ancak trafik sınıfları dikkatlice tasarlanmalıdır. RoCE, yönetim, depolama ve sıradan Ethernet trafiği, net kuyruk, öncelik ve tıkanıklık politikaları olmadan rekabet etmemelidir.

Son Paket Servis

Tam bir RoCE ağ malzeme listesi (BOM) normalde RDMA özellikli sunucu veya GPU NIC'leri, RoCE uyumlu anahtarlar, DAC'ler, AOC'ler veya optik alıcı-vericiler, ana bilgisayar sürücüleri, desteklenen bir anahtar NOS'u, PFC ve ECN yapılandırması, yönetim ağı ve raf, güç, soğutma ve kablo yönetimi bileşenlerini içerir.

Malzeme listesini oluşturmanın en güvenli yolu, uygulama ve trafik modelinden başlayıp, NIC, switch, kablo, optik, yazılım ve destek modelini tek bir sistem olarak eşleştirmektir.

Ekipman listesini kesinleştirmeden önce sunucu sayısını, RDMA NIC modelini, hedef hızı, anahtar tercihini, kablo mesafesini ve RoCE gereksinimlerini gönderin.