RoCE, uçtan uca bir ağ tasarımıdır. Yüksek hızlı Ethernet portlarına sahip bir switch satın almak, otomatik olarak onaylanmış bir RoCE yapısı oluşturmaz. NIC, switch, kablo, optik modül, işletim sistemi, sürücü ve QoS yapılandırmasının birlikte çalışması gerekir.
- Sunucu erişimi, leaf, spine ve storage rollerinin BOM'u nasıl etkilediği
- ConnectX adaptör seçimi ve anahtar yetenek kontrolleri
- Öngörülebilir bir RoCE yapısı için tıkanıklık kontrolü gereksinimleri
- DAC, AOC, optik, mesafe, hız ve kodlama nasıl eşleştirilir?
- Sürücüler, bellenim, NOS, yönetim, güç ve raf gereksinimleri
- Malzeme listesi örnekleri, tedarik bilgileri ve sıkça sorulan sorular
- Uyumlu bir RoCE malzeme listesi oluşturmak için gereken minimum bilgiler.
Bir RoCE Ağının Gerçekte İhtiyaç Duyduğu Şeyler
Üretim amaçlı bir RoCE ağı normalde RDMA özellikli sunucu adaptörleri, RoCE uyumlu anahtarlar, uyumlu optik veya kablolar, ana bilgisayar sürücüleri, anahtar QoS yapılandırması ve ayrı bir yönetim yolu içerir.
| Kategoriler | Gerekli Öğe | Ana Seçim Kriterleri |
|---|---|---|
| hesaplamak | GPU veya sunucu düğümleri | PCIe yuvaları, GPU topolojisi, işletim sistemi |
| RDMA bağlantısı | ConnectX veya desteklenen başka bir RDMA ağ kartı | Bağlantı noktası hızı, bağlantı noktası sayısı, PCIe nesli, bellenim |
| Ağ yapısı | Spectrum veya RoCE özellikli başka bir anahtar | PFC, ECN, tamponlar, QoS ve bağlantı noktası desteği |
| Ara Bağlantıları | DAC, AOC veya optik alıcı-vericiler | Hız, mesafe, bağlantı noktası, FEC ve kodlama |
| Ana bilgisayar yazılımı | RDMA sürücüleri ve yardımcı programları | İşletim sistemi, sürücü sürümü ve ağ kartı bellenimi |
| Yazılımı değiştir | Cumulus Linux, Onyx, SONiC veya başka bir onaylanmış NOS | Donanım desteği, özellik desteği ve sözleşme |
| Altyapı | Yönetim, raf, güç kaynağı ve soğutma ekipmanları | Güç yedekliliği, derinlik, hava akışı ve kablo açıklığı |
Kullanılacak malzemenin tam listesi, ağın GPU'dan GPU'ya iletişim, dağıtılmış depolama, yüksek performanslı bilgi işlem (HPC), veritabanı trafiği veya karma bir veri merkezi altyapısı için mi kurulduğuna bağlıdır.
Sunucu sayınızı, ağ kartı modelinizi, hedef hızınızı, kablo mesafesini ve switch gereksinimlerinizi gönderin.
Ağ Rolü ile başlayın
Bir switch seçmeden önce, bunun sunucuya yönelik leaf, yüksek yoğunluklu leaf, spine, depolama altyapısı switchi, özel GPU küme switchi veya karma kurumsal ve RoCE switchi olarak çalışıp çalışmayacağını belirleyin.
Küçük bir sunucu rafı birçok 25 GbE bağlantısına ve yalnızca birkaç 100 GbE uplink'e ihtiyaç duyabilir. Bir GPU ağı ise çoğunlukla 100 GbE, 200 GbE veya 400 GbE bağlantılarına ihtiyaç duyabilir. Her ikisi de RoCE ağları olarak tanımlansa bile, bunlar farklı malzeme listeleridir (BOM).
Spectrum Platformlarına Örnekler
Kompakt bir 25 GbE erişim tasarımı şunları kullanabilir: MSN2010-CB2RCBu, QSFP28 uplink'lerle birlikte yerleşik SFP28 erişim portları sağlar.
QSFP28 tabanlı bir yaprak tasarımı, aşağıdakileri kullanabilir: MSN2100-CB2F25 GbE sunucu bağlantılarına ihtiyaç duyulduğunda, bağlantı planlaması önem kazanır.
Daha yüksek yoğunluklu bir kumaş, şunları kullanabilir: MSN2700-CS2R40/50/100 GbE bağlantıları veya desteklenen breakout yapılandırmaları için daha fazla sayıda QSFP28 portu ile.
Bunlar platform örnekleridir, evrensel öneriler değildir. Nihai seçim, port sayısına, aşırı yüklenmeye, raf tasarımına, optiklere ve hedef ağ işletim sistemine bağlıdır.
RDMA NIC'ler ve RoCE Özellikli Anahtarlar
RDMA NIC Seçimi
Sunucu adaptörü, RoCE dağıtımında en önemli bileşenlerden biridir. Uygun bir RDMA NIC'nin RoCEv2 desteği, port hızı, port sayısı, PCIe nesli, bellenim, sürücü uyumluluğu, PFC, ECN ve GPU Direct veya depolama altyapısı gereksinimleri açısından kontrol edilmesi gerekir.
NVIDIA ConnectX adaptörleri RoCE ortamlarında sıklıkla kullanılır, ancak ConnectX'in tam nesli ve OPN'si yine de önemlidir. Çift portlu 25 GbE SFP28 adaptör, tek portlu 400 GbE OSFP adaptörden farklı bir kablo ve switch portu gereksinimi oluşturur.
- NIC modeli ve OPN
- Bağlantı noktası sayısı ve bağlantı noktası hızı
- Bağlayıcı türü
- PCIe yuvası gereksinimi
- Firmware sürümü
- RDMA sürücü paketi
- GPU Direct veya depolama entegrasyonu gereksinimleri
RoCE Uyumlu Anahtar Gereksinimleri
RoCE için kullanılan bir switch, yalnızca maksimum port hızı açısından değil, trafik yönetimi yetenekleri açısından da değerlendirilmelidir.
- Öncelikli Akış Kontrolü
- Açık Tıkanıklık Bildirimi
- Kayıpsız veya kayıp duyarlı kuyruk profilleri
- Yeterli paket arabelleği
- DSCP veya 802.1p trafik sınıflandırması
- Tıkanıklık bildirimi işleme
- Gerekli FEC modları
- Bağlantı noktası çıkış desteği
- Doğrulanmış NOS ve yazılım sürümü
Genel amaçlı bir Ethernet anahtarı RoCE paketlerini iletebilir, ancak bu, doğrulanmış veya öngörülebilir bir RoCE yapısı sağladığı anlamına gelmez.
PFC, ECN, Tamponlar ve QoS
Öncelikli Akış Kontrolü
PFC, tüm bağlantıyı durdurmak yerine seçili trafik önceliklerini duraklatır. Bu, RoCE trafiğinin kayıpsız bir şekilde işlenmesini sağlarken, diğer trafik sınıfları bağlantıyı kullanmaya devam eder.
Kayıpsız bir RoCE profili için, PFC'nin trafik yolundaki ana bilgisayar NIC'si, leaf anahtarları, spine anahtarları, depolama uç noktaları ve uzak sunucu adaptörleri genelinde tutarlı bir şekilde tasarlanması gerekir.
- RoCE trafiğini tanımlanmış bir önceliğe veya trafik sınıfına atayın.
- Ana bilgisayar ve anahtarlarda aynı öncelik eşlemesini yapılandırın.
- Trafik sınıfı tasarımı olmadan her öncelik seviyesinde PFC'yi etkinleştirmeyin.
- Dağıtım sonrasında duraklatma çerçevelerini ve kuyruk davranışını izleyin.
Yanlış PFC yapılandırması, PFC duraklama fırtınalarına, ön sıra engellemelerine, tıkanıklığın yayılmasına ve kararsız uygulama gecikmesine neden olabilir.
Açık Tıkanıklık Bildirimi
ECN, RoCEv2 için uçtan uca tıkanıklık sinyallemesi sağlar. Anahtar, kuyruklar yapılandırılmış eşiğe ulaştığında paketleri işaretler ve alıcı ana bilgisayar tıkanıklık yanıtına katılır.
- RoCE trafik sınıflandırması
- ECN özellikli ana bilgisayar NIC'leri
- Anahtar işaretleme eşikleri
- Ana bilgisayar NIC tıkanıklık yanıtı
- CNP işleme
- Tutarlı DSCP veya öncelik eşlemesi
Tampon ve ASIC Arasındaki Farklar
RoCE yapılandırması, switch ASIC nesilleri arasında otomatik olarak taşınabilir değildir. Doğrulanmış bir profil, switch ASIC'ine, NOS sürümüne ve dağıtım topolojisine tam olarak uygun olmalıdır.
NVIDIA'nın Ethernet Depolama Altyapıları kılavuzu, Spectrum tabanlı dağıtımlar için RoCE ile ilgili tampon, kuyruk, PFC ve ECN hususlarını kapsamaktadır. Yapılandırma, üretime uygulanmadan önce test edilmelidir.
Kablolar, Optik, Dağıtım ve FEC
DAC ve AOC
DAC genellikle kısa mesafeli raf içi veya bitişik raf bağlantıları için kullanılır. AOC, mesafenin pratik bir DAC bağlantısından daha uzun olduğu ancak ayrı optik modüller gerektirmediği durumlarda uygun olabilir.
Her bir DAC veya AOC için hızı, konektörü, uzunluğu, bükülme yarıçapını, FEC'i, güç tüketimini ve anahtar ve NIC desteğini kontrol edin.
Optik Alıcı-Vericiler
Daha uzun bağlantılar için, malzeme listesinde form faktörü, hız, dalga boyu, tek modlu veya çok modlu fiber, konektör tipi, erişim mesafesi, FEC gereksinimi, sıcaklık aralığı, DOM desteği ve anahtar ve NIC uyumluluğu belirtilmelidir.
Koparma Kabloları
Breakout özelliği, port sayısı hesaplamasını değiştirir. Bir adet 100 GbE QSFP28 portu, dört adet 25 GbE bağlantısına dönüşebilirken, diğer platformlar 200 GbE veya 400 GbE breakout modlarını destekleyebilir.
Malzeme listesinde ana bağlantı noktası ve her bir bağlantı yolu belirtilmelidir. Anahtar, kablo, ağ işletim sistemi (NOS) ve bağlantı noktası modu doğrulanana kadar bir bağlantı noktasını dört kullanılabilir arayüz olarak saymayın.
FEC ve Bağlantı Kodlaması
İki cihaz aynı nominal hıza ve bağlantı noktasına sahip olabilir, ancak FEC veya kodlama farklılıkları nedeniyle yine de istikrarlı bir bağlantı kuramayabilir.
- Desteklenen FEC modları
- Varsayılan FEC davranışı
- Manuel veya otomatik FEC yapılandırması
- NIC ile anahtar arasında FEC uyumluluğu
- Ayrı şeritli FEC gereksinimleri
- Optiklere özgü kodlama gereksinimleri
FEC, kurulum sırasında keşfedilen bir sorun olmaktan ziyade, bağlantı çalışma sayfasının bir parçası olmalıdır.
Sunucu Yazılımı ve Altyapısı
Ana Bilgisayar Yazılımı
- İşletim sistemi
- RDMA sürücü paketi
- NIC ürün yazılımı
- RDMA yardımcı programları
- PFC ve ECN yapılandırması
- DSCP veya öncelik eşlemesi
- GPU Direct veya depolama ile ilgili sürücüler
Yazılımı Değiştir
- NOS adı ve sürümü
- ASIC desteğini değiştirin
- RoCE profili
- PFC ve ECN yapılandırma yöntemi
- Tampon profili
- Breakout sözdizimi
- Yükseltme ve geri alma prosedürü
- Yazılım destek sözleşmesi
Yönetim ve Raf Altyapısı
Üretim ortamında kullanılan bir RoCE ağında, mümkün olduğunca bağımsız bir yönetim yolu bulunmalıdır. Bu, mühendislerin veri düzlemi tıkanıklığı veya QoS sorun giderme sırasında anahtara ve sunuculara ulaşmasını sağlar.
- Bant dışı yönetim anahtarı
- Konsol erişimi
- Yönetim VLAN'ı veya yönetim ağı
- İzleme sistemi
- NTP ve DNS
- Yapılandırma yedekleme
- Raf güç dağıtımı
- Yedek güç beslemeleri
- Hava akışına uyumlu anahtar ve güç kaynağı çeşitleri
- Kablo yönetimi aksesuarları
- Yedek optik ve kablolar
RoCE Malzeme Listesi ve Teklif Talebi Kontrol Listesi
Dağıtım Türüne Göre Örnek Malzeme Listesi (BOM)
| açılma | Ana Bilgisayar Bağlantısı | Rol Değiştir | Tipik Bağlantı | Ana Planlama Sorunu |
|---|---|---|---|---|
| 25GbE sunucu rafı | 25GbE SFP28 RDMA NIC'ler | Yaprak veya rafın en üstü | SFP28 DAC, AOC veya optik | Yerel SFP28 port sayısı ve 100 GbE uplink bağlantıları |
| 100GbE GPU ağı | 100GbE QSFP28 NIC'ler | Yaprak sırtlı kumaş | 100GbE DAC, AOC veya optik | PFC, ECN, aşırı talep ve tamponlar |
| 200GbE veya 400GbE AI ağ yapısı | 200/400GbE RDMA adaptörleri | Yüksek hızlı yaprak veya omurga | QSFP56, QSFP112 veya OSFP kabloları | FEC, breakout, güç ve platform desteği |
| RoCE depolama ağı | RDMA ağ kartları veya depolama adaptörleri | Özel veya birleşik kumaş | Hız ve mesafeye bağlı | Trafik ayrımı ve tıkanıklık kontrolü |
| Karma işletme ve RoCE ağı | RDMA ağ kartları ve standart Ethernet sunucuları | Paylaşımlı veri merkezi altyapısı | Karışık optik ve bakır bağlantılar | Kuyruk izolasyonu ve PFC kapsamı |
RoCE Teklif Talebinde Yer Alacak Bilgiler
- Sunucu veya GPU düğüm sayısı
- RDMA NIC modeli ve miktarı
- Gerekli sunucu tarafı port hızı
- Gerekli anahtar bağlantı noktası hızı
- Yaprak ve omurga anahtarlarının sayısı
- İstenen fazla talep oranı
- RoCEv1 veya RoCEv2 gereksinimi
- GPUDirect, depolama veya yüksek performanslı bilgi işlem uygulaması
- Raflar arası mesafeler
- DAC, AOC veya optik tercih
- Fiber tipi ve konektör gereksinimleri
- FEC gereksinimleri
- PFC ve ECN gereksinimleri
- NOS tercihi
- Raf derinliği, hava akışı ve güç gereksinimleri
- Gerekli yedek optik ve kablolar
Sıkça Sorulan Sorular
Son Paket Servis
Tam bir RoCE ağ malzeme listesi (BOM) normalde RDMA özellikli sunucu veya GPU NIC'leri, RoCE uyumlu anahtarlar, DAC'ler, AOC'ler veya optik alıcı-vericiler, ana bilgisayar sürücüleri, desteklenen bir anahtar NOS'u, PFC ve ECN yapılandırması, yönetim ağı ve raf, güç, soğutma ve kablo yönetimi bileşenlerini içerir.
Malzeme listesini oluşturmanın en güvenli yolu, uygulama ve trafik modelinden başlayıp, NIC, switch, kablo, optik, yazılım ve destek modelini tek bir sistem olarak eşleştirmektir.
Ekipman listesini kesinleştirmeden önce sunucu sayısını, RDMA NIC modelini, hedef hızı, anahtar tercihini, kablo mesafesini ve RoCE gereksinimlerini gönderin.















































































































































