Konfigurasi Breakout NVIDIA SN5610 800G dengan Cumulus Linux

Penulis: Selene Gong

Ikuti Kami:

Ambil cepat

NVIDIA SN5610 memiliki 64 antarmuka OSFP 800GbE bawaan. Setiap port sumber yang didukung dapat beroperasi sebagai 1×800G, 2×400G, atau 4×200G. Opsi 100G menggunakan 8×100G breakout pada 32 port sumber OSFP, dengan port OSFP yang berdekatan dinonaktifkan untuk setiap sumber breakout. Konfigurasi Cumulus Linux, pemilihan kabel, pemetaan jalur, FEC, dan MTU harus direncanakan bersama.

The Saklar NVIDIA SN5610 Dirancang untuk jaringan Ethernet berdensitas tinggi, termasuk jaringan AI dan pusat data yang perlu menghubungkan perangkat 800G, 400G, 200G, dan 100G dalam platform yang sama. Panduan ini menjelaskan cara kerja mode breakout, cara mengkonfigurasinya dengan Cumulus Linux, dan apa yang perlu diperiksa ketika antarmuka atau tautan terpisah tidak aktif.

Opsi Breakout SN5610 800G

Hal yang Perlu Dikonfirmasi Sebelum Konfigurasi

Mengonfigurasi Port Breakout di Cumulus Linux

Batasan OSFP, Kabel Breakout, dan QSA

Rencana SN5610 untuk Kain Daun-Tulang AI

Memecahkan Masalah Port yang Hilang dan Kegagalan Tautan

Pertanyaan yang Sering Diajukan

Takeaway Terakhir

Opsi Breakout SN5610 800G

SN5610 mendukung 64 antarmuka OSFP 800GbE. Tergantung pada kecepatan endpoint yang dibutuhkan, port fisik dapat digunakan secara langsung atau dibagi menjadi beberapa antarmuka logis.

Mode fisik	Port logis per OSFP	Maksimum pada SN5610	Keterbatasan utama
800G	1×800G	Port 64	Operasi port asli
400G	2×400G	Port 128	Membutuhkan desain breakout dua arah yang didukung.
200G	4×200G	Port 256	Membutuhkan desain breakout empat arah yang didukung.
100G	8×100G	Port 256	Menggunakan 32 port sumber OSFP dan memerlukan port yang berdekatan untuk dinonaktifkan.

Mode 100G memerlukan perhatian khusus. Ini bukan sekadar konversi sederhana dari semua 64 port OSFP fisik menjadi delapan port logis masing-masing. Pembatasan port yang berdekatan mengurangi jumlah port sumber fisik yang tersedia untuk konfigurasi ini.

SN5610 mendukung pengkodean PAM4 dan NRZ. Operasi kecepatan rendah dapat menggunakan pengkodean NRZ, sementara perilaku jalur yang tepat bergantung pada mode port, transceiver, kabel breakout, dan perangkat lawan. Konfirmasikan matriks platform saat ini sebelum menyelesaikan pemetaan port.

Untuk koneksi 800G asli, tinjau faktor bentuk dan jangkauan optik yang dibutuhkan sebelum memilihnya. Transceiver OSFP 800GTransceiver yang sesuai dengan kecepatan data yang diiklankan mungkin tetap tidak cocok untuk topologi breakout atau antarmuka jarak jauh yang dipilih.

Hal yang Perlu Dikonfirmasi Sebelum Konfigurasi

Perencanaan breakout harus dimulai dengan persyaratan titik akhir. Jangan memilih kabel terlebih dahulu dan mencoba menyesuaikan desain jaringan di sekitarnya.

Konfirmasikan bentuk port yang dibutuhkan

Diperlukan jumlah tautan 800G, 400G, 200G, dan 100G.
Kecepatan yang didukung oleh switch jarak jauh, NIC, server, atau akselerator.
Antarmuka OSFP, QSFP112, QSFP56, atau QSFP28 di setiap ujungnya.
Persyaratan DAC, AOC, transceiver optik, atau patch serat optik.
Mode FEC dan perilaku negosiasi otomatis yang diperlukan
Versi Cumulus Linux yang berjalan di SN5610

Catat pemetaan port fisik ke logis.

Untuk setiap port sumber breakout, catat nomor OSFP fisik, nama antarmuka logis yang dihasilkan, perangkat yang terhubung, model kabel atau optik, kecepatan, FEC, dan MTU. Hal ini sangat penting untuk desain 8×100G karena port fisik yang berdekatan mungkin tidak tersedia.

Catatan konfigurasi juga harus mengidentifikasi apakah tautan tersebut digunakan untuk koneksi yang menghadap komputasi, uplink leaf-to-spine, jaringan penyimpanan, jalur manajemen, atau tautan antar-saklar. Mode breakout yang sama dapat cocok untuk satu peran dan tidak efisien untuk peran lainnya.

Butuh bantuan untuk memetakan port SN5610 Anda?

Kirimkan jumlah port Anda, versi Cumulus, dan persyaratan kabel.

Tinjau Opsi SN5610 Kirim Rencana Pelabuhan Anda

Mengonfigurasi Port Breakout di Cumulus Linux

Cumulus Linux 5.4 dan versi yang lebih baru menggunakan notasi breakout seperti 1x, 2x, 4x, dan 8xMode breakout dikonfigurasi secara terpisah dari kecepatan antarmuka logis yang dihasilkan.

Contoh NVUE: 800G menjadi 2×400G

Contoh berikut menggunakan swp1 sebagai port sumber fisik. Nama antarmuka sebenarnya harus sesuai dengan peta port SN5610.

nv set interface swp1 link breakout 2x nv set interface swp1s0 link speed 400G nv set interface swp1s1 link speed 400G nv set interface swp1s0-1 link state up nv config apply nv show interface swp1

Contoh NVUE: 800G menjadi 4×200G

nv set interface swp1 link breakout 4x nv set interface swp1s0-3 link speed 200G nv set interface swp1s0-3 link state up nv config apply nv show interface swp1

Contoh NVUE: 800G menjadi 8×100G

Antarmuka yang dihasilkan biasanya diberi nama dari swp1s0 melalui swp1s7Konfirmasikan status port yang berdekatan sebelum menggunakan konfigurasi ini di lingkungan produksi.

nv set interface swp1 link breakout 8x nv set interface swp1s0-7 link speed 100G nv set interface swp1s0-7 link state up nv config apply nv show interface swp1

metode ports.conf

Dengan metode konfigurasi Linux, tentukan bentuk breakout di /etc/cumulus/ports.confBerikut ini adalah contoh konfigurasi 8×100G. Ganti nomor port dengan nilai yang benar untuk pemetaan port SN5610 yang direncanakan.

1=8x 2=cacat 3=1x 4=1x

Kecepatan port dikonfigurasi secara terpisah di NVUE atau di /etc/network/interfacesSetelah mengedit file, validasi sintaks dan muat ulang layanan switching sesuai dengan versi Cumulus Linux yang terpasang dan prosedur perubahan produksi.

sudo /usr/cumulus/bin/validate-ports -f /etc/cumulus/ports.conf sudo systemctl reload switchd.service nv tampilkan antarmuka

Pada infrastruktur produksi, pastikan apakah prosedur pemuatan ulang menyebabkan dampak lalu lintas sementara pada mode konfigurasi yang dipilih. Jangan berasumsi bahwa prosedur perubahan yang sama berlaku untuk setiap rilis Cumulus Linux atau mode ACL.

Periksa pengaturan jalur saat terhubung ke platform lain.

Pada beberapa port QSFP-DD atau OSFP 8-jalur, Cumulus Linux menggunakan alokasi jalur default untuk breakout 4x. Jika platform lawan menggunakan lebar jalur yang berbeda, kedua ujung mungkin memerlukan konfigurasi jalur eksplisit. Periksa atribut port saat ini sebelum mengubah kecepatan saja.

nv show interface swp1 link nv show interface swp1s0 link sudo ethtool swp1s0

Batasan OSFP, Kabel Breakout, dan QSA

Kabel breakout harus sesuai dengan persyaratan port sumber, port target, jumlah jalur, pengkodean, kecepatan, jangkauan, dan FEC. Bentuk konektor saja tidak cukup sebagai bukti kompatibilitas.

Untuk pengadaan, bandingkan topologi yang dibutuhkan dengan yang tersedia. Kabel breakout dan DAC NVIDIA MellanoxKonfirmasikan apakah barang yang dipilih adalah rakitan 800G-ke-2×400G, 800G-ke-4×200G, atau 800G-ke-8×100G sebelum memesan.

Periksa kombinasi kabel dan optik.

Konektor sumber dan konektor target
Pemetaan jalur listrik
Kecepatan data yang didukung pada setiap antarmuka logis
DAC, AOC, atau jenis transceiver optik
Jenis serat, konektor, dan jangkauan maksimum.
Persyaratan FEC untuk kabel atau optik
Status dukungan pada rilis Cumulus Linux yang terpasang

Jangan berasumsi dukungan QSA bersifat umum.

Panduan QSA umum untuk menempatkan transceiver SFP di port QSFP tidak secara otomatis berlaku untuk port OSFP SN5610. NVIDIA mendokumentasikan perilaku QSA untuk antarmuka QSFP yang didukung, tetapi itu tidak boleh dianggap sebagai jaminan menyeluruh untuk operasi OSFP-ke-SFP.

Sebelum menggunakan adaptor, pastikan model adaptor yang tepat, mode port OSFP, optik SFP atau SFP28, versi Cumulus Linux, antarmuka rekan, dan kecepatan yang didukung. Konfigurasi QSA tidak boleh diperlakukan sebagai konfigurasi breakout kecuali dokumentasi platform secara eksplisit mendukung desain tersebut.

Cocokkan FEC di kedua ujungnya

Perilaku FEC bergantung pada jenis kabel, modul optik, kecepatan jalur, dan perangkat jarak jauh. Sebuah tautan mungkin tetap mati ketika kedua ujung menggunakan pengaturan FEC yang tidak kompatibel, atau mungkin menunjukkan peningkatan kesalahan setelah kembali aktif.

nv show interface swp1s0 link sudo ethtool swp1s0 | egrep 'FEC|auto'

Rencana SN5610 untuk Kain Daun-Tulang AI

Dalam arsitektur AI, perencanaan breakout harus mencakup tautan yang menghadap komputasi, uplink leaf-to-spine, redundansi, oversubscription, dan ekspansi di masa mendatang. Jumlah port logis yang lebih tinggi tidak secara otomatis menghasilkan desain yang lebih baik.

Persyaratan penyebaran	Cara mengevaluasi	Fokus perencanaan
Tautan tulang punggung atau inti berbandwidth tinggi	800g atau 2×400g	Optik, FEC, redundansi, dan jangkauan tautan
tautan naik dari daun ke tulang daun	400G atau 200G	Jumlah uplink, kelebihan permintaan, dan domain kegagalan
Koneksi akselerator atau NIC 200G	4×200G breakout	Konektor titik akhir, panjang kabel, dan pemetaan jalur
Server 100G atau koneksi lama	8×100G breakout	Pembatasan port yang berdekatan dan alokasi port logis
Migrasi dengan kecepatan campuran	800G, 400G, 200G, dan 100G	Port yang dicadangkan, optik, FEC, dan peta port yang terdokumentasi.

Untuk setiap leaf dan spine, catat port OSFP fisik, mode breakout, antarmuka logis, endpoint, model kabel atau optik, FEC, MTU, dan jalur failover yang diharapkan. Hal ini akan mempercepat penggantian dan pemecahan masalah di kemudian hari.

Arsitektur referensi NVIDIA menyediakan contoh koneksi kelas 400G dalam infrastruktur AI, tetapi topologi yang tepat masih bergantung pada platform akselerator, kecepatan NIC, ukuran fabric, model redundansi, dan target oversubscription. Gunakan Arsitektur referensi NVIDIA AI Factory sebagai referensi desain dan bukan sebagai rencana pelabuhan universal.

Pertahankan konsistensi MTU di sepanjang jalur.

Cumulus Linux umumnya menggunakan MTU 9216 byte pada antarmuka data-plane, tetapi MTU jalur efektif bergantung pada setiap antarmuka fisik, bond, bridge, VLAN, VXLAN, dan perangkat peer. Perubahan breakout saja tidak memerlukan MTU baru, tetapi jaringan AI dan overlay harus menggunakan rencana MTU end-to-end.

Memecahkan Masalah Port yang Hilang dan Kegagalan Tautan

Jika modul OSFP fisik terdeteksi tetapi antarmuka terpisah yang diharapkan tidak muncul, periksa mode breakout, pembatasan port yang berdekatan, kecepatan antarmuka terpisah, konfigurasi jalur, dan dukungan kabel atau optik sebelum mengubah MTU.

Gejala	Kemungkinan penyebab	Pemeriksaan pertama
Antarmuka terpisah tidak muncul	Mode breakout tidak diterapkan atau pemetaan port salah.	`nv show interface`, `cat /etc/cumulus/ports.conf`
Pelabuhan di sebelahnya sedang mati.	Batasan breakout 8×100G	Periksa alokasi port sumber dan port yang berdekatan.
Perangkat optik terdeteksi tetapi koneksi terputus.	Kecepatan, kabel, pemetaan jalur, atau FEC yang salah	`nv show platform transceiver`, `ethtool`
Tautan itu muncul lalu berkedut	Masalah FEC, kualitas kabel, atau negosiasi antar rekanan	Bandingkan FEC dan penghitung kesalahan di kedua ujung.
Paket data berukuran besar gagal	Ketidaksesuaian MTU atau overhead overlay	Periksa MTU fisik, bond, bridge, VLAN, VXLAN, dan peer.

Verifikasi status breakout dan transceiver.

cat /etc/cumulus/ports.conf nv tampilkan antarmuka nv show interface swp1 nv show interface swp1s0 nv menampilkan transceiver platform ip link show

Periksa kecepatan tautan dan FEC.

Bandingkan nilai operasional dan nilai terapan untuk antarmuka terpisah. Jika kecepatannya benar tetapi tautan tetap mati, bandingkan mode FEC dan jumlah jalur dengan perangkat lawan.

nv show interface swp1s0 link sudo ethtool swp1s0 sudo ethtool -m swp1s0

Periksa MTU hanya setelah tautan fisik sudah benar.

Gunakan perintah berikut untuk mengkonfirmasi MTU yang telah dikonfigurasi dan beroperasi. Jika tautan fisik, kecepatan, FEC, dan transceiver sudah benar, bandingkan MTU di seluruh jalur penerusan.

nv show interface swp1s0 ip link show dev swp1s0 nv show interface swp1s0 link mtu

Pertanyaan yang Sering Diajukan

Q1 Bisakah setiap port SN5610 800G dibagi menjadi 2×400G?

Matriks SN5610 yang didukung menyediakan hingga 128×400G dari 64 port sumber OSFP, yang setara dengan 2×400G per port sumber.

Q2 Bisakah SN5610 menyediakan 256 port 100G?

Ya, tetapi mode 100G menggunakan 32 port sumber OSFP yang dibagi menjadi 8×100G. Port OSFP yang berdekatan harus dinonaktifkan untuk setiap port sumber breakout, sehingga alokasi port fisik harus memperhitungkan batasan ini.

Q3 Apakah konfigurasi breakout secara otomatis mengatur kecepatan antarmuka?

Tidak. Breakout menentukan bagaimana port fisik dibagi. Antarmuka logis yang dihasilkan mungkin memerlukan pengaturan kecepatan, jalur, negosiasi otomatis, dan FEC secara eksplisit.

Q4 Bisakah QSA generik digunakan pada port OSFP SN5610?

Jangan berasumsi bahwa QSA QSFP-ke-SFP generik didukung pada port OSFP SN5610. Konfirmasikan adaptor, optik, mode port, rilis Cumulus Linux, dan antarmuka rekanan yang tepat sebelum membeli.

Q5 Mengapa tautan breakout tetap mati setelah port muncul?

Pemeriksaan yang paling umum adalah kecepatan antar perangkat, pemetaan jalur, FEC, arah kabel, dukungan optik, dan perilaku negosiasi otomatis. Bandingkan nilai operasional di kedua ujung sebelum mengubah MTU.

Q6 Informasi apa yang dibutuhkan untuk meninjau desain breakout SN5610?

Berikan jumlah port 800G, 400G, 200G, dan 100G yang dibutuhkan, detail sistem SN5610, versi Cumulus Linux, model perangkat rekanan, model kabel atau optik, persyaratan jangkauan, dan tanggal penerapan yang ditargetkan.

Takeaway Terakhir

SN5610 dapat beroperasi sebagai switch 800G asli atau sebagai platform 400G, 200G, atau 100G dengan kepadatan tinggi. Detail desain utama yang perlu diingat adalah bahwa mode 8×100G menggunakan 32 port sumber OSFP dan memerlukan pembatasan port yang berdekatan untuk disertakan dalam rencana port.

Implementasi yang andal harus mendokumentasikan mode breakout, nama antarmuka logis, model kabel atau optik, konfigurasi jalur, kecepatan, FEC, dan MTU secara bersamaan. Jika Anda memerlukan bantuan dalam memvalidasi peta port atau mencocokkan optik dan kabel yang dibutuhkan, Kirimkan persyaratan SN5610 Anda untuk ditinjau..