Bộ chuyển mạch NVIDIA SN5610 Được thiết kế cho các kiến trúc Ethernet mật độ cao, bao gồm mạng AI và trung tâm dữ liệu cần kết nối các thiết bị 800G, 400G, 200G và 100G trên cùng một nền tảng. Hướng dẫn này giải thích cách thức hoạt động của các chế độ phân tách, cách cấu hình chúng với Cumulus Linux và những điều cần kiểm tra khi giao diện hoặc liên kết phân tách không hoạt động.
Tùy chọn đột phá SN5610 800G
SN5610 hỗ trợ 64 giao diện OSFP 800GbE. Tùy thuộc vào tốc độ thiết bị đầu cuối yêu cầu, các cổng vật lý có thể được sử dụng nguyên bản hoặc chia thành nhiều giao diện logic.
| chế độ vật lý | Số cổng logic trên mỗi OSFP | Tối đa trên SN5610 | Hạn chế chính |
|---|---|---|---|
| 800G | 1×800G | Cổng 64 | Hoạt động cổng gốc |
| 400G | 2×400G | Cổng 128 | Yêu cầu thiết kế đầu ra hai chiều được hỗ trợ. |
| 200G | 4×200G | Cổng 256 | Yêu cầu thiết kế đầu ra bốn chiều được hỗ trợ. |
| 100G | 8×100G | Cổng 256 | Sử dụng 32 cổng nguồn OSFP và yêu cầu cổng liền kề phải được vô hiệu hóa. |
Chế độ 100G cần được chú ý đặc biệt. Nó không chỉ đơn giản là chuyển đổi tất cả 64 cổng OSFP vật lý thành tám cổng logic. Hạn chế về cổng liền kề làm giảm số lượng cổng nguồn vật lý có sẵn cho cấu hình này.
SN5610 hỗ trợ cả mã hóa PAM4 và NRZ. Hoạt động ở tốc độ thấp hơn có thể sử dụng mã hóa NRZ, trong khi hành vi làn truyền cụ thể phụ thuộc vào chế độ cổng, bộ thu phát, cáp chuyển đổi và thiết bị đối tác. Hãy xác nhận ma trận nền tảng hiện tại trước khi hoàn tất sơ đồ cổng.
Đối với các kết nối 800G gốc, hãy xem xét yếu tố hình thức và phạm vi quang học cần thiết trước khi lựa chọn. Bộ thu phát OSFP 800GMột bộ thu phát đáp ứng tốc độ truyền dữ liệu được quảng cáo vẫn có thể không phù hợp với cấu trúc kết nối hoặc giao diện từ xa đã chọn.
Những điều cần xác nhận trước khi cấu hình
Việc lập kế hoạch phân nhánh mạng nên bắt đầu từ các yêu cầu của điểm cuối. Đừng chọn cáp trước rồi mới cố gắng điều chỉnh thiết kế mạng sao cho phù hợp.
Xác nhận hình dạng cổng cần thiết
- Số lượng kết nối 800G, 400G, 200G và 100G cần thiết
- Tốc độ được hỗ trợ bởi bộ chuyển mạch từ xa, card mạng, máy chủ hoặc bộ tăng tốc.
- Giao diện OSFP, QSFP112, QSFP56 hoặc QSFP28 ở mỗi đầu.
- Các yêu cầu về DAC, AOC, bộ thu phát quang hoặc cáp quang
- Chế độ FEC bắt buộc và hành vi tự đàm phán
- Phiên bản Cumulus Linux đang chạy trên SN5610
Ghi lại sơ đồ cổng vật lý-logic.
Đối với mỗi cổng nguồn breakout, hãy ghi lại số hiệu OSFP vật lý, tên giao diện logic kết quả, thiết bị được kết nối, kiểu cáp hoặc quang, tốc độ, FEC và MTU. Điều này đặc biệt quan trọng đối với các thiết kế 8×100G vì cổng vật lý liền kề có thể không khả dụng.
Bản ghi cấu hình cũng cần xác định xem liên kết được sử dụng cho kết nối hướng về điện toán, đường lên từ lá đến trục chính, mạng lưu trữ, đường dẫn quản lý hay liên kết giữa các thiết bị chuyển mạch. Chế độ phân tách tương tự có thể phù hợp với vai trò này nhưng lại không hiệu quả với vai trò khác.
Vui lòng gửi số lượng cổng, phiên bản Cumulus và yêu cầu về cáp của bạn.
Cấu hình cổng Breakout trong Cumulus Linux
Cumulus Linux 5.4 trở lên sử dụng ký hiệu phân tách như sau: 1x, 2x, 4xvà 8xChế độ phân tách được cấu hình riêng biệt với tốc độ của các giao diện logic kết quả.
Ví dụ về NVUE: 800G đến 2×400G
Ví dụ sau đây sử dụng swp1 là cổng nguồn vật lý. Tên giao diện thực tế phải khớp với sơ đồ cổng SN5610.
Ví dụ về NVUE: 800G đến 4×200G
Ví dụ về NVUE: 800G đến 8×100G
Các giao diện kết quả thường được đặt tên như sau: swp1s0 thông qua swp1s7Hãy xác nhận trạng thái cổng liền kề trước khi sử dụng cấu hình này trong môi trường sản xuất.
phương thức ports.conf
Với phương pháp cấu hình Linux, hãy xác định hình dạng đường dẫn tín hiệu trong /etc/cumulus/ports.confSau đây là cấu hình minh họa 8×100G. Hãy thay thế các số cổng bằng các giá trị chính xác cho sơ đồ cổng SN5610 dự kiến.
Tốc độ cổng được cấu hình riêng trong NVUE hoặc trong... /etc/network/interfacesSau khi chỉnh sửa tập tin, hãy kiểm tra cú pháp và tải lại dịch vụ chuyển mạch theo phiên bản Cumulus Linux đã cài đặt và quy trình thay đổi sản xuất.
Trên hệ thống mạng đang hoạt động, hãy xác nhận xem quy trình tải lại có gây ảnh hưởng tạm thời đến lưu lượng truy cập ở chế độ cấu hình đã chọn hay không. Không nên cho rằng cùng một quy trình thay đổi áp dụng cho mọi phiên bản Cumulus Linux hoặc chế độ ACL.
Kiểm tra cài đặt làn đường khi kết nối với nền tảng khác.
Trên một số cổng QSFP-DD hoặc OSFP 8 làn, Cumulus Linux sử dụng phân bổ làn mặc định cho cấu hình breakout 4x. Nếu nền tảng đối tác sử dụng độ rộng làn khác, cả hai đầu có thể cần cấu hình làn rõ ràng. Hãy kiểm tra các thuộc tính cổng hiện tại trước khi chỉ thay đổi tốc độ.
Giới hạn của OSFP, cáp chuyển đổi và QSA
Cáp chuyển đổi phải phù hợp với cổng nguồn, cổng đích, số làn, mã hóa, tốc độ, phạm vi và các yêu cầu FEC. Chỉ riêng hình dạng đầu nối không đủ để chứng minh tính tương thích.
Để phục vụ việc mua sắm, hãy so sánh cấu trúc mạng yêu cầu với cấu trúc mạng hiện có. Cáp chuyển đổi và cáp DAC NVIDIA MellanoxVui lòng xác nhận xem mặt hàng đã chọn là loại lắp ráp 800G sang 2×400G, 800G sang 4×200G, hoặc 800G sang 8×100G trước khi đặt hàng.
Kiểm tra sự kết hợp giữa cáp và cáp quang.
- Đầu nối nguồn và đầu nối đích
- Lập bản đồ làn đường điện
- Tốc độ dữ liệu được hỗ trợ trên mọi giao diện logic
- DAC, AOC, hoặc loại bộ thu phát quang
- Loại sợi quang, đầu nối và phạm vi tối đa
- Yêu cầu FEC đối với cáp hoặc cáp quang
- Trạng thái hỗ trợ cho bản phát hành Cumulus Linux đã cài đặt
Đừng cho rằng QSA hỗ trợ chung chung.
Hướng dẫn chung của QSA về việc đặt bộ thu phát SFP vào cổng QSFP không tự động áp dụng cho cổng OSFP của SN5610. Tài liệu của NVIDIA mô tả hành vi của QSA đối với các giao diện QSFP được hỗ trợ, nhưng điều đó không nên được coi là sự đảm bảo tuyệt đối cho hoạt động chuyển đổi từ OSFP sang SFP.
Trước khi sử dụng bộ chuyển đổi, hãy xác nhận chính xác kiểu bộ chuyển đổi, chế độ cổng OSFP, quang học SFP hay SFP28, phiên bản Cumulus Linux, giao diện đối tác và tốc độ được hỗ trợ. Cấu hình QSA không nên được coi là cấu hình breakout trừ khi tài liệu nền tảng hỗ trợ rõ ràng thiết kế đó.
So khớp FEC ở cả hai đầu
Hành vi của FEC phụ thuộc vào loại cáp, mô-đun quang, tốc độ đường truyền và thiết bị từ xa. Kết nối có thể vẫn bị gián đoạn khi hai đầu sử dụng cài đặt FEC không tương thích, hoặc có thể xuất hiện lỗi ngày càng tăng sau khi đã được thiết lập lại.
Bản vẽ SN5610 cho vải dạng lá AI.
Trong kiến trúc mạng AI, việc lập kế hoạch phân bổ cổng cần bao gồm các liên kết hướng đến máy tính, các liên kết từ lá đến trục chính, tính dự phòng, khả năng vượt tải và khả năng mở rộng trong tương lai. Số lượng cổng logic cao hơn không tự động tạo ra thiết kế tốt hơn.
| Yêu cầu triển khai | Chế độ đánh giá | Tập trung lập kế hoạch |
|---|---|---|
| Các liên kết trục hoặc lõi băng thông cao | 800g hoặc 2×400g | Quang học, FEC, dự phòng và phạm vi liên kết |
| Liên kết từ lá đến trục chính | 400G hoặc 200G | Số lượng đường truyền lên, tình trạng quá tải và các miền lỗi |
| Kết nối bộ tăng tốc 200G hoặc NIC | Bộ chia tín hiệu 4×200G | Đầu nối điểm cuối, chiều dài cáp và sơ đồ làn đường |
| Máy chủ 100G hoặc các kết nối cũ | Bộ chia tín hiệu 8×100G | Hạn chế cổng liền kề và phân bổ cổng logic |
| di cư tốc độ hỗn hợp | 800G, 400G, 200G và 100G | Các cổng dành riêng, thiết bị quang học, FEC và sơ đồ cổng được lập thành văn bản. |
Đối với mỗi leaf và spine, hãy ghi lại thông tin về cổng OSFP vật lý, chế độ breakout, giao diện logic, điểm cuối, kiểu cáp hoặc quang, FEC, MTU và đường dẫn chuyển đổi dự phòng. Điều này giúp việc thay thế và khắc phục sự cố sau này nhanh hơn nhiều.
Các kiến trúc tham chiếu của NVIDIA cung cấp các ví dụ về kết nối tốc độ 400G trong cơ sở hạ tầng AI, nhưng cấu trúc liên kết chính xác vẫn phụ thuộc vào nền tảng bộ tăng tốc, tốc độ NIC, kích thước mạng, mô hình dự phòng và mục tiêu vượt mức. Sử dụng... Kiến trúc tham chiếu NVIDIA AI Factory Nên dùng nó như một tài liệu tham khảo thiết kế hơn là một bản quy hoạch cảng chung.
Giữ cho MTU nhất quán trên toàn bộ đường dẫn.
Cumulus Linux thường sử dụng MTU 9216 byte trên các giao diện dữ liệu, nhưng MTU đường dẫn hiệu quả phụ thuộc vào từng giao diện vật lý, liên kết, cầu nối, VLAN, VXLAN và thiết bị ngang hàng. Việc thay đổi đường truyền không tự nó yêu cầu MTU mới, nhưng mạng AI và mạng lớp phủ phải sử dụng kế hoạch MTU đầu cuối.
Khắc phục sự cố thiếu cổng và lỗi kết nối
Nếu mô-đun OSFP vật lý được phát hiện nhưng các giao diện chia tách như mong đợi không xuất hiện, hãy kiểm tra chế độ chia tách, hạn chế cổng liền kề, tốc độ giao diện chia tách, cấu hình làn và hỗ trợ cáp hoặc quang trước khi thay đổi MTU.
| Triệu chứng | Nguyên nhân có thể | Kiểm tra đầu tiên |
|---|---|---|
| Giao diện chia tách không xuất hiện | Chế độ phân tách chưa được áp dụng hoặc sơ đồ cổng không chính xác. | nv show interface, cat /etc/cumulus/ports.conf |
| Cảng kế bên đang bị hư hỏng. | Giới hạn đột phá 8×100G | Kiểm tra cổng nguồn và phân bổ cổng liền kề |
| Thiết bị quang học đã được nhận diện nhưng kết nối bị gián đoạn. | Tốc độ sai, cáp sai, bản đồ làn đường sai hoặc FEC | nv show platform transceiver, ethtool |
| Đường dẫn hiện lên rồi lại nhấp nháy. | FEC, chất lượng cáp hoặc vấn đề đàm phán ngang hàng | So sánh bộ đếm FEC và bộ đếm lỗi ở cả hai đầu. |
| Gói dữ liệu lớn bị lỗi | Lỗi không khớp MTU hoặc chi phí phát sinh do lớp phủ | Kiểm tra MTU vật lý, liên kết, cầu nối, VLAN, VXLAN và ngang hàng. |
Kiểm tra trạng thái của mạch chia và bộ thu phát.
Kiểm tra tốc độ liên kết và FEC
So sánh các giá trị vận hành và giá trị áp dụng cho giao diện phân tách. Nếu tốc độ chính xác nhưng liên kết vẫn bị gián đoạn, hãy so sánh chế độ FEC và số làn với thiết bị đối tác.
Chỉ kiểm tra MTU sau khi liên kết vật lý đã được thiết lập chính xác.
Sử dụng các lệnh sau để xác nhận MTU đã cấu hình và đang hoạt động. Nếu liên kết vật lý, tốc độ, FEC và bộ thu phát đều chính xác, hãy so sánh MTU trên toàn bộ đường dẫn chuyển tiếp.
Câu Hỏi Thường Gặp
Takeaway cuối cùng
SN5610 có thể hoạt động như một bộ chuyển mạch 800G thông thường hoặc như một nền tảng 400G, 200G hoặc 100G mật độ cao. Chi tiết thiết kế chính cần nhớ là chế độ 8×100G sử dụng 32 cổng nguồn OSFP và yêu cầu phải bao gồm hạn chế cổng liền kề trong kế hoạch cổng.
Một hệ thống triển khai đáng tin cậy cần ghi lại đầy đủ chế độ phân luồng, tên giao diện logic, kiểu cáp hoặc quang, cấu hình làn, tốc độ, FEC và MTU. Nếu bạn cần trợ giúp xác thực sơ đồ cổng hoặc ghép nối các thiết bị quang và cáp cần thiết, Hãy gửi yêu cầu SN5610 của bạn để được xem xét..