Bài viết theo thẻ "InfiniBand"

1. Tối ưu hóa các cụm suy luận AI: Bộ điều hợp MCX7 AAS-NEAT
   Selene Công

   25
   Khi nhu cầu về Mô hình Ngôn ngữ Lớn (LLM) và Trí tuệ Nhân tạo tạo sinh tăng mạnh tại Singapore và khu vực Châu Á Thái Bình Dương, các nhà cung cấp dịch vụ GPU (GPUaaS) và các kỹ sư AI đang đối mặt với một thách thức quan trọng: tốc độ của cụm suy luận chỉ nhanh bằng tốc độ mạng. Độ trễ vài micro giây trong việc truyền bộ nhớ đệm KV hoặc đồng bộ hóa...
2. Cách lựa chọn giữa NVIDIA InfiniBand và Ethernet cho việc triển khai cơ sở hạ tầng AI
   Selene Công

   33
   Khi các dự án cơ sở hạ tầng AI chuyển từ giai đoạn ý tưởng sang triển khai, một trong những quyết định thiết kế quan trọng nhất là liệu mạng nên sử dụng kiến ​​trúc InfiniBand hay Ethernet. Đây không chỉ là vấn đề lựa chọn phần cứng. Nó ảnh hưởng đến khả năng mở rộng của môi trường, cách lập kế hoạch kiến ​​trúc, ...
3. Làm thế nào để đơn giản hóa việc mua sắm cơ sở hạ tầng AI toàn cầu với chuỗi cung ứng mạng hiệu suất cao trọn gói
   Selene Công

   18
   ...
4. Khắc phục sự cố InfiniBand Subnet Manager Failover High-Availability OpenSM Architecture cho các cụm không được quản lý MQM8790
   Selene Công

   18
   Tóm tắt nhanh: Trong các triển khai dựa trên các switch MQM8790 không được quản lý, toàn bộ mặt phẳng điều khiển mạng InfiniBand phụ thuộc vào Trình quản lý mạng con (SM) bên ngoài. Việc triển khai kiến ​​trúc OpenSM hoạt động/dự phòng có tính khả dụng cao với các giá trị sm_priority riêng biệt giúp ngăn ngừa sự cố mất kết nối toàn bộ cụm trong quá trình...
5. Card mạng PCIe dành cho máy chủ: Số làn PCIe, tốc độ, kiểu dáng và khả năng tương thích
   Selene Công

   18
   Tóm tắt nhanh: Việc lựa chọn card mạng PCIe không chỉ đơn thuần là việc khớp tốc độ mạng được quảng cáo với khe cắm PCIe có sẵn. Một lựa chọn đáng tin cậy cũng phải phù hợp với thế hệ PCIe và độ rộng làn, cách đấu dây khe cắm máy chủ, loại cổng, yêu cầu Ethernet hoặc InfiniBand, ...