Bài viết theo thẻ "GPUDirect RDMA"

1. Hướng dẫn triển khai và tương thích NVIDIA ConnectX-7 MCX755106AS-HEAT
   Selene Công

   18
   Khi bạn điều phối một cụm GPU đa nút để huấn luyện Mô hình Ngôn ngữ Lớn (LLM) và nhận thấy hiện tượng tắc nghẽn đột ngột trong quá trình huấn luyện hoặc mất gói dữ liệu nhỏ trong các giai đoạn giao tiếp tập thể All-Reduce, thì điểm nghẽn hiếm khi nằm ở chính GPU mà hầu như luôn là giao diện mạng...
2. Liệu card mạng NVIDIA MCX755106AS-HEAT ConnectX-7 SmartNIC có đáng giá cho máy chủ AI?
   Selene Công

   18
   Khi bạn thực hiện quá trình huấn luyện LLM đa nút trên một cụm máy chủ GPU H100 hoặc A100 và bắt đầu nhận thấy hiện tượng tắc nghẽn epoch huấn luyện đột ngột, không rõ nguyên nhân, thì thủ phạm hiếm khi là phần cứng tính toán. Thay vào đó, hầu hết các trường hợp đều là do tắc nghẽn mạng: mất gói dữ liệu dưới tác động nặng nề của RoCEv2 (RDMA...).