Bài viết theo thẻ "Mạng lưới AI"

1. Liệu card mạng NVIDIA MCX755106AS-HEAT ConnectX-7 SmartNIC có đáng giá cho máy chủ AI?
   Selene Công

   18
   Khi bạn thực hiện quá trình huấn luyện LLM đa nút trên một cụm máy chủ GPU H100 hoặc A100 và bắt đầu nhận thấy hiện tượng tắc nghẽn epoch huấn luyện đột ngột, không rõ nguyên nhân, thì thủ phạm hiếm khi là phần cứng tính toán. Thay vào đó, hầu hết các trường hợp đều là do tắc nghẽn mạng: mất gói dữ liệu dưới tác động nặng nề của RoCEv2 (RDMA...).