Artikel mit dem Tag "InfiniBand"

1. Optimierung von KI-Inferenzclustern: MCX7 AAS-NEAT-Adapter
   Selene Gong

   25
   Da die Nachfrage nach großen Sprachmodellen (LLMs) und generativer KI in Singapur und im asiatisch-pazifischen Raum rasant steigt, stehen GPU-as-a-Service-Anbieter (GPUaaS) und KI-Ingenieure vor einer entscheidenden Herausforderung: Die Geschwindigkeit Ihres Inferenzclusters hängt allein von seinem Netzwerk ab. Verzögerungen im Mikrosekundenbereich beim Übertragen von KV-Caches oder beim Synchronisieren ...
2. Wie man zwischen NVIDIA InfiniBand und Ethernet für die Bereitstellung von KI-Infrastrukturen wählt
   Selene Gong

   33
   Wenn KI-Infrastrukturprojekte von der Konzeption zur Implementierung übergehen, ist eine der wichtigsten Designentscheidungen die Wahl zwischen einem InfiniBand- und einem Ethernet-Netzwerk. Dies ist nicht nur eine Frage der Hardware. Sie beeinflusst die Skalierbarkeit der Umgebung, die Architekturplanung usw.
3. Wie sich die globale Beschaffung von KI-Infrastruktur durch eine zentrale, leistungsstarke Netzwerk-Lieferkette vereinfachen lässt
   Selene Gong

   18
   ...
4. Fehlerbehebung bei InfiniBand Subnet Manager Failover High-Availability OpenSM Architecture für MQM8790 Unmanaged Clusters
   Selene Gong

   18
   Bei Bereitstellungen mit unmanaged MQM8790-Switches basiert die gesamte InfiniBand-Fabric-Steuerungsebene auf einem externen Subnet Manager (SM). Die Implementierung einer hochverfügbaren Active/Standby-OpenSM-Architektur mit unterschiedlichen sm_priority-Werten verhindert vollständige Clusterausfälle während …
5. PCIe-Netzwerkkarte für Server: PCIe-Lanes, Geschwindigkeit, Formfaktor und Kompatibilität
   Selene Gong

   18
   Kurz gesagt: Die Auswahl einer PCIe-Netzwerkkarte ist nicht einfach nur eine Frage der Übereinstimmung von beworbener Netzwerkgeschwindigkeit und verfügbarem PCIe-Steckplatz. Eine zuverlässige Wahl muss auch PCIe-Generation und Lane-Breite, Server-Steckplatzverdrahtung, Porttyp sowie Ethernet- oder InfiniBand-Anforderungen berücksichtigen.