Articoli con il tag "InfiniBand"

1. Ottimizzazione dei cluster di inferenza AI: adattatori MCX7 AAS-NEAT
   Selene Gong

   25
   Con la crescente domanda di Large Language Models (LLM) e di intelligenza artificiale generativa a Singapore e nella regione APAC, i fornitori di GPU-as-a-Service (GPUaaS) e gli ingegneri di IA si trovano ad affrontare una sfida cruciale: la velocità del cluster di inferenza dipende esclusivamente dalla velocità della rete. Ritardi di microsecondi nel trasferimento delle cache KV o nella sincronizzazione...
2. Come scegliere tra NVIDIA InfiniBand ed Ethernet per la distribuzione di infrastrutture di intelligenza artificiale
   Selene Gong

   33
   Quando i progetti di infrastruttura AI passano dalla fase concettuale a quella di implementazione, una delle decisioni di progettazione più importanti riguarda la scelta tra un percorso InfiniBand e un percorso Ethernet per la rete. Non si tratta solo di una preferenza hardware, ma influisce sulla scalabilità dell'ambiente, sulla pianificazione dell'architettura e così via.
3. Come semplificare l'approvvigionamento globale di infrastrutture AI con una catena di fornitura di reti ad alte prestazioni integrata.
   Selene Gong

   18
   ...
4. Risoluzione dei problemi di failover di InfiniBand Subnet Manager Architettura OpenSM ad alta disponibilità per cluster non gestiti MQM8790
   Selene Gong

   18
   In breve, nelle implementazioni basate su switch MQM8790 non gestiti, l'intero piano di controllo della struttura InfiniBand si basa su un Subnet Manager (SM) esterno. L'implementazione di un'architettura OpenSM attivo/standby ad alta disponibilità con valori sm_priority distinti previene interruzioni complete del cluster durante...
5. Scheda di rete PCIe per server: linee PCIe, velocità, fattore di forma e compatibilità
   Selene Gong

   18
   In breve, la scelta di una scheda di rete PCIe non si limita alla semplice corrispondenza tra la velocità di rete pubblicizzata e uno slot PCIe disponibile. Una scelta affidabile deve anche essere compatibile con la generazione PCIe e la larghezza delle corsie, il cablaggio dello slot del server, il tipo di porta, i requisiti Ethernet o InfiniBand, ...