Con l'aumentare delle dimensioni dei cluster GPU, che raggiungono centinaia o migliaia di acceleratori, il disallineamento tra infrastruttura di rete, throughput di archiviazione e densità di calcolo diventa il principale ostacolo a prestazioni di intelligenza artificiale utilizzabili. I colli di bottiglia nel traffico est-ovest, una progettazione leaf-spine non ottimale o nodi di archiviazione sottodimensionati erodono rapidamente l'utilizzo delle GPU e fanno lievitare i costi di addestramento, anche in presenza di switch, componenti ottici e hardware di archiviazione di alta qualità.

Questa sezione illustra come approcciarsi alla progettazione end-to-end di un cluster AI: come dimensionare e posizionare gli switch del data center per le architetture GPU leaf-spine, come allineare i nodi di storage scalabili con i carichi di lavoro di training e inferenza e come scegliere le ottiche e i cavi a 400G per i collegamenti intra-cluster. Le seguenti linee guida aiutano a tradurre gli obiettivi di prestazioni, scalabilità e TCO in scelte concrete di topologia, nodi e interconnessioni.