Le nuove TPU di Google stanno raggiungendo i livelli di Nvidia

In breve:

Questi chip offrono una potenza fino a dieci volte superiore rispetto alla generazione precedente e possono essere combinati in enormi cluster composti da migliaia di unità. Inoltre, eguagliano i famosi Blackwell di Nvidia in prestazione di calcolo e capacità di memoria. Tra i primi clienti ci sarà Anthropic, che userà fino a un milione di TPU Google per i futuri modelli Claude.

Riassunto completo:

Google sta rendendo disponibili gli acceleratori Ironwood (TPU v7), la sua ultima generazione di Tensor Processing Units, che offrono un salto significativo nelle prestazioni rispetto alle generazioni precedenti.
Questi nuovi TPU vantano prestazioni di calcolo e capacità di memoria comparabili alle GPU Blackwell di Nvidia, come le B200 e GB200/300, eguagliandone le specifiche chiave come i petaFLOPS e la larghezza di banda della memoria HBM3e.
Storicamente, i TPU di Google compensavano una minore potenza bruta con la capacità di scalare in "pod" contenenti centinaia o migliaia di chip; Ironwood è ora il TPU più potente di Google, superando di 10 volte il TPU v5p e di 4 volte il TPU v6e.
La scalabilità è il punto di forza principale di Google, che offre i chip Ironwood in pod da 256 a 9.216 unità, con la possibilità di collegare più pod per creare cluster che potrebbero raggiungere centinaia di migliaia di acceleratori, superando le configurazioni Nvidia come le NVL72.
Google implementa una topologia a toro 3D per la comunicazione chip-to-chip all'interno dei pod, che elimina la necessità di costosi switch a pacchetto e riduce la latenza, permettendo connessioni dirette tra i chip.
Per la gestione delle connessioni, Google utilizza switch ottici a circuito (OCS), che consentono di riconfigurare dinamicamente le connessioni tra i TPU, garantendo flessibilità e una maggiore tolleranza ai guasti senza introdurre latenza aggiuntiva.
Grandi sviluppatori di modelli di intelligenza artificiale, come Anthropic, hanno già annunciato l'intenzione di utilizzare fino a un milione di TPU di Google per addestrare e servire i loro modelli Claude di prossima generazione, evidenziando la crescente competitività di questi acceleratori rispetto alle soluzioni Nvidia.

Questo testo è un riassunto del seguente articolo (eng):