Amin Vahdat, Leiter des KI- und Infrastrukturteams bei Google, erläutert die strategische Neuausrichtung der Tensor Processing Units (TPUs). Angesichts der sich wandelnden Anforderungen von KI-Workloads hat Google die achte TPU-Generation in spezialisierte Varianten aufgeteilt: die TPU 8t für das Training und die TPU 8i für die Inferenz. Die TPU 8t erreicht 121 ExaFlops pro Pod und hält einen Goodput von 97 Prozent, während die TPU 8i den On-Chip-SRAM verdreifacht und durch eine neue Collectives Acceleration Engine die interne Latenz um bis zu Faktor fünf senkt. Diese Spezialisierung wurde notwendig, da die Anforderungen von Training und Echtzeit-KI-Agenten auseinanderlaufen und spezifische Hardwarelösungen erfordern, um Energie- und Skalierungsprobleme zu bewältigen, an denen generische Infrastruktur zunehmend scheitert.