Google představil čipy TPU 8: Trojnásobný výkon urychlí vývoj umělé inteligence a sníží náklady

Google představil osmou generaci svých vlastních čipů Tensor Processing Units (TPU), které jsou navrženy speciálně pro trénink a inferenci modelů umělé inteligence.

Google představil osmou generaci svých vlastních čipů Tensor Processing Units (TPU), které jsou navrženy speciálně pro trénink a inferenci modelů umělé inteligence. Tyto nové procesory, pojmenované TPU 8t a TPU 8i, byly oznámeny na konferenci Google Cloud Next a mají pohánět platformu Google AI Hypercomputer, podporující širokou škálu úloh od trénování nejnovějších modelů až po provozování AI agentů v produkčním prostředí.

Čipy TPU jsou interní akcelerátory společnosti Google, které již léta pohánějí její systémy, včetně modelu Gemini. Nyní Google rozšiřuje dostupnost tohoto hardwaru i pro své zákazníky, kteří hledají alternativy k infrastruktuře umělé inteligence dominované společností Nvidia. Oba typy čipů budou obecně dostupné později v tomto roce.

TPU 8t je optimalizován pro trénování rozsáhlých AI modelů. Google uvádí, že jediný superpod s těmito čipy může škálovat až na 9 600 čipů a poskytovat výpočetní výkon 121 exaflopů. Oproti předchozí generaci Ironwood nabízí TPU 8t téměř trojnásobný výpočetní výkon na pod. Tréninkové systémy byly také vylepšeny rychlejším přístupem k úložišti a modernizovanou sítí, aby se zajistilo maximální využití čipů a minimalizovaly prostoje způsobené čekáním na data. Google uvádí, že TPU 8t dosahuje více než 97% „goodput“ – měřítka produktivního výpočetního času.

TPU 8i se zaměřuje na inferenci, což je fáze, kdy trénované AI modely odpovídají na dotazy, spouštějí nástroje a pohánějí softwarové agenty. Tento čip obsahuje 288 GB vysokorychlostní paměti a 384 MB on-chip SRAM, což pomáhá udržet aktivní modelová data blíže k procesoru pro rychlejší odezvu. TPU 8i také využívá procesory Google Axion založené na architektuře Arm a vylepšenou propustnost propojení pro modely typu Mixture of Experts (MoE), které aktivují pouze části modelu najednou, čímž snižují náklady a zároveň zvyšují výkon. Google uvádí, že TPU 8i poskytuje o 80 % lepší výkon na dolar než předchozí generace, což zákazníkům umožňuje zvládnout téměř dvojnásobnou zátěž za stejnou cenu.

Uvedení těchto čipů podtrhuje, jak se infrastruktura umělé inteligence posouvá od univerzálních GPU k specializovaným čipům vyladěným pro různé pracovní zátěže. Google zdůrazňuje, že strategie dvou čipů byla formována vzestupem AI agentů, kteří potřebují systémy schopné uvažovat o úkolech, spouštět pracovní postupy a opakovaně interagovat s nástroji a dalšími modely. Oba čipy také nabízejí až dvojnásobně lepší výkon na watt než Ironwood a využívají čtvrtou generaci kapalinového chlazení pro podporu vyšší výpočetní hustoty při kontrole spotřeby energie. Google tímto krokem posiluje svou snahu konkurovat Nvidii v oblasti AI hardwaru, a to kombinací vlastního křemíku, sítí, softwarových frameworků a cloudových služeb. Čipy TPU 8t a TPU 8i budou podporovat frameworky jako JAX, PyTorch, SGLang a vLLM, což vývojářům umožní spouštět stávající AI úlohy bez větších přepisů softwaru nebo migračních překážek.