Eszközök · The Decoder ·
A Google két új TPU-változatot mutatott be a nyolcadik generációban
A Google a TPU 8tx és a TPU 8i Max rendszerrel bővítette nyolcadik generációs AI-gyorsítóit, és egy év alatt először szállított négy TPU-rendszert.
A Google két új rendszert vezetett be nyolcadik generációs AI-gyorsítócsaládjába: a TPU 8tx-et bizalmas adatok feldolgozására, a TPU 8i Max-ot pedig memóriaigényes feladatokra. Mindkettő meglévő szilíciumra épül, a vállalat tehát új konfigurációkat, eltérő csomagolást, hálózatot és memórialeosztást kínál, nem új chipgenerációt. A Google szerint ezzel először fordul elő, hogy egy év alatt négy TPU-rendszert szállít.
A TPU 8tx a Google állítása szerint feldolgozás közben is védve és elszigetelten tartja az adatokat és a modellsúlyokat, így a vállalatok és az állami szervek bizalmas adatok feldolgozása mellett finomhangolhatnak, desztillálhatnak és megerősítéses tanulással ügynököket taníthatnak anélkül, hogy az érzékeny adatokat klaszterek között kellene mozgatniuk. Az Nvidia GPU-khoz már kínál hasonló funkciót bizalmas számítási architektúrájában. A rendszer a valós idejű következtetésekhez fejlesztett Boardfly hálózatot használja, és a Google szerint a TPU 8t-hez képest akár kétszeres késleltetéscsökkenést nyújthat.
A TPU 8i Max egyetlen csomagban két TPU 8i chipet egyesít, így azonos szerverszekrény-méretben kétszeres számítási teljesítményt, memóriát és memória-sávszélességet kínál. A Google emellett nyílt forráskóddal adta ki a TorchTPU-t, így a PyTorch-kód minimális módosítással futhat TPU-n, a vLLM és az SGLang keretrendszer pedig támogatott. A vállalat jelenleg közel 100 külső ügyfelet számlál, miközben az Amazon, a Microsoft és az OpenAI is saját gyorsítón dolgozik.
Miért fontos neked?
Azoknak fontos, akik AI-modelleket futtatnának Google TPU-kon, különösen bizalmas adatokkal dolgozó csapatoknak. A forrás nem közöl árat, elérhetőségi dátumot és a magyarországi hozzáférés feltételeit.
Az eredeti megnyitása (The Decoder)
Eredeti cím: Google ships four TPU variants in one year as it ramps up competition with Nvidia
Címkék: chip, következtetés, adatvédelem