På Hot Chips-mässan riktades blickarna mot AI-kostnader, GPU:er – och framtiden

När man tänker på AI är det ofta Nvidias GPU:er som kommer att tänka på, eftersom de har spelat en så stor roll i den pågående AI-revolutionen. Men vid Hot Chips-mässan i Kalifornien verkar en alternativ framtid ta form, i takt med att företagens oro fortsätter

Sammanhang: ...Den ligger i att bygga en AI-arkitektur som hindrar dig från att dra nytta av ett mycket billigare eller bättre alternativ år 2028, säger Sopko....

Omnämnda platser: Kalifornien, Wildcat Lake, Sopko. Omnämnda personer: J. Gold Associates, Stephen Sopko, Analysföretaget Semianalysis.

Google lanserar nya TPU:er – 8t och 8i

– Träning och inferens skiljer sig nu åt när det gäller ekonomi, minnesbeteende, nätverksbehov och köpmönster. Kunderna vill i allt högre grad ha rätt pris-prestandakurva för varje steg i modellens livscykel, inte en accelerator som passar alla, säger Fersht.

Sammanhang: ...Faktum är att Google inte är den enda chpipleverantören som går vägen med delad design, säger Stephen Sopko, analytiker på Hyperframe Research, och gav exemplet med AWS, som har två distinkta chipp – Trainium och Inferentia – för olika AI-arbetsbelastningar. ...

Omnämnda personer: Hyperframe Research, Charlie Dai, Stephen Sopko.