På Hot Chips-mässan riktades blickarna mot AI-kostnader, GPU:er – och framtiden

När man tänker på AI är det ofta Nvidias GPU:er som kommer att tänka på, eftersom de har spelat en så stor roll i den pågående AI-revolutionen. Men vid Hot Chips-mässan i Kalifornien verkar en alternativ framtid ta form, i takt med att företagens oro fortsätter

Sammanhang: ... – Vad Hot Chips visade är att marknaden bakom Nvidia håller på att bli mycket mer diversifierad, säger Stephen Sopko, analytiker vid Hyperframe Research. Även om företagens AI-budgetar fortsätter att öka ligger fokus alltmer på att hitta sätt att göra AI mer produktivt och minska slöseriet i budgeten...

Omnämnda platser: Kalifornien, Wildcat Lake, Sopko. Omnämnda personer: J. Gold Associates, Stephen Sopko, Analysföretaget Semianalysis.

Google lanserar nya TPU:er – 8t och 8i

– Träning och inferens skiljer sig nu åt när det gäller ekonomi, minnesbeteende, nätverksbehov och köpmönster. Kunderna vill i allt högre grad ha rätt pris-prestandakurva för varje steg i modellens livscykel, inte en accelerator som passar alla, säger Fersht.

Sammanhang: ...Faktum är att Google inte är den enda chpipleverantören som går vägen med delad design, säger Stephen Sopko, analytiker på Hyperframe Research, och gav exemplet med AWS, som har två distinkta chipp – Trainium och Inferentia – för olika AI-arbetsbelastningar. ...

Omnämnda personer: Hyperframe Research, Charlie Dai, Stephen Sopko.