På Hot Chips-mässan riktades blickarna mot AI-kostnader, GPU:er – och framtiden

När man tänker på AI är det ofta Nvidias GPU:er som kommer att tänka på, eftersom de har spelat en så stor roll i den pågående AI-revolutionen. Men vid Hot Chips-mässan i Kalifornien verkar en alternativ framtid ta form, i takt med att företagens oro fortsätter

Sammanhang: ...Förändringar i systemarkitekturen utgjorde också en stor del av diskussionen på Hot Chips, säger Jim McGregor, chefsanalytiker på Tirias Research, som deltog på mässan. De flesta presentationerna fokuserade på att eliminera flaskhalsar i dataöverföringen, avancerade chipkonstruktioner och beräkningar närmare eller inuti minnet, säger han. ...

Omnämnda platser: Kalifornien, Wildcat Lake, Sopko. Omnämnda personer: J. Gold Associates, Stephen Sopko, Analysföretaget Semianalysis.

Analytiker: Företagen måste tänka bortom GPU:er när det gäller AI-agenter

– Ett bättre sätt att se på detta är kostnaden för AI-beräkningar och nu agentiska AI-plattformstjänster eller -system, säger Leonard Lee, chefsanalytiker på Next Curve. – AI-beräkningar eller accelererade beräkningar har tydligt gått bortom GPU:n som inferensaccelerator.

Sammanhang: ...CPU:er är både energieffektiva och väl lämpade för AI i edge-miljöer, även om specialiserade chipp med låg strömförbrukning är mer kapabla beroende på uppgiften, säger Jim McGregor, chefsanalytiker på Tirias Research. – Det kommer fortfarande att vara mer effektivt att använda en ASIC istället för en CPU, och i de flesta fall kommer det att vara billigare över plattformens livslängd, säger han....

Omnämnda platser: Next Curve. Omnämnda personer: Tirias Research, Leonard Lee, Jim McGregor.