AI-inferens blir billigare, men dina agenter blir dyrare

Den goda nyheten är att tokenkostnaderna för stora språkmodeller sjunker. Dilemmat är att den totala kostnaden för AI-arbetsbelastningar ökar. Enligt en prognos från Gartner kommer tokenkostnaderna visserligen att sjunka med 95 procent fram till 2030, men

Sammanhang: ...Det är vad Gartner kallar ”inferensparadoxen”. Med andra ord: ”Innovationstakten överträffar kostnadskurvan”, konstaterar Gartner-analytikerna Will Sommer och Sabine Zimmerhansl i sin rapport. ”Marknaden präglas av en illusion om token-deflation.” ...

Omnämnda personer: Sabine Zimmerhansl, Will Sommer.

En nätverksrevolution hos AWS

Kärnan i denna innovation är beslutet att använda en enda applikationsspecifik integrerad krets (ASIC) för växling – kiselhjärnan i centrum av varje nätverksväxel – i sina aggregerings-, kärn- och gränsnätverk. I stället för den gamla branschpraxisen attblanda

Sammanhang: ...Den nuvarande AWS-switchen hanterar 51,2 terabit per sekund (Tbps) över 64 portar, var och en med en hastighet på 800 Gbps. Men innovationstakten accelererar: AWS nästa generations switch, som kommer snart, kommer att nå 102,4 Tbps, med portar som körs på 1,6 Tbps. ...