AI-inferens blir billigare, men dina agenter blir dyrare

Den goda nyheten är att tokenkostnaderna för stora språkmodeller sjunker. Dilemmat är att den totala kostnaden för AI-arbetsbelastningar ökar. Enligt en prognos från Gartner kommer tokenkostnaderna visserligen att sjunka med 95 procent fram till 2030, men

Sammanhang: ...Med andra ord: ”Innovationstakten överträffar kostnadskurvan”, konstaterar Gartner-analytikerna Will Sommer och Sabine Zimmerhansl i sin rapport. ”Marknaden präglas av en illusion om token-deflation.” Köpare utgår farligt nog från att när AI-leverantörerna förbättrar tokenekonomin kommer dessa besparingar att återspeglas i deras utvecklingsplaner. ...

Omnämnda personer: Sabine Zimmerhansl, Will Sommer.