AI-inferens blir billigare, men dina agenter blir dyrare

Den goda nyheten är att tokenkostnaderna för stora språkmodeller sjunker. Dilemmat är att den totala kostnaden för AI-arbetsbelastningar ökar. Enligt en prognos från Gartner kommer tokenkostnaderna visserligen att sjunka med 95 procent fram till 2030, men

Sammanhang: ...Men i takt med att AI utvecklas ökar tokenanvändningen, och tokenvärdet varierar, konstaterar Sommer och Zimmerhansl. Avancerade AI-agenter som kan resonera kostar redan upp till 150 gånger mer per enskild uppgift än grundläggande AI-chattbotar. ...

Omnämnda personer: Sabine Zimmerhansl, Will Sommer.