7 säkra sätt att bränna din AI-budget

Att fokusera tokenomics på modellkostnader istället för affärsvärde En stor del av diskussionen kring AI-tokenekonomi, eller tokenomics, fokuserar på kostnaderna för att använda olika AI-modeller. Men FinOps Foundation definierar tokenomics som ”studienav

Sammanhang: ...Utvecklare kan välja modeller utifrån preferenser snarare än prestanda och kostnadsöverväganden. Craig Wiley, vice vd för AI på Databricks, säger att 77 procent av företagen nu jonglerar med flera modellfamiljer eftersom den bästa modellen för en uppgift sällan är den bästa för en annan...

Omnämnda platser: Sonar, Rekommendation, One Stream. Omnämnda personer: Tom Shea, CJ Combs, Stack Overflows.

Gartner: Öppna AI-modeller kan göra 90 procent av jobbet till ett lägre pris

Analysföretaget Gartner skriver i en ny rapport att öppna AI-modeller till 2030 kan utföra 90 procent av arbetsuppgifterna i företagens AI-agenter till en betydligt lägre kostnad än de avancerade kommersiella modellerna. Det rapporterar The Register. Enligt

Sammanhang: ...Kostnaden skulle därför kunna ligga på en fjärdedel jämfört med de billigaste slutna modellerna med motsvarande prestanda. En brasklapp är samtidigt att öppna modeller ibland behöver flera försök på sig att slutföra en uppgift. ...

Oracle tar in Googles AI-chipp i sin molntjänst

Oracle har inlett ett samarbete med Google som ska göra Googles specialutvecklade AI-chipp, Tensor Processing Units (TPU), tillgänglig via Oracle Cloud Infrastructure (OCI). Det är första gången som Googles TPU-chipp erbjuds av en annan stor molnleverantör.

Sammanhang: ...Till skillnad från traditionella GPU:er är TPU-chipp särskilt utvecklade för maskinlärning och kan erbjuda bättre energieffektivitet och prestanda för vissa typer av AI-arbeten. Oracle planerar att börja erbjuda Googles TPU-chipp någon gång under 2027. ...

Fem nycklar till att hålla tokenkostnaden under kontroll

Lyckligtvis finns det några bra verktyg vi kan använda för att kontrollera AI-utgifterna. Här är de fem viktigaste verktygen för att tämja odjuret. Modellrouting Använd inte en spikpistol om en häftstift räcker. De mest kraftfulla modellerna, som den senaste

Sammanhang: ...Dessutom, ur ett tekniskt perspektiv, leder överfyllning av kontextfönstret till det mycket reella ”muddy middle”-problemet (även kallat ”context rot”), där modellen tappar upplösningen i mitten av innehållet. När datamängden växer försämras prestanda och noggrannhet. Lösningen är en strikt RAG-diet. Naiva RAG-implementeringar kan hämta de 20 bästa resultaten från en vektordatabas och blint sammanfoga dem i prompten. ...

Omnämnda platser: Kong. Omnämnda personer: Anthropic Claude, Claude Opus, Cohere Rerank.

Analytiker: It-chefer behöver bli klokare kring ROI för AI

De flesta organisationer har i stort sett inte kunnat mäta den ekonomiska avkastningen från AI, men enligt analytiker håller nya metoder för att beräkna avkastningen på investeringar på att växa fram. – Det finns en fördröjning mellan utvecklingen av tekniken

Sammanhang: ...Organisationer som ”kombinerar tydligt ansvar, samordnad styrning, motståndskraft och tillförlitlig värdemätning kommer sannolikt att ha de bästa förutsättningarna att omvandla en bred införande till hållbar prestanda”, säger KPMG....

Omnämnda platser: Mumbai, Thanaraj, McKinsey. Omnämnda personer: Jack Gold, J. Gold Associates, Gareth Herschel.

Molnhaveriet som borde sätta skräck i it-cheferna

Den 3 september började som vilken torsdag som helst – tills den plötsligt inte var det längre. Inom loppet av ungefär 90 minuter drabbades Chat GPT, Claude, Grok och till och med Microsofts egen Copilot av försämrad prestanda eller lade av ned, till följd

Sammanhang: ...Inom loppet av ungefär 90 minuter drabbades Chat GPT, Claude, Grok och till och med Microsofts egen Copilot av försämrad prestanda eller lade av ned, till följd av ett fel i Microsoft Azures region ”East US”. Downdetector registrerade mer än 37 000 rapporter enbart för Chat GPT, över 1 300 för Claude och cirka 1 365 för Grok. ...

Omnämnda platser: Copilot, Microsofts, USA. Omnämnda personer: Chat GPT, Google Cloud.

Styr AI-agenter som om de vore anställda – men låtsas inte att de är människor

Den nyaste medarbetaren i företaget sover aldrig, ber aldrig om löneförhöjning och kan klonas redan innan lunch. Den kan dessutom med fullt självförtroende fatta fel beslut tusentals gånger innan någon märker det. Det hjälper till att förklara varför vissa

Sammanhang: ...En agent kan börja med att en människa godkänner varje åtgärd, gå vidare till att utföra åtgärder med låg risk självständigt och så småningom få begränsad autonomi om dess observerade prestanda motiverar det. Ett allvarligt fel kan leda till att den hamnar längre ner på stegen – eller helt och hållet blir avskedad. ...

Omnämnda platser: Bob, Jukes. Omnämnda personer: Harvard Business, Nina Tatsiy.

Från teknikfråga till affärsstrategi: Cybersäkerhet och motståndskraft viktigare än någonsin

När fler medarbetare arbetar i utspridda och ofta mindre säkra miljöer, samtidigt som de använder AI-baserade enheter och tjänster, ställs organisationer inför nya utmaningar. Det handlar bland annat om dataskydd, behörighetsstyrning, digital motståndskraft

Sammanhang: ...Även inköp bör ses som ett cybersäkerhetsbeslut och inte enbart som en fråga om pris och prestanda. – Beslutsfattare behöver inte förstå alla tekniska detaljer. Däremot måste de förstå organisationens exponering och vilka konsekvenser ett intrång kan få för verksamheten. ...

Omnämnda personer: Pelle Aardewerk, Wolf Security.

Därför fortsätter företagens AI-projekt att misslyckas

Under de senaste tre åren har jag, i egenskap av oberoende konsult, rådgivare och branschpåverkare inom molntjänster och AI, samarbetat med ett stort antal företag som sökt min expertis. Jag har hjälpt till att utvärdera, optimera, coacha och stödja deras

Sammanhang: ...Dessa kan vara värdefulla ambitioner, men de är inga krav. De definierar inte utgångsläget för prestanda, målvärden, antaganden om införande, kostnadsbegränsningar, risktolerans eller operativt ansvar. ...

Anthropic släpper Claude Fable 5.1 – nya AI-modellen blir billigare

Anthropic har nu lanserat sina nya AI-modeller Claude Fable 5.1 och Mythos 5.1. Enligt företaget ska Fable 5.1 erbjuda bättre prestanda än föregångaren, samtidigt som den ska vara omkring 25 procent billigare att använda. För mer avancerade agentbaserade

Sammanhang: ...Enligt företaget ska Fable 5.1 erbjuda bättre prestanda än föregångaren, samtidigt som den ska vara omkring 25 procent billigare att använda. För mer avancerade agentbaserade uppgifter kan kostnaden rentav vara upp till 45 procent lägre. ...

Omnämnda personer: Claude Fable.