Fem nycklar till att hålla tokenkostnaden under kontroll

Lyckligtvis finns det några bra verktyg vi kan använda för att kontrollera AI-utgifterna. Här är de fem viktigaste verktygen för att tämja odjuret. Modellrouting Använd inte en spikpistol om en häftstift räcker. De mest kraftfulla modellerna, som den senaste

Sammanhang: ...Ännu viktigare är att en AI-API-gateway centraliserar din telemetri och tar bort ”svarta lådan”, så att du kan tillämpa fasta tokenbudgetar per användare eller per mikrotjänst. I grund och botten bygger du en lastbalanserare för kognitiva uppgifter. ...

Omnämnda platser: Kong. Omnämnda personer: Anthropic Claude, Claude Opus, Cohere Rerank.

Kontoret – en plats för samarbete och möten

Eftersom alla inte längre är på plats fem dagar i veckan har många organisationer minskat sina kontorsytor eller ställt om till mer flexibla modeller med de tekniska förutsättningarna som krävs – men utan personlig anpassning. Det innebär att en delad arbetsplats

Sammanhang: ...Vissa verktyg kan delas oavsett användare, medan andra av hygieniska, praktiska eller arbetsrelaterade skäl bör vara personliga. På ett traditionellt kontor med fasta arbetsplatser är det enkelt att anpassa utrustningen till en person. I ett flexibelt kontor behöver man däremot noga överväga vad som ska finnas på en arbetsplats som används av många olika personer, förklarar Louise Wistrand. ...

Omnämnda platser: Sverige. Omnämnda personer: Louise Wistrand.

AI-inferens blir billigare, men dina agenter blir dyrare

Den goda nyheten är att tokenkostnaderna för stora språkmodeller sjunker. Dilemmat är att den totala kostnaden för AI-arbetsbelastningar ökar. Enligt en prognos från Gartner kommer tokenkostnaderna visserligen att sjunka med 95 procent fram till 2030, men

Sammanhang: ...Att införa användningsbaserad prissättning är ett annat viktigt steg; gå över från fasta beräkningsavgifter till differentierade abonnemang som skalar efter behov. Företagen kan överväga att införa obligatoriska kontinuerliga uppdateringscykler, tillägger Sommer och Zimmerhansl. ”Behandla varje modellrelease som en ’ny bil’ som tappar värde redan från dag ett”, skriver de, och bygg in finjustering av data och självlärande återkopplingsloopar. ...

Omnämnda personer: Sabine Zimmerhansl, Will Sommer.

7 sätt att använda AI i den fysiska världen

Förutsättningar för fysisk AI It-chefer som funderar på hur man kan använda fysisk AI bör tänka bortom de människoliknande robotar som väcker stor uppmärksamhet, säger Adnan Masood, chefsarkitekt för AI hos digitaliseringsföretaget UST. – Jag brukar gecio:er

Sammanhang: ...Företagens Speaking Autonomous Responsive Agent (SARA) är en agentbaserad AI-plattform utformad för att samordna kameror, fasta säkerhetsenheter, autonoma patrullfordon, belysning, högtalare, övervakningssystem och mänsklig säkerhetspersonal. ...

Omnämnda platser: Texas, Chevron, Kneron. Omnämnda personer: Adnan Masood, Boston Dynamics, Vikram Venkat.

It-budgetkaos att vänta när prismodellerna stöps om

Ändå är tokenpriserna inte fasta, och både OpenAI och Anthropic överväger prissänkningar för att bättre kunna konkurrera med varandra när båda företagen närmar sig börsintroduktioner. Denna omvälvning i prissättningen skapar nya huvudbry för it-chefer, säger

Sammanhang: ...Ändå är tokenpriserna inte fasta, och både OpenAI och Anthropic överväger prissänkningar för att bättre kunna konkurrera med varandra när båda företagen närmar sig börsintroduktioner. ...

Omnämnda personer: Maksim Hodar, Twilios Ramsinghaney.

Bara vart fjärde företag har koll på vad deras AI-användning kostar

En ny undersökning från KPMG visar att många företag har dålig kontroll över sina AI-kostnader, rapporterar The Wall Street Journal. Endast 26 procent uppger att de har en fullständig överblick, medan 22 procent saknar helt insyn eller ser kostnaderna först

Sammanhang: ...För ekonomichefer innebär det att kostnaderna blir svårare att förutse än traditionella licenser med fasta avgifter. KPMG uppger att vissa företag har förbrukat sina årliga AI- och molnbudgetar på bara några månader, och att tokenanvändningen i vissa fall har ökat sexfaldigt. ...

Slut på fast pris för Github Copilot

För en vecka sedan kunde vi rapportera om att användningen av AI-verktyget Github Copilot skjutit i höjden på sistone, något som sätter stor press på infrastrukturen. Nu står det klart att en ny avgiftsmodell lanseras den 1 juni, något som i korthet innebär

Sammanhang: ...Nu står det klart att en ny avgiftsmodell lanseras den 1 juni, något som i korthet innebär att de fasta priserna slopas och att priserna blir högre ju mer man använder sig av Github Copilot. Tanken är att kunderna ska få en pott med ”AI-krediter” varje månad och när dessa är slut får de helt enkelt betala för fler. ...

Omnämnda personer: Github Copilot.

En AI-agent kan kosta mer än en anställd

Cleric har byggt en agent för webbplatsdriftsäkerhet (SRE) till en bråkdel av kostnaden på 300 dollar per dag. Den är byggd för ett specifikt syfte och vet vilka frågor den ska ställa och när den ska sluta. I många fall kan agenter vara mer kostnadseffektiva

Sammanhang: ...De stora AI-leverantörerna tillåter kunder att sätta fasta utgiftsgränser per API-nyckel eller organisation, påpekar han. It-chefer kan skapa separata API-nycklar per team eller ingenjör och sätta en månatlig gräns i dollar. ...

Omnämnda personer: GitHub Copilot, Kateryna Babenko.

Nvidias Vera Rubin-plattform ska ge en heltäckande AI-infrastruktur

Nvidia introducerade också sin DSX-plattform, som enligt företaget kan öka den användbara AI-infrastrukturen med upp till 30 procent inom fasta effektbegränsningar, vilket belyser det växande trycket på datacentrets energikapacitet. Förskjutning bortom servermodellen

Sammanhang: ...Nvidia introducerade också sin DSX-plattform, som enligt företaget kan öka den användbara AI-infrastrukturen med upp till 30 procent inom fasta effektbegränsningar, vilket belyser det växande trycket på datacentrets energikapacitet. Förskjutning bortom servermodellen Analytiker säger att lanseringen speglar en bredare förskjutning mot AI-inbyggd infrastruktur i företagsdatacenter...

Omnämnda personer: Greyhound Research, Lian Jye.

Internetavbrott i Moskva driver upp försäljningen av personsökare och papperskartor

Upprepade störningar i mobilinternet i Moskva har fått invånarna att i allt större utsträckning vända sig till äldre, offlinebaserade verktyg, rapporterar Bloomberg. Försäljningen av personsökare har ökat med 73 procent och handradioapparater med 27 procent,

Sammanhang: ...Försäljningen av personsökare har ökat med 73 procent och handradioapparater med 27 procent, enligt data från den ryska e-handelsplattformen Wildberries. Även fasta telefoner har blivit mer efterfrågade, med en ökning på cirka 25 procent. Samtidigt har papperskartor fått ett uppsving. ...

Omnämnda platser: Moskva.