AI-inferens blir billigare, men dina agenter blir dyrare

Den goda nyheten är att tokenkostnaderna för stora språkmodeller sjunker. Dilemmat är att den totala kostnaden för AI-arbetsbelastningar ökar. Enligt en prognos från Gartner kommer tokenkostnaderna visserligen att sjunka med 95 procent fram till 2030, men

Sammanhang: ...Hårdvarukostnaderna för att träna medelstora agentmodeller med avancerade resonemangsförmågor är 2,5 gånger högre än för att träna enkla chattbotar av liknande storlek, enligt Gartner. Dessutom är agenternas inferenskostnader 5 gånger högre, och agenterna kräver 5 till 30 gånger fler token än en chattbot för att hantera motsvarande uppgifter. ”Tänk nu på hur kostnaderna kommer att skjuta i höjden när man kör hundratals agenter som kan utföra dussintals eller hundratals uppgifter varje timme”, skriver analytikerna. ...

Omnämnda personer: Sabine Zimmerhansl, Will Sommer.

7 sätt att använda AI i den fysiska världen

Förutsättningar för fysisk AI It-chefer som funderar på hur man kan använda fysisk AI bör tänka bortom de människoliknande robotar som väcker stor uppmärksamhet, säger Adnan Masood, chefsarkitekt för AI hos digitaliseringsföretaget UST. – Jag brukar gecio:er

Sammanhang: ...Autonoma jordbruksmaskiner, inklusive traktorer, skördemaskiner och drönare, utgör en växande marknad, där uppskattningarna av marknadens storlek varierar kraftigt. Global Market Insights uppskattade att marknaden skulle vara värd 70,9 miljarder dollar år 2025, med prognoser om att den skulle nå 144,7 miljarder dollar år 2035. ...

Omnämnda platser: Texas, Chevron, Kneron. Omnämnda personer: Adnan Masood, Boston Dynamics, Vikram Venkat.

Open AI:s AI-högtalare sägs vara stor som en hockeypuck och ska kosta över 3000

Enligt uppgifter till Bloomberg ska Open AI:s första egenutvecklade hårdvara vara en batteridriven AI-högtalare utan skärm. Enheten uppges ha en ringformad design i ungefär samma storlek som en hockeypuck och vara utrustad med högtalare, mikrofoner, kameror

Sammanhang: ...Enheten uppges ha en ringformad design i ungefär samma storlek som en hockeypuck och vara utrustad med högtalare, mikrofoner, kameror och andra sensorer för att uppfatta sin omgivning. ...

Omnämnda platser: Bloomberg. Omnämnda personer: Jony Ive.

Störst inte alltid bäst – små språkmodeller kan vara det rätta valet

– Mönstret liknar snarare en bättre arbetsfördelning, säger Thomas Randall, forskningschef på Info-Tech Research Group. – En routingarkitektur skickar enkla eller väl avgränsade frågor till en specialiserad liten modell och komplexa frågor till en stor modell.

Sammanhang: ...Större modeller kan också modifieras och destilleras till mindre, mer specialiserade modeller genom tekniker som retrieval-augmented generation (RAG), när de tränas att hämta information från pålitliga källor innan de genererar ett svar, finjustering och promptjustering för att styra svaren till specifika områden, eller LoRa (low-rank adaptation) som lägger till lätta delar till en originalmodell för att minska dess storlek och omfattning, snarare än att omskola eller modifiera hela modellen. I slutändan blir företagsdata med SLM en ”avgörande differentierande faktor, vilket kräver datapreparering, kvalitetskontroller, versionshantering och övergripande hantering för att säkerställa att relevant data är strukturerad för att uppfylla finjusteringskraven”, konstaterar Sumit Agarwal, analytiker på Gartner. ...

Omnämnda platser: Kunskapsdestillering. Omnämnda personer: Info-Tech Research Group, Thomas Randall, Sumit Agarwal.

Är ditt företags AI förgiftad?

För många ciso:er är det mycket mer brådskande att hantera dataföroreningar än en hypotetisk förgiftningskampanj. Darren Williams, grundare och vd för Black Fog, säger att detta inte så mycket är ett nytt AI-problem som en återgång till grunderna inom cybersäkerhet.

Sammanhang: ...Forskning från Anthropic, UK AI Security Institute och Alan Turing Institute har visat att så få som 250 skadligt utformade dokument kan förgifta LLM:er av vilken storlek som helst. Det skapar ett enormt problem i leveranskedjan eftersom angripare inte behöver bryta sig in hos LLM-leverantören själv. ...

Omnämnda platser: Anthropic, Black Fog. Omnämnda personer: Patrick Fussell, Adam Meyers.

AI-boomen driver upp utsläppen från chippindustrin

Den snabbt växande efterfrågan på minneschipp till artificiell intelligens väntas leda till kraftigt ökade utsläpp från halvledarindustrin, rapporterar Bloomberg. Enligt analysföretaget Techinsights kan branschens utsläpp öka med omkring en tredjedel till

Sammanhang: ...En nivå som motsvarar utsläppen från ett land i storlek med Algeriet. Bakom ökningen ligger framför allt AI-utvecklingen, som kräver allt mer avancerade och resurskrävande chip. ...

Omnämnda platser: Algeriet.

Test: En helg med Macbook Neo

Flerkärniga uppgifter gillar också att ha gott om RAM-minne, vilket är begränsat i den här Macen. Men låt inte minnes- eller processorbegränsningarna lura dig, eftersom de inte betyder att du inte kan köra dessa uppgifter, det kommer bara att gå lite långsammare.

Sammanhang: ...Macen har ett fullt fungerande tangentbord i full storlek med tangenter som färgmatchar Macens chassi. Om du har använt tangentbordet på en annan Mac kommer ditt fingerminne för tangenterna att vara exakt detsamma, även om du kanske märker att du behöver trycka lite hårdare när du använder det. ...

Omnämnda platser: Macen, Mellanöstern. Omnämnda personer: Macbook Pro, Mac OS Tahoe, Magic Keyboard.

Datacenter-boomen förvränger verkligheten

Så ser datacenterboomen ut i praktiken: ett blänkande löfte som omger väldigt fysiska begränsningar. Den nya religionen för kapitalutgifter Här är något vi inte säger högt tillräckligt ofta: Högteknologiska företag spenderar enorma summor på datacentereftersom

Sammanhang: ...Molnleverantörer leder denna utveckling eftersom de har möjlighet att göra det. De har storlek, kassaflöde och en berättelse som Wall Street älskar: Efterfrågan exploderar, utbudet är knappt och endast jättarna kan bygga tillräckligt snabbt för att dra nytta av uppgången. ...

Uppgifter: Apple filar på bärbar AI-pryl

Nya rykten gör gällande att Apple filar på en bärbar AI-pryl som sägs ha ungefär samma format och storlek som prylhittarbrickan Airtag. Enligt uppgift ska enheten vara utrustad med en högtalare, två kameror och tre mikrofoner. Dessutom sägs den ha en fysisk

Sammanhang: ...Nya rykten gör gällande att Apple filar på en bärbar AI-pryl som sägs ha ungefär samma format och storlek som prylhittarbrickan Airtag. Enligt uppgift ska enheten vara utrustad med en högtalare, två kameror och tre mikrofoner. ...

Omnämnda platser: Airtag.

Många fler datacenter vill in på svenska elnätet – kan slå mot elpriset

Ansökningarna om att ansluta stora datacenter till elnätet i Sverige har ökat kraftigt till följd av utvecklingen av AI och molntjänster, i år är antalet fem gånger högre än förra året och det riskerar nu att höja elpriserna, rapporterar SR. – Mängden datacenter

Sammanhang: ...Det är ungefär så mycket som 20 stycken städer av Uppsalas storlek, eller motsvarande produktionen från fem kärnkraftsreaktorer, säger Daniel Gustafsson, ansvarig för nätplanering på Svenska Kraftnät, till SR. ...

Omnämnda platser: Mellansverige, Uppsalas, Sverige. Omnämnda personer: Daniel Gustafsson.