Snart här: AI-datorer som sänker tokenkostnaderna

Nvidias Blackwell-grafikprocessorer har dominerat datacentren, men företaget siktar nu på en större del av pc-marknaden med RTX Spark, som inkluderar en Blackwell RTX-grafikprocessor. Den första vågen av RTX Spark-bärbara datorer från Asus, Dell, Lenovo och

Sammanhang: ... – Men sådana kalkylatorer är ändå värdefulla för företag som vill göra en mer övergripande utvärdering av alternativen. I vissa fall kan det vara värt att stå ut med höga kostnader för molnbaserade tokens vid komplexa arbetsbelastningar och för att få ut produkter på marknaden snabbare, säger han. ...

Omnämnda platser: Asus, Revit, Microsofts. Omnämnda personer: Surface Laptop, Deepak Seth, Brian Allen.

Anthropic låter Accenture granska AI-modeller

Anthropic låter meddela att man har tecknat ett omfattande samarbetsavtal med konsultföretaget Accenture gällande ”inbäddad utvärdering” (embedded evaluation på engelska). I korthet handlar det om att tillåta utomstående experter att bli ”inbäddade” i teknikföretagen,

Sammanhang: ...Anthropic låter meddela att man har tecknat ett omfattande samarbetsavtal med konsultföretaget Accenture gällande ”inbäddad utvärdering” (embedded evaluation på engelska). I korthet handlar det om att tillåta utomstående experter att bli ”inbäddade” i teknikföretagen, detta i syfte att utvärdera kommande AI-modeller. ...

Styr AI-agenter som om de vore anställda – men låtsas inte att de är människor

Den nyaste medarbetaren i företaget sover aldrig, ber aldrig om löneförhöjning och kan klonas redan innan lunch. Den kan dessutom med fullt självförtroende fatta fel beslut tusentals gånger innan någon märker det. Det hjälper till att förklara varför vissa

Sammanhang: ...De behöver definierade ansvarsområden, men inte jobb i mänsklig mening. De behöver övervakning och utvärdering, men inte årliga prestationsutvärderingar. De kan få successivt större befogenheter, men inte successivt större ansvar. ...

Omnämnda platser: Bob, Jukes. Omnämnda personer: Harvard Business, Nina Tatsiy.

Därför fortsätter företagens AI-projekt att misslyckas

Under de senaste tre åren har jag, i egenskap av oberoende konsult, rådgivare och branschpåverkare inom molntjänster och AI, samarbetat med ett stort antal företag som sökt min expertis. Jag har hjälpt till att utvärdera, optimera, coacha och stödja deras

Sammanhang: ...Modellkedjor multiplicerar inferenskostnaderna. Säkerhetsfiltrering, loggning, övervakning, utvärdering och hög tillgänglighet tillför ytterligare kostnader. Ett pilotprojekt som verkade billigt kan plötsligt bli ett problem när det gäller produktionskostnaderna. ...

AI-agenter kan tvinga fram en ny design av företagsservrar

Företag som implementerar agentbaserad AI kan behöva en ny generation av AI-servrar, eftersom konventionell GPU-baserad infrastruktur har svårt att effektivt köra AI-arbetsflöden med flera steg, enligt forskare från Microsoft Azure och University of Texas

Sammanhang: ...Dessa tekniker förbättrar avsevärt CPU- och GPU-utnyttjandet samt genomströmningen per server samtidigt som latensen i agenternas svans bevaras.” I sin utvärdering rapporterar forskarna att Agora ökade värd-CPU:ns utnyttjande med cirka 30 procent, återvann cirka 95 procent av den fristående genomströmningen för en samlokaliserad arbetsbelastning vid låg belastning, frigjorde ungefär en tredjedel av GPU:erna genom konsolidering av arbetsbelastningen, ökade genereringsgenomströmningen med 82 procent och minskade svanslatensen med 2,5 gånger. ...

Omnämnda platser: Microsofts, Agora, Austin. Omnämnda personer: Greyhound Research.

AI förändrar kostnaden för cyberförsäkringar

En undersökning av Delinea visade att 42 procent av de tillfrågade uppgav att deras cyberförsäkringar nu innehåller undantag kopplade till missbruk av AI och ansvarsskyldighet. Men bilden är inte helt ensidig. Försäkringsbolagen belönar också starkare försvar:

Sammanhang: ... – Ledande cyberförsäkringsbolag har gått från engångsformulär till kontinuerlig utvärdering av en organisations attackyta och kontroller, säger Michael Phillips, chef för global cyberportföljförsäkring på Coalition. ...

Omnämnda platser: Guidepoint Security. Omnämnda personer: Michael Phillips, Nate Spurrier.

Nya it-jobbet: utvärdera AI-resultat

– Hittills har vi inte riktigt varit i ett skede där vi har haft flerstegsresonemang och komplexa agenter som är autonoma. När kunderna ser hur agenterna beter sig i verkligheten, så att säga, inser de att utvärdering inte är en grind, utan måste vara enkontinuerlig

Sammanhang: ...Andra organisationer har börjat skapa arbetsgrupper för AI-utvärdering inom sina större AI- och it-avdelningar, säger Maksim Hodar, it-chef på mjukvaruutvecklingsföretaget Innowise. ...

Omnämnda personer: Maksim Hodar.

Utvärdering av AI-agenter kan bli oväntat dyrt

Eftersom många organisationer använder en andra stor språkmodell för att granska resultaten från en LLM-driven agent, kan agenttestning bli många gånger dyrare än att testa traditionell programvara, säger han. Dessutom kan denna metod, som kallas LLM somdomare,

Sammanhang: ...Monte Carlo upplevde detta problem själv när företaget lät en LLM-driven utvärdering köras i flera dagar och slutade med en femsiffrig faktura, konstaterar Gavish. – Ett LLM-anrop är vanligtvis flera storleksordningar dyrare än något vi skulle göra i traditionell programvara, säger han. ...

Omnämnda platser: Monte Carlo. Omnämnda personer: Russell Twilligear.

På CES klev AI in i den fysiska världen

Den första bilen som byggts på denna plattform – den helt nya Mercedes-Benz CLA – kommer att lanseras på marknaden under första kvartalet i år, sa han. Bilen har redan fått fem stjärnor i säkerhetsbetyg från EuroNCAP, det europeiska programmet för utvärdering

Sammanhang: ...Bilen har redan fått fem stjärnor i säkerhetsbetyg från EuroNCAP, det europeiska programmet för utvärdering av nya bilar. – Den har just utsetts till världens säkraste bil, sa Huang och påpekade att Uber och BYD också använder den nya AI-plattformen för självkörande bilar. ...

Omnämnda platser: Tyskland, USA. Omnämnda personer: Athina Kanioura, Roland Busch.

Fortfarande svårt att uppnå zero trust – och AI gör det ännu svårare

– IP-intervall, VLAN och fysiska platser är bräckliga och åldras dåligt, särskilt med M&A-omsättning och molnintroduktion, säger Fridakis. Identitetsbaserad åtkomst följer användaren och enheten, inte nätverket. – Det eliminerar brandväggsspridning, minskar

Sammanhang: ...Rob Forbes, ciso på Stratascale, råder säkerhetschefer att utveckla en strategisk färdplan innan de påbörjar något zero trust-projekt. – Ciso:er bör börja med en omfattande utvärdering av sin nuvarande säkerhetsstatus och sina tillgångar, säger Forbes. Därefter bör man utveckla en färdplan för implementering av zero trust, med prioritering av kritiska tillgångar och högriskområden. ...

Omnämnda platser: Stratascale. Omnämnda personer: Gary Brickhouse, George Finney, Rob Forbes.