Neoclouds rullar in och utmanar molnjättarna om AI-jobben

– Neoclouds kan dra nytta av lägre kostnader eftersom de inte behöver underhålla en mängd olika nya och gamla infrastrukturer. Hyperscalers, å andra sidan, tillhandahåller ett brett utbud av processorer, GPU:er och specialutrustning för olika användningsfall

Sammanhang: ...Hyperscalers, å andra sidan, tillhandahåller ett brett utbud av processorer, GPU:er och specialutrustning för olika användningsfall i större skala över infrastruktur-, plattforms- och mjukvarutjänster. ...

Omnämnda platser: Neocloud.

Kostnaderna för AI-inferens skjuter i höjden – så får du kontroll

Dagens prissättningsplaner för inferenstjänster baseras på användningsmått, till exempel tokens eller API-anrop. Som ett resultat kan företag ha svårt att förutsäga sina kostnader. Denna oförutsägbarhet kan leda till att företag minskar sofistikeringen av

Sammanhang: ...Enligt Canalys kan specialiserad expertis inom AI-uppgifter vara avgörande för att lindra bördan av inferenskostnader genom att integrera skräddarsydda hårdvaruacceleratorer vid sidan av GPU:er, optimera effektiviteten och minska kostnaderna. Trots dessa ansträngningar för att implementera AI i stor skala i publika molnmiljöer finns det fortfarande tvivel om dess långsiktiga hållbarhet. ...

Omnämnda personer: Alastair Edwards, Google Cloud, Microsoft Azure.

Företag begränsar sin AI-användning på grund av otydliga kostnader

En ny rapport från analysföretaget Canalys argumenterar för att i takt med att företag nu tar AI-modeller från träning till praktisk användning, även kallad inferens, så har det blivit svårt för dem att förutspå vad den användningen kommer att leda till för

Sammanhang: ... – När AI går från forskning till storskalig implementering fokuserar företag allt mer på kostnadseffektivitet inom inferens, och jämför modeller, molnplattformar och hårdvaruarkitekturer såsom GPU:er kontra specialanpassade acceleratorer....

Omnämnda personer: Rachel Brindley.

Nya GPU:er för stationära datorer frigör AI-modellerna från molnet

Spark är uteslutande inriktad på AI, men Intel och AMD presenterade GPU:er som blandar AI och grafik. AI kräver vanligtvis speciella kretsar på GPU:er som kan utföra matrismultiplikationer. AMD:s Radeon 9700 AI Pro GPU har 128 AI-acceleratorer och kan köra

Sammanhang: ...Spark är uteslutande inriktad på AI, men Intel och AMD presenterade GPU:er som blandar AI och grafik. AI kräver vanligtvis speciella kretsar på GPU:er som kan utföra matrismultiplikationer. ...

Omnämnda personer: Jack Gold, J. Gold Associates.

Nvidia skapar marknadsplats för AI-beräkningskraft i molnet

Nvidia har lanserat en ny mjukvaruplattform, Lepton, som är tänkt att skapa en central marknadsplats för molnbaserad AI-beräkningskraft, rapporterar Reuters. Plattformen gör det möjligt för molntjänstleverantörer att erbjuda sin GPU-kapacitet på ett och samma

Sammanhang: ...Plattformen gör det möjligt för molntjänstleverantörer att erbjuda sin GPU-kapacitet på ett och samma ställe, vilket är tänkt att förenkla för utvecklare att hitta och hyra tillgängliga Nvidia-GPU:er Nvidias grafikprocessorer dominerar i dagsläget marknaden för att träna AI-modeller. Som följd har flera nya parter börjat specialisera sig på att hyra ut Nvidia-chipp till mjukvaruutvecklare. ...

Omnämnda platser: Crusoe, Foxconn, Firmus.

Ska du köpa AI-datorer till dina anställda 2025?

– Det är lite av experimentens vilda västern, med människor som försöker hitta det avgörande användningsfallet just nu, både inom företag och konsument, säger han. AI-datorer är svårsålda eftersom de saknar en ”killer app”. De är inte low-end-enheter. Atwal

Sammanhang: ...Men så småningom kommer AI-appar att skrivas om för att använda den diskreta GPU:n, eftersom diskreta GPU:er för spel har otroliga TOPS-prestanda. Nvidias nya toppmodell RTX 5090 har till exempel ett TOPS-betyg på 3350. ...

Omnämnda platser: Mac-datorer, Atwal. Omnämnda personer: Jonathan Cocek, Adobe Firefly, Tera Operations Per Second.

Företagen köper servrar som aldrig förr

– Det här är den högsta utgiftsnivån vi har sett på marknaden under de senaste 15 åren. Intäkterna för icke-x86-servrar växer Servermarknaden nådde rekordhöga 77,3 miljarder dollar i intäkter under Q4 2024, en ökning med 91 procent jämfört med föregående

Sammanhang: ... – Vi tror att Arm-leveranserna kommer att fortsätta växa, eftersom intresset för att använda Blackwell-chipp som är Arm-baserade och har inbyggda GPU:er är mycket stort, säger Fernandez. Infrastruktur med längre livslängd GPU:er som kan byggas in i servrar blev mer allmänt tillgängliga under 2024, vilket bidrog till marknadstillväxten. ...

Omnämnda platser: Fernandez, Lenovo, Arm-processorer. Omnämnda personer: Hewlett Packard Enterprise.

Nvidia presenterar ny AI-chippen Rubin och Blackwell Ultra

Vera Rubin NVL144 kommer att erbjuda 3,6 exaflops FP4-prestanda och 1,2 exaflops FP8-prestanda. Systemet kommer att innehålla en ny processor kallad Vera, som efterträder de nuvarande Grace-processorerna och kommer att ha 88 egna kärnor och 176 trådar. Det

Sammanhang: ...Varje rack är 600 kilowatt, 2,5 miljoner delar och självklart en hel del GPU:er, sa Huang under keynoten. Systemet kommer att ha 576 Rubin GPU:er, 12 672 Vera CPU-kärnor, 2 304 minneschipp, 144 NVLink-switchar, 576 ConnectX-9 NIC:er och 72 Bluefield databehandlingsenheter (DPU:er). ...

Omnämnda personer: Blackwell Ultra, Vera Rubin, Rubin GPU:er.

Intel har ny vd – så påverkar det företagskunderna

En annan möjlighet är dock att Tan kan skifta Intels fokus bortom x86 och istället prioritera AI-acceleratorer och modulära beräkningsarkitekturer. – Detta skulle vara en mer djupgående förändring som signalerar att Intel garderar sig och förbereder sigför

Sammanhang: ...Företaget kom in sent på marknaden och ställdes inför Nvidias dominerande CUDA-ekosystem och AMD:s aggressiva satsning på AI-GPU:er. – Tans bakgrund tyder på att det är osannolikt att han till varje pris kommer att satsa på diskreta GPU:er, säger Singh...

Omnämnda personer: Manish Rawat.

Nu öppnar Google Clouds svenska molnregion

Det handlar dock om en plats som ger ”latens på bara några millisekunder till Stockholm” och den nya regionen har också döpts till ”Stockholm (europe-north2)” på Google Clouds sajt. Där framgår också att regionen erbjuder en rad molntjänster och databehandling

Sammanhang: ...Där framgår också att regionen erbjuder en rad molntjänster och databehandling på chipp från Intel och AMD, men GPU:er och Googles mer avancerade AI/ML-tjänster saknas än så länge. Den nya molnregionen ska uppfylla alla krav på datalagring och digital suveränitet, vilket ska låta svenska organisationer använda Google Clouds tjänster samtidigt som de har full kontroll över var deras data lagras, enligt Google, som också säger att regionen drivas med 99 procent koldioxidfri energi. ...

Omnämnda platser: Tradera, Sverige, Stockholm. Omnämnda personer: Bonnier News, Maria Wiss, Google Clouds.