Kostnaderna för AI-inferens skjuter i höjden – så får du kontroll

Dagens prissättningsplaner för inferenstjänster baseras på användningsmått, till exempel tokens eller API-anrop. Som ett resultat kan företag ha svårt att förutsäga sina kostnader. Denna oförutsägbarhet kan leda till att företag minskar sofistikeringen av

Sammanhang: ...Enligt Canalys kan specialiserad expertis inom AI-uppgifter vara avgörande för att lindra bördan av inferenskostnader genom att integrera skräddarsydda hårdvaruacceleratorer vid sidan av GPU:er, optimera effektiviteten och minska kostnaderna. Trots dessa ansträngningar för att implementera AI i stor skala i publika molnmiljöer finns det fortfarande tvivel om dess långsiktiga hållbarhet. ...

Omnämnda personer: Alastair Edwards, Google Cloud, Microsoft Azure.

Företag begränsar sin AI-användning på grund av otydliga kostnader

En ny rapport från analysföretaget Canalys argumenterar för att i takt med att företag nu tar AI-modeller från träning till praktisk användning, även kallad inferens, så har det blivit svårt för dem att förutspå vad den användningen kommer att leda till för

Sammanhang: ... – När AI går från forskning till storskalig implementering fokuserar företag allt mer på kostnadseffektivitet inom inferens, och jämför modeller, molnplattformar och hårdvaruarkitekturer såsom GPU:er kontra specialanpassade acceleratorer....

Omnämnda personer: Rachel Brindley.

RTX 5060 Ti redan hälften så populär som RTX 5070 Ti

Nyligen sammanfattade Steam maj månad i sin Steam Hardware & Software Survey, som samlar in stickprovsinformation från sina över 100 miljoner månatliga användare. På 83:e plats finner man nu Nvidias Geforce RTX 5060 Ti, som nu sitter i 0.21 procent av Steam-användares

Sammanhang: ...Den månatliga sammanställningen bör dock tas mer som en fingervisning än för sanning, då vissa användare ifrågasätter hur informationen tolkas. Bland annat ser man att antalet GPU:er med stöd för DirectX 8 eller lägre har ökat tre månader i rad....

Omnämnda platser: Nvidias Geforce RTX. Omnämnda personer: AMD Radeon, Nvidias RTX.

Microsoft vill minska förvirringen runt USB-C

Sätter upp nya kompatibilitetskrav för tillverkare USB-C har nu blivit något av en universell standard för att ladda och koppla datorprylar men det finns fortfarande en del problem med hur olika USB-C-grejer fungerar tillsammans.

Sammanhang: ...När det gäller system som stödjer USB 40 Gbps eller 80 Gbps måste dessa även vara kompatibla med Thunderbolt 3, ha stöd för användning av externa GPU:er och NVMe-enheter, möjlighet att ansluta minst två 4K-skärmar med 60Hz och varje port måste kunna leverera strömförsörjning till andra prylar på minst 15 W (7,5 W för tablets). ...

Omnämnda platser: Microsofts.

Testpilot: AOC 25G4SXU – Full HD-gaming med överklockning

Full HD-gaming år 2025 är något av spelvärldens motsvarighet till energidrycker. Det finns tretton på dussinet och ingen smakar kanske jättegott. Fast de funkar och fyller sitt syfte. AOC 25G4SXU är precis på den övre hyllan av denna nivå. En gammal upplösningsstandard

Sammanhang: ...Modellen är inte med på AMD:s lista över Freesync-certifiering men då detta är VESA Adaptive Sync ska det fungera även med AMD:s och Intels GPU:er. Jag har däremot ingen sådan hårdvara att verifiera att det verkligen är så. Modellen ger inte adaptiv synk via HDMI VRR-standard och detta kan vara en nackdel om man är i en situation där HDMI ofta är den enklaste och ibland även den enda vägen för att ansluta en skärm. ...

Omnämnda platser: Hårkors, Stockholm, Racing. Omnämnda personer: Nvidia G-Sync-Compatible, Dark Boost, Effektförbrukning Aktivt.

Nya GPU:er för stationära datorer frigör AI-modellerna från molnet

Spark är uteslutande inriktad på AI, men Intel och AMD presenterade GPU:er som blandar AI och grafik. AI kräver vanligtvis speciella kretsar på GPU:er som kan utföra matrismultiplikationer. AMD:s Radeon 9700 AI Pro GPU har 128 AI-acceleratorer och kan köra

Sammanhang: ...Spark är uteslutande inriktad på AI, men Intel och AMD presenterade GPU:er som blandar AI och grafik. AI kräver vanligtvis speciella kretsar på GPU:er som kan utföra matrismultiplikationer. ...

Omnämnda personer: Jack Gold, J. Gold Associates.

NZXT lanserar nya chassin och ny kylning

Med och utan RGB NZXT har lanserat en ny generation av chassin och kylning för folk som går igång på sådant. Tanken med dessa produkter är att de ska förenkla byggprocessen för datorbyggare men också att se till att hålla temperaturen

Sammanhang: ...För folk som vill ha en lite mindre dator så finns H3 Flow, som erbjuder ett micro-ATX-format. Chassit stödjer fullstora GPU:er och en fläkt på 280 mm framtill. Både H9 och H3 är kompatibla med bakmonterade moderkort. För folk som vill hålla datorn kall har NZXT uppdaterat sin Kraken Plus-serie som ersätter 2023 års modeller. ...

Omnämnda platser: Tokyo, flaggskeppsserien.

Nvidia skapar marknadsplats för AI-beräkningskraft i molnet

Nvidia har lanserat en ny mjukvaruplattform, Lepton, som är tänkt att skapa en central marknadsplats för molnbaserad AI-beräkningskraft, rapporterar Reuters. Plattformen gör det möjligt för molntjänstleverantörer att erbjuda sin GPU-kapacitet på ett och samma

Sammanhang: ...Plattformen gör det möjligt för molntjänstleverantörer att erbjuda sin GPU-kapacitet på ett och samma ställe, vilket är tänkt att förenkla för utvecklare att hitta och hyra tillgängliga Nvidia-GPU:er Nvidias grafikprocessorer dominerar i dagsläget marknaden för att träna AI-modeller. Som följd har flera nya parter börjat specialisera sig på att hyra ut Nvidia-chipp till mjukvaruutvecklare. ...

Omnämnda platser: Crusoe, Foxconn, Firmus.

Han ska leda telekomjättens AI-satsning i Sverige: ”Därför misslyckas de flesta AI-piloter”

– Vi hjälpte ett försäkringsbolag att ta fram en försäkring baserat på hur fort man körde bilen och delade data med bilserviceföretag för felkoder. Men för sju, åtta år sedan var inte AI-tekniken lika tillgänglig som den är idag, så vi kunde inte riktigtjobba

Sammanhang: ...Det vi gör nu är att vi tillför resurser men också ett antal olika lösningar på de geopolitiska utmaningar som våra kunder upplever just nu. Vi kan erbjuda gpu:er för lokala testmiljöer, eller leverera kompletta lösningar för kunder som vill bygga egna AI-modeller. ...

Omnämnda platser: Sverige, Techsveriges, Orange Business. Omnämnda personer: Daniel Ehnhages, Daniel Ehnhage, machine company.

Huawei ska testa nytt kraftfullt AI-chip

God morgon! Huawei är på väg att testa ett nytt AI-chip som ska kunna utmana Nvidias arbetshäst H100. Och kanske är den dominerande betydelsen av GPU:er på väg att ta slut? 🏇 Huawei är på väg att testa ett nytt AI-chip som ska kunna konkurrera med Nvidias

Sammanhang: ...Huawei är på väg att testa ett nytt AI-chip som ska kunna utmana Nvidias arbetshäst H100. Och kanske är den dominerande betydelsen av GPU:er på väg att ta slut? 🏇 Huawei är på väg att testa ett nytt AI-chip som ska kunna konkurrera med Nvidias mer avancerade modeller. ...

Omnämnda personer: Nvidias H100.