Störst inte alltid bäst – små språkmodeller kan vara det rätta valet

– Mönstret liknar snarare en bättre arbetsfördelning, säger Thomas Randall, forskningschef på Info-Tech Research Group. – En routingarkitektur skickar enkla eller väl avgränsade frågor till en specialiserad liten modell och komplexa frågor till en stor modell.

Sammanhang: ...Kvantisering: Värden reduceras från hög precision till lägre precision (det vill säga flyttalsnummer konverteras till heltal) för att minska datastorleken, påskynda bearbetningen och optimera energiförbrukningen. Större modeller kan också modifieras och destilleras till mindre, mer specialiserade modeller genom tekniker som retrieval-augmented generation (RAG), när de tränas att hämta information från pålitliga källor innan de genererar ett svar, finjustering och promptjustering för att styra svaren till specifika områden, eller LoRa (low-rank adaptation) som lägger till lätta delar till en originalmodell för att minska dess storlek och omfattning, snarare än att omskola eller modifiera hela modellen. ...

Omnämnda platser: Kunskapsdestillering. Omnämnda personer: Info-Tech Research Group, Thomas Randall, Sumit Agarwal.

Open AI-chefen: “Människor kräver också mycket energi”

Open AI:s vd Sam Altman gästade nyligen konferensen Express Adda och sa att debatten om AI:s energiförbrukning ofta blir missvisande eftersom man jämför energin för att träna AI med energin för en enskild mänsklig uppgift. – Men det krävs också mycket energi

Sammanhang: ...Altman avfärdade också påståenden om att en Chat GPT-fråga skulle motsvara 1,5 Iphone-laddningar och kallade uppgifter om stor vattenförbrukning per fråga för överdrivna eller felaktiga. Samtidigt medgav han att den totala energiförbrukningen från AI-användning är ett verkligt problem och att världen snabbt behöver mer kärnkraft, vind och solenergi....

Omnämnda platser: Express Adda. Omnämnda personer: Sam Altman.

Amazon lanserar kraftfulla AI-chippet Trainium 3

I samband med konferensen re:Invent 2025 har Amazon Web Services (AWS) presenterat Trainium 3, ett nytt AI-chipp som baseras på den senaste 3-nanometerstekniken. Jämfört med sin föregångare i serien sägs Trainium 3 erbjuda fyra gånger högre prestanda och

Sammanhang: ...Jämfört med sin föregångare i serien sägs Trainium 3 erbjuda fyra gånger högre prestanda och fyra gånger så mycket minne, samtidigt som energiförbrukningen har minskat med 40 procent. Tanken är att Trainium 3 ska utgöra grunden i Trainium 3 Ultraserver, ett nytt system som också presenterades på konferensen. ...

Behöver du verkligen alla dessa GPU:er?

Ett dramatiskt prisfall Nya rapporter visar att priserna på molnbaserade, högt efterfrågade GPU:er har rasat. Till exempel sjönk kostnaden för en AWS H100 GPU Spot Instance med hela 88 procent i vissa regioner, från 105,20 dollar i början av 2024 till 12,16

Sammanhang: ...En chattbot för interna HR-frågor eller ett system som är utformat för att prognostisera energiförbrukningen kräver inte samma hårdvara som ett banbrytande AI-forskningsprojekt. Många företag inser att det är mer en fråga om prestige än nödvändighet att hålla fast vid dyra GPU:er. ...

Omnämnda personer: Nvidias GB200.

Vätskekylning en nödvändighet när AI-servrarna blir fler

– En stor del av koldioxidutsläppen från datacentret uppstår när det byggs, när bottenplattan läggs, säger Josh Claman, vd för Accelsius, ett företag som tillverkar vätskekylning. – Jag hoppas att företagen inte bara kastar bort allt det där och börjar om

Sammanhang: ...Vätskekylning är mer effektivt än enbart luftkylning, säger han, och när det används i kombination med luftkylning kan temperaturen i luftkylningssystemen höjas något utan att prestandan påverkas. – Det minskar den totala energiförbrukningen och ger lägre elräkningar, säger han. Vätskekylning möjliggör inte bara lägre utan även jämnare drifttemperaturer, säger Hogue. ...

Omnämnda platser: Nordamerika, Myriad360, Dallas. Omnämnda personer: Ryan Mallory, My Truong, Herb Hogue.

AI-analys ska ge bättre batteritid i Iphone

I höst är det dags för IOS 19, nästa stora uppgradering av operativsystemet för Iphone. Apple sägs bland annat bjuda på diverse nyheter som förlänger batteritiden, något som många användare har efterfrågat. Enligt uppgift kommer Apple till exempel att

Sammanhang: ...Därefter görs adekvata ändringar i syfte att minimera energiförbrukningen. ...

Omnämnda platser: Iphone.

”Dark mode” kan leda till högre energiförbrukning

Enligt en ny undersökning från BBC Research & Development kan användning av mörkt läge på appar och webbplatser i själva verket öka energiförbrukningen jämfört med ljust läge. Det hela uppmärksammades först av The Register. Anledningen är att många användare

Sammanhang: ...Enligt en ny undersökning från BBC Research & Development kan användning av mörkt läge på appar och webbplatser i själva verket öka energiförbrukningen jämfört med ljust läge. Det hela uppmärksammades först av The Register. Anledningen är att många användare istället höjer bildskärmens ljusstyrka när de använder mörkt läge. ...

Chat GPT tycks sluka mindre energi än tidigare befarat

Forskare på Epoch AI har undersökt energiförbrukningen vid användning av Chat GPT, något som varit hett omdebatterat under en längre tid. Enligt tidigare uppskattningar slukar Chat GPT ungefär 3 wattimmar per besvarad fråga, men de nya beräkningarna säger

Sammanhang: ...Forskare på Epoch AI har undersökt energiförbrukningen vid användning av Chat GPT, något som varit hett omdebatterat under en längre tid. Enligt tidigare uppskattningar slukar Chat GPT ungefär 3 wattimmar per besvarad fråga, men de nya beräkningarna säger att den korrekta summan numera snarare är 0,3 wattimmar. ...

Omnämnda personer: Chat GPT.

Effektivisera arbetsmiljön med HPs AI-datorer

Med nästa generations AI-PCs från HP optimeras digitala möten genom avancerade AI-algoritmer som förbättrar både ljud- och bildkvalitet, samtidigt som energiförbrukningen minskar och batteritiden förlängs. Datorerna är designade för att hantera stora mängder

Sammanhang: ...Med nästa generations AI-PCs från HP optimeras digitala möten genom avancerade AI-algoritmer som förbättrar både ljud- och bildkvalitet, samtidigt som energiförbrukningen minskar och batteritiden förlängs. Datorerna är designade för att hantera stora mängder videoströmmar effektivt, vilket säkerställer en smidig och högkvalitativ mötesupplevelse. ...

Omnämnda platser: Sverige. Omnämnda personer: Stefan Jeleby, EliteBook Ultra, HPs Workstations.

AI-intresset förväntas kraftigt öka efterfrågan på naturgas

Enligt en ny rapport från investmentbanken Tudor Pickering Holt & Co så kommer den ökade energiförbrukningen från datacenter som används för AI att driva upp efterfrågan på naturgas under andra halvan av 20-talet, rapporterar Reuters. Enligt rapporten kan

Sammanhang: ...Enligt en ny rapport från investmentbanken Tudor Pickering Holt & Co så kommer den ökade energiförbrukningen från datacenter som används för AI att driva upp efterfrågan på naturgas under andra halvan av 20-talet, rapporterar Reuters. ...