Störst inte alltid bäst – små språkmodeller kan vara det rätta valet

– Mönstret liknar snarare en bättre arbetsfördelning, säger Thomas Randall, forskningschef på Info-Tech Research Group. – En routingarkitektur skickar enkla eller väl avgränsade frågor till en specialiserad liten modell och komplexa frågor till en stor modell.

Sammanhang: ...Större modeller kan också modifieras och destilleras till mindre, mer specialiserade modeller genom tekniker som retrieval-augmented generation (RAG), när de tränas att hämta information från pålitliga källor innan de genererar ett svar, finjustering och promptjustering för att styra svaren till specifika områden, eller LoRa (low-rank adaptation) som lägger till lätta delar till en originalmodell för att minska dess storlek och omfattning, snarare än att omskola eller modifiera hela modellen. ...

Omnämnda platser: Kunskapsdestillering. Omnämnda personer: Info-Tech Research Group, Thomas Randall, Sumit Agarwal.

E-handlarens nya smarta funktion: "Inte sett någon annan göra det"

Lösningen integrerar en AI-assistent direkt i nätbutikens sökfunktion och som en popup på webbplatsen. Enligt bolagets vd och grundare, Ella Stemme, uppstod idén efter att de undersökt marknaden för AI-tjänster men inte hittat rätt funktion hos befintliga

Sammanhang: ...Den nya AI-assistenten bygger i stället på en RAG-baserad lösning (Retrieval-Augmented Generation) som hämtar data i realtid. Modellen är tränad på e-handlarens egen produktinformation, såsom storlekstabeller, guider och vanliga kundfrågor. ...

Omnämnda platser: Sverige, Norden. Omnämnda personer: Retrieval-Augmented Generation, Sebastian Gameel, Ella Stemme.

”AI-projekten kraschar i serverrummet – se upp med datahunger och dolda sårbarheter”

Mycket av frustrationen kring AI handlar egentligen inte om AI alls. Det handlar om de underliggande systemen och förmågan att faktiskt se vad som händer i dem. Trots all uppståndelse kring AI-agenter och autonoma arbetsflöden hänger framgången fortfarande

Sammanhang: ...Tre återkommande problem sticker ut: AI-system suktar ständigt efter data Moderna modeller slukar data. Träningsprocesser och RAG-system (Retrieval-Augmented Generation) kräver snabb åtkomst till filer och data utspridda över olika it-miljöer men traditionella lagringssystem klarar inte det tempot. ...

Omnämnda platser: Nutanix, Island, Danmark. Omnämnda personer: Retrieval-Augmented Generation, Mats Ericson.

Nytt projekt ska ge AI-modeller bättre tillgång till Wikipedia-data

Wikimedia Deutschland har lanserat ett nytt initiativ, Wikidata Embedding Project, för att göra Wikipedias kunskap mer användbar för AI-modeller, rapporterar Techcrunch. Projektet bygger på vektorbaserad semantisk sökning och stöd för Model Context Protocol

Sammanhang: ...Databasen omfattar närmare 120 miljoner poster från Wikipedia och dess systerplattformar och är anpassad för så kallade RAG-system (retrieval-augmented generation), där språkmodeller kan hämta in extern, verifierad kunskap. En sökning på exempelvis ”scientist” ger inte bara listor över forskare, utan också översättningar, relaterade begrepp och fria bilder. ...

Omnämnda platser: Toolforge, Wikimedia, Wikipedias.