Köp inte konsulternas AI-ramverk

Alla större konsultföretag erbjuder sina egna färdigutvecklade arkitekturramverk, modeller eller referensarkitekturer för generativ AI och agentbaserad AI. Försäljningsargumentet är nästan identiskt från företag till företag: ”Vi har gjort det här förut,vi

Sammanhang: ...För att ge en tydlig bild av vad som finns på marknaden just nu är det på sin plats med en kort lista: McKinsey publicerar en öppen referensarkitektur för skalning av generativ AI, uppbyggd kring återanvändbara applikationsmönster såsom kunskapshantering, chattbotar för kunder och agentbaserade arbetsflöden, samt delade tjänster för retrieval-augmented generation (RAG), inbäddning, omrankning och avsiktsklassificering, sammanbundna med infrastruktur som kod och policy som kod. ...

Omnämnda platser: McKinsey.

Fem nycklar till att hålla tokenkostnaden under kontroll

Lyckligtvis finns det några bra verktyg vi kan använda för att kontrollera AI-utgifterna. Här är de fem viktigaste verktygen för att tämja odjuret. Modellrouting Använd inte en spikpistol om en häftstift räcker. De mest kraftfulla modellerna, som den senaste

Sammanhang: ...För öppna, kreativa och generativa AI-applikationer är semantisk cachning praktiskt taget värdelös. Men för implementeringar av RAG (Retrieval-Augmented Generation), kundsupportbotar och interna kunskapsbaser där användarna ställer samma 20 frågor på tusen olika sätt är det den mest effektiva kostnadsbesparande åtgärden du kan vidta. ...

Omnämnda platser: Kong. Omnämnda personer: Anthropic Claude, Claude Opus, Cohere Rerank.

Nya AI-applikationer inom VaroPreem förenklar komplexa klimatdirektiv

VaroPreem driver kritisk infrastruktur, en bransch som präglas av komplexa regelverk, där misstolkningar eller felaktiga AI-svar kan få stora konsekvenser. Det blev utgångspunkten när företagets AI-team utvecklade två interna applikationer för strategi- och

Sammanhang: ...Från hallucinationer till reproducerbara svar Tekniskt bygger lösningen på Retrieval Augmented Generation (RAG), men enligt Alexander Åhlström ligger den stora innovationen inte i själva tekniken utan i hur processen är uppbyggd. ...

Omnämnda personer: Minimum Viable Product, Alexander Åhlström.

Därför fortsätter företagens AI-projekt att misslyckas

Under de senaste tre åren har jag, i egenskap av oberoende konsult, rådgivare och branschpåverkare inom molntjänster och AI, samarbetat med ett stort antal företag som sökt min expertis. Jag har hjälpt till att utvärdera, optimera, coacha och stödja deras

Sammanhang: ...De har flera kundregister, motstridiga produkttaxonomier, föråldrade policydokument, oklassificerade filer, bristfällig metadata, inkonsekventa regler för bevarande och oklart ägarskap av data. Sedan lägger de till ”retrieval-augmented generation” och hoppas att modellen ska kunna reda ut det. Det kan den inte. AI gör inte dåliga data bra. ...

Störst inte alltid bäst – små språkmodeller kan vara det rätta valet

– Mönstret liknar snarare en bättre arbetsfördelning, säger Thomas Randall, forskningschef på Info-Tech Research Group. – En routingarkitektur skickar enkla eller väl avgränsade frågor till en specialiserad liten modell och komplexa frågor till en stor modell.

Sammanhang: ...Större modeller kan också modifieras och destilleras till mindre, mer specialiserade modeller genom tekniker som retrieval-augmented generation (RAG), när de tränas att hämta information från pålitliga källor innan de genererar ett svar, finjustering och promptjustering för att styra svaren till specifika områden, eller LoRa (low-rank adaptation) som lägger till lätta delar till en originalmodell för att minska dess storlek och omfattning, snarare än att omskola eller modifiera hela modellen. ...

Omnämnda platser: Kunskapsdestillering. Omnämnda personer: Info-Tech Research Group, Thomas Randall, Sumit Agarwal.

E-handlarens nya smarta funktion: "Inte sett någon annan göra det"

Lösningen integrerar en AI-assistent direkt i nätbutikens sökfunktion och som en popup på webbplatsen. Enligt bolagets vd och grundare, Ella Stemme, uppstod idén efter att de undersökt marknaden för AI-tjänster men inte hittat rätt funktion hos befintliga

Sammanhang: ...Den nya AI-assistenten bygger i stället på en RAG-baserad lösning (Retrieval-Augmented Generation) som hämtar data i realtid. Modellen är tränad på e-handlarens egen produktinformation, såsom storlekstabeller, guider och vanliga kundfrågor. ...

Omnämnda platser: Sverige, Norden. Omnämnda personer: Retrieval-Augmented Generation, Sebastian Gameel, Ella Stemme.

”AI-projekten kraschar i serverrummet – se upp med datahunger och dolda sårbarheter”

Mycket av frustrationen kring AI handlar egentligen inte om AI alls. Det handlar om de underliggande systemen och förmågan att faktiskt se vad som händer i dem. Trots all uppståndelse kring AI-agenter och autonoma arbetsflöden hänger framgången fortfarande

Sammanhang: ...Tre återkommande problem sticker ut: AI-system suktar ständigt efter data Moderna modeller slukar data. Träningsprocesser och RAG-system (Retrieval-Augmented Generation) kräver snabb åtkomst till filer och data utspridda över olika it-miljöer men traditionella lagringssystem klarar inte det tempot. ...

Omnämnda platser: Nutanix, Island, Danmark. Omnämnda personer: Retrieval-Augmented Generation, Mats Ericson.

Nytt projekt ska ge AI-modeller bättre tillgång till Wikipedia-data

Wikimedia Deutschland har lanserat ett nytt initiativ, Wikidata Embedding Project, för att göra Wikipedias kunskap mer användbar för AI-modeller, rapporterar Techcrunch. Projektet bygger på vektorbaserad semantisk sökning och stöd för Model Context Protocol

Sammanhang: ...Databasen omfattar närmare 120 miljoner poster från Wikipedia och dess systerplattformar och är anpassad för så kallade RAG-system (retrieval-augmented generation), där språkmodeller kan hämta in extern, verifierad kunskap. En sökning på exempelvis ”scientist” ger inte bara listor över forskare, utan också översättningar, relaterade begrepp och fria bilder. ...

Omnämnda platser: Toolforge, Wikimedia, Wikipedias.