Köp inte konsulternas AI-ramverk

Alla större konsultföretag erbjuder sina egna färdigutvecklade arkitekturramverk, modeller eller referensarkitekturer för generativ AI och agentbaserad AI. Försäljningsargumentet är nästan identiskt från företag till företag: ”Vi har gjort det här förut,vi

Sammanhang: ...För att ge en tydlig bild av vad som finns på marknaden just nu är det på sin plats med en kort lista: McKinsey publicerar en öppen referensarkitektur för skalning av generativ AI, uppbyggd kring återanvändbara applikationsmönster såsom kunskapshantering, chattbotar för kunder och agentbaserade arbetsflöden, samt delade tjänster för retrieval-augmented generation (RAG), inbäddning, omrankning och avsiktsklassificering, sammanbundna med infrastruktur som kod och policy som kod. ...

Omnämnda platser: McKinsey.

Fem nycklar till att hålla tokenkostnaden under kontroll

Lyckligtvis finns det några bra verktyg vi kan använda för att kontrollera AI-utgifterna. Här är de fem viktigaste verktygen för att tämja odjuret. Modellrouting Använd inte en spikpistol om en häftstift räcker. De mest kraftfulla modellerna, som den senaste

Sammanhang: ...För öppna, kreativa och generativa AI-applikationer är semantisk cachning praktiskt taget värdelös. Men för implementeringar av RAG (Retrieval-Augmented Generation), kundsupportbotar och interna kunskapsbaser där användarna ställer samma 20 frågor på tusen olika sätt är det den mest effektiva kostnadsbesparande åtgärden du kan vidta. ...

Omnämnda platser: Kong. Omnämnda personer: Anthropic Claude, Claude Opus, Cohere Rerank.

Därför fortsätter företagens AI-projekt att misslyckas

Under de senaste tre åren har jag, i egenskap av oberoende konsult, rådgivare och branschpåverkare inom molntjänster och AI, samarbetat med ett stort antal företag som sökt min expertis. Jag har hjälpt till att utvärdera, optimera, coacha och stödja deras

Sammanhang: ...De har flera kundregister, motstridiga produkttaxonomier, föråldrade policydokument, oklassificerade filer, bristfällig metadata, inkonsekventa regler för bevarande och oklart ägarskap av data. Sedan lägger de till ”retrieval-augmented generation” och hoppas att modellen ska kunna reda ut det. Det kan den inte. AI gör inte dåliga data bra. ...

Störst inte alltid bäst – små språkmodeller kan vara det rätta valet

– Mönstret liknar snarare en bättre arbetsfördelning, säger Thomas Randall, forskningschef på Info-Tech Research Group. – En routingarkitektur skickar enkla eller väl avgränsade frågor till en specialiserad liten modell och komplexa frågor till en stor modell.

Sammanhang: ...Större modeller kan också modifieras och destilleras till mindre, mer specialiserade modeller genom tekniker som retrieval-augmented generation (RAG), när de tränas att hämta information från pålitliga källor innan de genererar ett svar, finjustering och promptjustering för att styra svaren till specifika områden, eller LoRa (low-rank adaptation) som lägger till lätta delar till en originalmodell för att minska dess storlek och omfattning, snarare än att omskola eller modifiera hela modellen. ...

Omnämnda platser: Kunskapsdestillering. Omnämnda personer: Info-Tech Research Group, Thomas Randall, Sumit Agarwal.

Nytt projekt ska ge AI-modeller bättre tillgång till Wikipedia-data

Wikimedia Deutschland har lanserat ett nytt initiativ, Wikidata Embedding Project, för att göra Wikipedias kunskap mer användbar för AI-modeller, rapporterar Techcrunch. Projektet bygger på vektorbaserad semantisk sökning och stöd för Model Context Protocol

Sammanhang: ...Databasen omfattar närmare 120 miljoner poster från Wikipedia och dess systerplattformar och är anpassad för så kallade RAG-system (retrieval-augmented generation), där språkmodeller kan hämta in extern, verifierad kunskap. En sökning på exempelvis ”scientist” ger inte bara listor över forskare, utan också översättningar, relaterade begrepp och fria bilder. ...

Omnämnda platser: Toolforge, Wikimedia, Wikipedias.