Köp inte konsulternas AI-ramverk

Alla större konsultföretag erbjuder sina egna färdigutvecklade arkitekturramverk, modeller eller referensarkitekturer för generativ AI och agentbaserad AI. Försäljningsargumentet är nästan identiskt från företag till företag: ”Vi har gjort det här förut,vi

Sammanhang: ...För att ge en tydlig bild av vad som finns på marknaden just nu är det på sin plats med en kort lista: McKinsey publicerar en öppen referensarkitektur för skalning av generativ AI, uppbyggd kring återanvändbara applikationsmönster såsom kunskapshantering, chattbotar för kunder och agentbaserade arbetsflöden, samt delade tjänster för retrieval-augmented generation (RAG), inbäddning, omrankning och avsiktsklassificering, sammanbundna med infrastruktur som kod och policy som kod. ...

Omnämnda platser: McKinsey.

Fem nycklar till att hålla tokenkostnaden under kontroll

Lyckligtvis finns det några bra verktyg vi kan använda för att kontrollera AI-utgifterna. Här är de fem viktigaste verktygen för att tämja odjuret. Modellrouting Använd inte en spikpistol om en häftstift räcker. De mest kraftfulla modellerna, som den senaste

Sammanhang: ...För öppna, kreativa och generativa AI-applikationer är semantisk cachning praktiskt taget värdelös. Men för implementeringar av RAG (Retrieval-Augmented Generation), kundsupportbotar och interna kunskapsbaser där användarna ställer samma 20 frågor på tusen olika sätt är det den mest effektiva kostnadsbesparande åtgärden du kan vidta. ...

Omnämnda platser: Kong. Omnämnda personer: Anthropic Claude, Claude Opus, Cohere Rerank.

Därför fortsätter företagens AI-projekt att misslyckas

Under de senaste tre åren har jag, i egenskap av oberoende konsult, rådgivare och branschpåverkare inom molntjänster och AI, samarbetat med ett stort antal företag som sökt min expertis. Jag har hjälpt till att utvärdera, optimera, coacha och stödja deras

Sammanhang: ...De har flera kundregister, motstridiga produkttaxonomier, föråldrade policydokument, oklassificerade filer, bristfällig metadata, inkonsekventa regler för bevarande och oklart ägarskap av data. Sedan lägger de till ”retrieval-augmented generation” och hoppas att modellen ska kunna reda ut det. Det kan den inte. AI gör inte dåliga data bra. ...

Störst inte alltid bäst – små språkmodeller kan vara det rätta valet

– Mönstret liknar snarare en bättre arbetsfördelning, säger Thomas Randall, forskningschef på Info-Tech Research Group. – En routingarkitektur skickar enkla eller väl avgränsade frågor till en specialiserad liten modell och komplexa frågor till en stor modell.

Sammanhang: ...Större modeller kan också modifieras och destilleras till mindre, mer specialiserade modeller genom tekniker som retrieval-augmented generation (RAG), när de tränas att hämta information från pålitliga källor innan de genererar ett svar, finjustering och promptjustering för att styra svaren till specifika områden, eller LoRa (low-rank adaptation) som lägger till lätta delar till en originalmodell för att minska dess storlek och omfattning, snarare än att omskola eller modifiera hela modellen. ...

Omnämnda platser: Kunskapsdestillering. Omnämnda personer: Info-Tech Research Group, Thomas Randall, Sumit Agarwal.

VR-vintern är här – igen

När det gäller utbildning av anställda kan personalen till exempel öva på scenarier med hög risk eller hög press, såsom farligt industriarbete, kundkonflikter eller – den mest fruktade av alla arbetsuppgifter – att tala inför publik. Fjärrsupport har fått

Sammanhang: ...Jag tror fortfarande att vi till stor del riktar oss till early adopters och teknikentusiaster – jag har svårt att se att det skulle göra något större avtryck på massmarknaden, säger Llamas. Augmented och extended reality Andra delar av XR-marknaden – ett samlingsbegrepp för virtual, augmented och mixed reality-teknik – utvecklas i olika takt. ...

Omnämnda platser: Metas, Gownder, New York Times. Omnämnda personer: Google Glass, Googles Android.

Så skalar storföretag upp sina XR-projekt

– Om du går till dina intressenter och säger: ”jag har en teknik med wow-faktor och jag tycker att du ska använda den på det här sättet”, kommer de inte att känna att de är en del av lösningen och inte vara lika öppna för dina idéer. En annan prioritet när

Sammanhang: ... – En sak som vi lärde oss, eller som vi gör nu, är att vi inte betraktar en PoC som ett försök eller en utvärdering, sa Muhammad Anwar, teknikledare för Extended, Virtual, Augmented, Mixed Reality & Visualization på Ford. – Vi ser det som en baslinje och en grund för framtida implementeringar. ...

Omnämnda platser: Virtual, Augmented. Omnämnda personer: Mixed Reality, Matthew Connors, Meta Quest.

Nytt projekt ska ge AI-modeller bättre tillgång till Wikipedia-data

Wikimedia Deutschland har lanserat ett nytt initiativ, Wikidata Embedding Project, för att göra Wikipedias kunskap mer användbar för AI-modeller, rapporterar Techcrunch. Projektet bygger på vektorbaserad semantisk sökning och stöd för Model Context Protocol

Sammanhang: ...Databasen omfattar närmare 120 miljoner poster från Wikipedia och dess systerplattformar och är anpassad för så kallade RAG-system (retrieval-augmented generation), där språkmodeller kan hämta in extern, verifierad kunskap. En sökning på exempelvis ”scientist” ger inte bara listor över forskare, utan också översättningar, relaterade begrepp och fria bilder. ...

Omnämnda platser: Toolforge, Wikimedia, Wikipedias.