Spaning från Kubecon: ”Öppna och mindre AI-modeller en tydlig trend”

Vilka är de mest omtalade trenderna på Kubecon? – Inte helt oväntat är AI ett mycket hett ämne i år. Många nya och befintliga projekt fokuserar på öppna lösningar kring AI – både för att bygga molnbaserade AI-modeller, hur man bäst kör dem eller hur mananalyserar

Sammanhang: ...Genom att använda ett RAG-baserat (retrieval-augmented generation) tillvägagångssätt förbättrar Kai resultaten från stora språkmodeller med historiska kodändringar och analysdata, vilket innebär att moderniseringsuppgifterna blir kontextspecifika. ...

Omnämnda platser: Cosign, Sigtore, Gitsign.

Så bygger Läkemedelsverket egen generativ AI

Själva tjänsten fungerar som ett internt Chat GPT men utan någon koppling till externa källor. Regulus består av tre olika assistentfunktioner med språkmodeller i olika storlekar och olika stora indatafönster. Den drivs från det egna serverrummet och erbjuder

Sammanhang: ...Den drivs från det egna serverrummet och erbjuder användarna att interagera både med egenuppladdade dokument och en intern regulatoriska vektordatabas som används i ett så kallat RAG-system, retrieval-augmented generation, som minskar risken för hallucinationer. Enkelhet viktigt Tricket med att utveckla en sådan här tjänst är att få det enkelt framhåller Gabriel Westman...

Omnämnda platser: Regulus. Omnämnda personer: Gabriel Westman, Chat GPT.

🥼 AI förkortar av läkemedelsdokumentation från 15 veckor till 10 minuter

Dela artikeln Novo Nordisk har minskat tiden för att sammanställa regulatoriska dokument från 15 veckor till mindre än 10 minuter med hjälp av AI. Det danska läkemedelsbolaget använder Anthropics AI-modell Claude 3.5 sedan hösten 2023 efter att tidigare

Sammanhang: ...Teknik minskar felmarginaler För att minska antalet fel har Novo Nordisk implementerat så kallad retrieval-augmented generation (RAG), en metod där AI återanvänder tidigare godkända formuleringar. "Vi gick från experiment till utveckling väldigt snabbt, och i läkemedelsbranschen är det sällsynt att röra sig så snabbt," säger Louise Lind Skov enligt The Information. ...

Omnämnda platser: Breakit, Metas Llama. Omnämnda personer: Louise Lind, Louise Lind Skov.

Här är nya verktyget som gör en SD-WAN-uppsättning på fem minuter

– Det finns ju inte någon säkerhetsleverantör med självaktning som inte har AI i sina produkter men det viktiga är ju vilket värde det skapar för användarna, säger Andreas Gotthardsson, som är director systems engineering på Fortinet. FortiAI som Fortinets

Sammanhang: ...Likt många andra AI-assistenter, använder sig FortiAI av en RAG (Retrieval-Augmented Generation) för att säkerställa kvalitén på svaren. – Den hämtar sin information från Fortimanager-handboken och får kännedom om nya hot hot från Fortiguard. ...

Omnämnda personer: Andreas Gotthardsson, Security Operations Center, Retrieval-Augmented Generation.

Ordlista: Här är AI-begreppen du måste ha koll på

Du har säkert koll (eller låtsas i alla fall) men vi kan erkänna att en del av oss ibland blandar ihop alla begrepp och förkortningar som används inom AI-sfären. Så för att underlätta livet tog vi helt enkelt Chat GPT till hjälp för att förklara de 16 viktigaste

Sammanhang: ...Exempel på AI-modeller där prompt engineering behövs: Chat GPT (OpenAI), Claude (Anthropic), Palm 2 (Google DeepMind), Llama (Meta), Mistral AI, Cohere Command R, Gemini (Google DeepMind), Inflection-1 (Inflection AI), Command R+ (Cohere) 14. Retrieval-Augmented Generation (RAG) RAG är en AI-teknik som kombinerar generativa språkmodeller med extern informationshämtning. ...

Omnämnda platser: Djupinlärning. Omnämnda personer: Chat GPT, Stable Diffusion, Large Language.

Zoom: Så effektiv är vår AI-chattbot i egna verksamheten

Zoom hanterar flera miljoner kundärenden varje månad och upptäckte för några år sedan att de höll på att växa ur sin dåvarande chattbotplattform. 2022 köpte man AI-företaget Solvvy med målsättningen att vidareutveckla plattformen. Resultatet blev Zoom Virtual

Sammanhang: ...Man använder sig också av metoden rag, retrieval augmented generation, för att höja kvaliteten och träffsäkerheten på de svar som AI-modellen genererar. Zoom håller på att utveckla nästa generation av sin chattbot och den utlovas kunna hantera ännu mer komplexa frågeställningar. ...

Omnämnda platser: Servicenow.

Experten: Så får du ut max av dina AI-satsningar

En annan felkälla är bristfällig datakvalté. – Alla som arbetat med data har pratat om vikten av datastyrning och datahantering i flera år, men många verksamheter har bortsett från det och det får man nu betala priset för. Utan genomarbetade processer för

Sammanhang: ...Datan behöver ett mänskligt perspektiv som säger: ”Det här är vad detta betyder i kontexten av min bransch, min verksamhet och mina ämnesområden.” Det är där RAG (Retrieval-Augmented Generation) kommer in i bilden.–Varje gång du ställer en fråga till en LLM är det som att du singlar slant, och även om du har försökt vikta modellen för att ge mer korrekta svar är risken ändå att det blir fel. ...

Omnämnda personer: Philip Miller, Retrieval-Augmented Generation.

Kan AWS nya generation AI-chipp ge molnjätten ledartröjan?

Starkt användarcase med Anthropic AWS fortsätter att betona sitt utökade partnerskap med Anthropic. Framför allt utvecklar företagen gemensamt Project Rainer, ett EC2 Ultracluster av Trn2 Ultraservers med hundratusentals Trainium2-chipp. Anthropic arbetar

Sammanhang: ...Där Trainium2 kommer att gynna mindre aktörer är i hur de tillämpar allmän kunskap, till exempel genom att initialt knyta sina mindre modeller till större modeller för att förbättra deras kapacitet genom funktioner som RAG (retrieval-augmented generation). – Det kommer att finnas mindre behov som Trainium också kommer att vara utmärkt för, säger Nguyen. ...

Omnämnda personer: Google Cloud, Microsoft Azure.

ShowCase: Tre program som demonstrerar AI med Geforce RTX 40-serien

Med Geforce RTX 40-serien har Nvidia lagt mycket krut på att ge förutsättningar för nästa generations AI-applikationer. Den nya arkitekturen Ada Lovelace tillsammans med den fjärde generationens Tensor-kärnor gör det möjligt att använda AI både i realtidoch

Sammanhang: .... ► Ladda ned Nvidia ChatRTX – privat chatbot i din dator En demoapp med GPT-baserade språkmodeller (LLM) kopplad till ditt eget innehåll – dokument, anteckningar bilder eller annan data. Med hjälp av Retrieval-Augmented Generation (RAG), TensorRT-LLM och RTX-accelerering kan du fråga en anpassad chatbot och snabbt få kontextuellt relevanta svar. ...

Omnämnda platser: Geforce. Omnämnda personer: Emil Hansson, Retrieval-Augmented Generation.

Så fungerar Open AI:s nya o1-modeller

“För resonemangsproblem i verkligheten, hur (modellen) ska bestämma när man ska sluta söka? Vad är belöningsfunktionen? Framgångskriterium? När ska man kalla in verktyg som kodtolkar i loopen? Hur kan man ta hänsyn till beräkningskostnaden för dessa CPU-processer?

Sammanhang: ...Open AI råder också företag att använda retrieval-augmented generation (RAG) annorlunda för de nya modellerna. Till skillnad från användningen av RAG för närvarande, där rådet är att potentiellt stoppa in så många relevanta dokument som möjligt, föreslår OpenAI att användarna i fallet med de nya modellerna endast ska inkludera den mest relevanta informationen för att förhindra att modellen överkomplicerar sitt svar, förklarar Wilson. ...

Omnämnda platser: Alternativt. Omnämnda personer: Chat GPT, Chat GPT Enterprise-, Simon Wilson.