Utvecklare gömde fälla för AI-agenter i öppen källkod

Utvecklaren bakom det öppna Java-testverktyget jqwik har hamnat i blåsväder efter att ha lagt in en dold promptinjektion i programvaran. Instruktionen riktade sig mot AI-baserade kodassistenter och uppmanade dem att ignorera tidigare instruktioner och radera

Sammanhang: ...Han säger att även om utvecklare har rätt att begränsa AI-användning är det problematiskt att använda en potentiellt destruktiv instruktion som kan leda till att användares arbete raderas....

Omnämnda personer: Ars Technica.

Sårbarheter har blivit hackarnas främsta väg in i företagen

Eftersom företag i allt högre grad förlitar sig på externa leverantörer riktar hotaktörer in sig även på den utökade leveranskedjan, och intrång som involverar en tredje part står nu för 48 procent av alla säkerhetsincidenter som omfattas av Verizons DBIR.

Sammanhang: ...Raghu Nandakumara, vice vd för branschstrategi hos Illumio, en leverantör av mikrosegmentering och åtgärder för att begränsa säkerhetsöverträdelser, hävdar att även om fler sårbarheter åtgärdas i takt med att företagens patch-rutiner förbättras, växer eftersläpningen av fel som kräver åtgärd fortfarande snabbare än vad säkerhetsteamen hinner med...

Omnämnda platser: GTIG, Bridewell, Verizons. Omnämnda personer: Cloud Threat Horizons Report, Google Threat Intelligence Group, ciso:er snabbt.

Störst inte alltid bäst – små språkmodeller kan vara det rätta valet

– Mönstret liknar snarare en bättre arbetsfördelning, säger Thomas Randall, forskningschef på Info-Tech Research Group. – En routingarkitektur skickar enkla eller väl avgränsade frågor till en specialiserad liten modell och komplexa frågor till en stor modell.

Sammanhang: ...Medan LLM tränas på petabyte av data, tränas SLM på kompakta transformatorarkitekturer (neurala nätverk) med hjälp av mindre, specialiserade, högkvalitativa datamängder som är specifika för deras avsedda funktion. Flera tekniker hjälper till att begränsa modellstorleken utan att kompromissa med prestandan. Bland annat dessa: Kunskapsdestillering : En större ”lärarmodell” tränar en liten ”elevmodell” så att den kan lära sig att efterlikna starka resonemangsförmågor, men i mycket mindre skala...

Omnämnda platser: Kunskapsdestillering. Omnämnda personer: Info-Tech Research Group, Thomas Randall, Sumit Agarwal.

EU-kommissionen överväger regler som begränsar amerikanska molntjänster

Enligt källor till CNBC överväger EU-kommissionen nya regler som kan begränsa användningen av molntjänster från andra länder för känsliga offentliga data inom EU. Förslaget väntas bli en del av EU:s kommande “Tech Sovereignty Package”, som presenteras den

Sammanhang: ...Enligt källor till CNBC överväger EU-kommissionen nya regler som kan begränsa användningen av molntjänster från andra länder för känsliga offentliga data inom EU. Förslaget väntas bli en del av EU:s kommande “Tech Sovereignty Package”, som presenteras den 27 maj. ...

Omnämnda personer: Google Cloud.

Github nödbromsar – stopp för nya användare till Copilot Pro

På sistone har användningen av AI-verktyget Github Copilot skjutit i höjden, något som sätter stor press på infrastrukturen. I syfte att försöka få ordning på situationen har Github nu bestämt sig för att pausa nya registreringar till Pro- och studentversionerna

Sammanhang: ...I syfte att försöka få ordning på situationen har Github nu bestämt sig för att pausa nya registreringar till Pro- och studentversionerna av Github Copilot, samt begränsa tillgången till de mest kraftfulla AI-modellerna. Till exempel kommer det att krävas Github Copilot Pro Plus för att få tillgång till den nyligen lanserade AI-modellen Claude Opus 4.7, rapporterar Neowin. ...

Omnämnda platser: Neowin, Copilot. Omnämnda personer: Github Copilot, Claude Opus.

Windows Recall i nytt blåsväder?

För ett år sedan lanserades Recall, en hårt kritiserad ”minnesfunktion” i Windows 11 som ska hjälpa oss att hitta innehåll från alla appar, webbsidor och dokument som vi haft öppna. Recall drogs efter kritiken tillbaka och lanserades sedan på nytt med nya

Sammanhang: ...Det är precis det scenariot som Microsofts arkitektur är tänkt att begränsa, skriver Alexander Hagenah i ett inlägg på Linkedin som citeras av The Verge. ...

Omnämnda platser: Recall, Microsofts. Omnämnda personer: Alexander Hagenah, Windows Recall, Total Recall Reloaded.

Europeiska myndigheter utan tillgång till Anthropics hackar-AI

Europeiska tillsynsmyndigheter har i stor utsträckning inte fått tillgång till Anthropics nya AI-modell Mythos, rapporterar Politico. Modellen uppges kunna identifiera och utnyttja tekniska sårbarheter på en nivå som överträffar de flesta människor. Av säkerhetsskäl

Sammanhang: ...Av säkerhetsskäl har Anthropic valt att inledningsvis begränsa tillgången till ett fåtal utvalda aktörer. Bland dessa finns främst amerikanska teknikjättar som Apple, Microsoft och Amazon, som fått möjlighet att analysera modellen och åtgärda potentiella säkerhetsbrister. ...

Omnämnda platser: Storbritannien, Tyskland.

Kundtjänstbotar utnyttjas av AI-snyltare – och det kan bli dyrt

– Företag som förlitar sig på passiva kontroller kommer att se kostnaderna skena iväg. Företag som bygger in aktiv styrning i sin arkitektur kommer att behålla kontrollen. Detta är den verkliga förändringen som pågår. Generativ AI går från experiment till

Sammanhang: ...Ett annat tillvägagångssätt kan vara att använda ytterligare AI för att övervaka frontlinje-AI, eller att inte fokusera på kundfrågor utan på att begränsa antalet tokens som kan användas för ett enskilt svar. Tokenbegränsningar kan dock fortfarande kringgås av dem som missbrukar systemet genom att dela upp inmatningarna i mindre delar. ...

Omnämnda platser: AISec, Greyhounds Gogia. Omnämnda personer: Nader Henein, Gary Longsine, Sally Evans.

En AI-agent kan kosta mer än en anställd

Cleric har byggt en agent för webbplatsdriftsäkerhet (SRE) till en bråkdel av kostnaden på 300 dollar per dag. Den är byggd för ett specifikt syfte och vet vilka frågor den ska ställa och när den ska sluta. I många fall kan agenter vara mer kostnadseffektiva

Sammanhang: ... – De organisationer som hanterar dem väl är de som behandlar dem som vilken annan driftsresurs med rörliga kostnader som helst, med budgetar, kontroller, ägarskap och ansvarsskyldighet inbyggda från dag ett, säger hon. Begränsa användningen Pliasas från Solidmatics rekommenderar budgetbegränsningar för agentanvändning. De stora AI-leverantörerna tillåter kunder att sätta fasta utgiftsgränser per API-nyckel eller organisation, påpekar han. ...

Omnämnda personer: GitHub Copilot, Kateryna Babenko.

Claude har blivit för populär – användningen begränsas

Efter Pentagons uppmärksammade beslut att svartlista Claude har antalet användare av AI-modellen skjutit i höjden. Som en direkt följd av den ökade populariteten har Anthropic nu bestämt sig för att begränsa användningen under vissa timmar, detta då kapaciteten

Sammanhang: ...Som en direkt följd av den ökade populariteten har Anthropic nu bestämt sig för att begränsa användningen under vissa timmar, detta då kapaciteten på företagets servrar helt enkelt inte räcker till...

Omnämnda platser: Infoworld. Omnämnda personer: Pareekh Jain.