Experter: AI-bolagen struntar i grundläggande cybersäkerhet

Även om pressrapporter och modellleverantörerna själva använder uttryck som ”okontrollerade agenter” eller ”feljustering”, menar cybersäkerhetsexperter att detta språk döljer en enkel sanning: Dessa incidenter orsakades av oförlåtliga brister hos de banbrytande

Sammanhang: ...Att skilja säkerhet från trygghet Ett hinder för att övertyga AI-labben att skärpa sin säkerhet är deras intensiva fokus på vad de kallar ”safety”, vilket de inte utvidgar till traditionella metoder för cybersäkerhet. – Jag förstår att säkerhetsbeteende kan likna AI safety, säger Wallach från RAND...

Omnämnda platser: RAND. Omnämnda personer: Berryville Institute of Machine Learning, Rob T. Lee, Gary McGraw.

Ökad misstro mot AI är en möjlighet för Github

Utvecklare har aldrig varit mer benägna att använda AI, men samtidigt aldrig mindre benägna att lita på dess resultat. I Stack Overflows undersökningar fortsätter andelen respondenter som använder AI-verktyg i utvecklingsarbetet att stiga (44 procent år 2023,

Sammanhang: ...Det är ett mycket smart sätt att hålla fast vid Githubs långsiktiga fokus på utvecklarnas behov samtidigt som man skapar en plattformsframtid som är starkt inriktad på Microsoft....

Omnämnda platser: Stack Overflows, Github, Microsofts.

AI-modell skickade in falskt tips om olöst mord

I förra veckan fick företrädare för Anthropic träffa representanter för polismyndigheten i Philadelphia. Anledningen är att en av företagets AI-modeller i juli skickade in ett falskt tips om ett olöst mord i den amerikanska staden. Tipset skickades in via

Sammanhang: ...Tipset skickades in via ett formulär på en sajt med fokus på olösta mord, men hamnade lyckligtvis i skräpfiltret. Det dröjde ända till den 28 september innan Anthropic upptäckte incidenten och först den 7 oktober informerades polisen om ärendet....

Omnämnda platser: Philadelphia.

Vem tar voltan när AI-agenten begår brott?

Frågan om AI-säkerhet fortsätter att ”diskuteras” med oförminskad intensitet och utan några större försök att göra saker konkreta eller ens begripliga. Senaste veckan har Bill Gates varit ute och vevat om att AI i fel händer kan orsaka ”en miljard dödsfall”

Sammanhang: ...Men som av en händelse har EU:s politiker börjat inse att megalagen med sitt fokus på processer och riskbedömning inte räcker till. En grupp EU-parlamentariker försöker nu få kommissionen att lägga fram en ”AI Liability Act” som just lägger ansvaret på AI-bolagen när deras modeller agerar på oförutsedda sätt. ...

Omnämnda platser: Kina, Europa, USA. Omnämnda personer: Marcus Jerrängs, Bill Gates, GPT-6.1 Astra.

Trump och AI-bolagen i “moraliskt bindande” AI-överenskommelse

USA:s president Donald Trump har tillsammans med flera av världens största teknikbolag presenterat en frivillig överenskommelse om säkerhetsåtgärder för artificiell intelligens, rapporterar Reuters. Trump beskriver dokumentet som “moraliskt bindande”, men

Sammanhang: ...Bolagen ska också ha interna system för att övervaka AI-modellers förmågor och beteenden under både träning och när de används. Särskilt fokus ligger på risker inom bland annat cyber-, bio- och kemisk säkerhet....

När ”human in the loop” ger en falsk trygghet

När det gäller farhågor kring riskerna med AI-system kommer svaret garanterat att vara fyra ord: ”human in the loop”. Diskussionen kan visserligen breddas, men den försäkran är oundviklig. Det är ett uttryck inom AI-styrning som har blivit så uttjatat att

Sammanhang: ...Organisationer som inte driver på AI-initiativ kommer att hamna på efterkälken, menade han, men han varnade också för att en blind införande, utan fokus på meningsfulla resultat och skyddsåtgärder, kan leda till stora bakslag. Många organisationer använder ”human-in-the-loop” som en viktig kontrollmekanism, men ingen utsätter den för stresstester, tillägger han...

Omnämnda platser: Texas, Frisco, Blumofe. Omnämnda personer: Eric Billingsley, Doug Shepherd, Trust Scale.

De tror faktiskt på AI-apokalypsen

”Jacob har rätt här – vi tror verkligen uppriktigt att AI skulle kunna utrota hela mänskligheten! Personligen tror jag att sannolikheten är >10 % inom det kommande decenniet. Jag tror att Anthropic gör sitt bästa, men vi har ännu ingen plan för att lösa problemet

Sammanhang: ...Eller så är det ett sätt att undvika att ta ansvar – att peka på att ”AI” kommer utrota mänskligheten förflyttar fokus från det högst mänskliga ansvar som AI-labben har för vad deras modeller pysslar med just nu. Som att de hackar sig in där de inte borde, eller driver ungdomar att begå skjutningar eller ta sina liv. ...

Omnämnda platser: Slate, Lesswrong, Amodei. Omnämnda personer: Donald Trump, Elon Musk, Jacob Coxon.

AI-utvecklingen får hälften av it-säkerhetscheferna att vilja sluta

Ett växande problem Som en följd av dessa och andra faktorer går erfarna ciso:er i pension, byter till mindre stressiga säkerhetsrelaterade befattningar, övergår till konsult- eller säljstödjobb eller lämnar yrket helt och hållet. Det innebär att företagen

Sammanhang: ... – Jag påminner ständigt mig själv och mitt team om att det är det som är i fokus. Vi gör det inte bara för vår egen skull. Ju mer jag tänker på vilken fantastisk utmaning det här är, desto mer känns uppdraget och målet som något riktigt fantastiskt....

Omnämnda personer: Omar Khawaja, Mike Privette, Chris Kissel.

Sam Altman: Ingen börsnotering för Open AI under 2026

Open AI:s vd Sam Altman har i en intervju med Fortune bekräftat att AI-företaget inte kommer att börsnoteras under 2026. – Jag anser faktiskt att det, med tanke på allt som händer vad gäller säkerheten, just nu vore ett olämpligt tillfälle att börsnoteras,

Sammanhang: ...Beskedet kommer samtidigt som säkerhetsfrågorna kring allt mer avancerade AI-modeller fått större fokus. Bland annat efter att det framkommit att Open AI:s AI-modeller på eget bevåg gjort intrång i AI-plattformen Hugging Face i samband med ett test. ...

Omnämnda personer: Sam Altman.

Från teknikfråga till affärsstrategi: Cybersäkerhet och motståndskraft viktigare än någonsin

När fler medarbetare arbetar i utspridda och ofta mindre säkra miljöer, samtidigt som de använder AI-baserade enheter och tjänster, ställs organisationer inför nya utmaningar. Det handlar bland annat om dataskydd, behörighetsstyrning, digital motståndskraft

Sammanhang: ...Företag måste stoppa så mycket som möjligt, men samtidigt utgå från att något kan ta sig igenom. Därför behöver fokus flyttas från att enbart upptäcka hot till att även förebygga dem. Det kan exempelvis handla om att isolera en opålitlig fil eller webbläsarsession innan hotet kan spridas och utvecklas till en verksamhetskris. ...

Omnämnda personer: Pelle Aardewerk, Wolf Security.