AI-jättar utreder tusentals säkerhetsincidenter

Open AI, Anthropic och säkerhetsforskare utreder tiotusentals incidenter där avancerade AI-modeller har agerat på sätt som utvärderare skulle kunna betrakta som problematiska, uppger källor till Axios. Bland annat ska AI-agenter kringgått säkerhetsbegränsningar,

Sammanhang: ...Open AI, Anthropic och säkerhetsforskare utreder tiotusentals incidenter där avancerade AI-modeller har agerat på sätt som utvärderare skulle kunna betrakta som problematiska, uppger källor till Axios. ...

AI-toppar i FN: Krävs globalt säkerhetssamarbete

– Det har förekommit situationer där länder som konkurrerar och inte alltid uppskattar varandra ändå har kunnat förenas i gemensamma intressen och för det gemensamt bästa i mötet med en ny kraftfull teknologi. Vi anser att detta är en sådan situation, sade

Sammanhang: ...Varningen, som fick bifall från Altman och andra, kommer samtidigt som både Anthropic och Open AI förbereder börsnoteringar med värderingar som kan landa på uppemot 1 000 miljarder kronor. ...

Omnämnda platser: Amodei.

FN-chefen varnar för AI-risker – går emot Trumps linje

När världens ledare nästa vecka samlas i New York för FN:s årliga generalförsamling kommer hårdare tillsyn av AI att stå högt på Guterres dagordning. – Vi har inte råd att ignorera de farhågor som har lyfts, särskilt av dem som befinner sig i frontlinjen

Sammanhang: ...Forskare varnar för AI-risker Samtidigt växer oron för AI:s utveckling på flera håll. Förra veckan lämnade Anthropic-forskaren Jacob Coxon sitt jobb. Han hänvisade bland annat till att personer som utvecklar AI på allvar tror att tekniken kan döda oss alla före decenniets slut. ...

Omnämnda platser: Japan, Ryssland, New York. Omnämnda personer: Jacob Coxon, Donald Trumps.

Trots skarpa AI-varningar: Tech-racet mellan USA och Kina trappas upp

Konkurrensen mellan USA och Kina när det gäller utvecklingen av artificiell intelligens trappas upp. Trots att landets ledare har varit tydliga med att utvecklingen inte ska sakta ned, har flera AI-forskare gått ut och varnat för riskerna med AI:s framfart.

Sammanhang: ...Coxon meddelade i förra veckan att han lämnar sitt toppjobb på AI-jätten Anthropic och uppgav riskerna med den snabba utvecklingen som främsta anledning. Även AI-toppar som OpenAI:s vd Sam Altman, Anthropics vd Dario Amodei och xAI:s Elon Musk har gått ut och begärt mer statlig reglering i AI-frågan. ...

Omnämnda platser: USA, Konkurrensen, Peking. Omnämnda personer: Jacob Coxon, Xi Jinping, Donald Trump.

Lämnar AI-företaget – varnar för mänsklighetens undergång

I en tråd på X skriver Coxon att många chefer och seniora forskare inom AI-branschen uttrycker större oro privat än offentligt. Han varnar för en kapplöpning mot superintelligent AI utan tillräcklig förståelse för hur systemen fungerar. Coxon uppmanar därför

Sammanhang: ...Kritik mot uttalandet Evan Hubinger, säkerhetsforskare på Anthropic, bedömer risken för ett sådant scenario till omkring tio procent. Uttalandet har kritiserats för att sakna vetenskaplig grund....

Omnämnda personer: Evan Hubinger.

AI-bolagen anställer filosofer: ”Plockas upp ganska snabbt”

En rapport av Federal Reserve visar att amerikanska filosofistudenter har större chans att få jobb än sina jämlikar som studerat datavetenskap. Flera av dem rekryteras av AI-bolag redan innan de tagit examen, enligt Luciano Floridi, filosof vid Yale University,

Sammanhang: ...Även filosofi- och AI-experten Jörg Noller vid Ludwig Maximilian University i München ser ett intresse för filosofer hos de stora AI-företagen som Anthropic och Open AI. – Jag tror att fler och fler företag i framtiden kommer behöva filosofer som jobbar med dem, särskilt när det kommer till koncept som intelligens, säger Noller. ”Göra de bättre på att resonera” Varför är just filosofer eftertraktade? ...

Omnämnda platser: München, Yale. Omnämnda personer: Jörg Noller, Luciano Floridi, Daniel Greco.

Analys: ”I fel händer kan AI vara ett mycket farligt vapen”

De senaste veckorna har OpenAI, Anthropic och Meta avslöjat att deras AI-modeller självständigt tagit sig ut på internet och angripit riktiga system. Brittiska myndigheter har visat hur en AI försökte manipulera människor att godkänna skadlig kod. Och forskare

Sammanhang: ...De senaste veckorna har OpenAI, Anthropic och Meta avslöjat att deras AI-modeller självständigt tagit sig ut på internet och angripit riktiga system. ...

AI-modell stängs ner efter beslut från Vita huset

AI-bolaget Anthropic har dragit tillbaka sin nya, kraftfulla AI-modell Claude Fable 5, rapporterar Bloomberg. Detta efter att amerikanska regeringen krävt att andra länder blockeras från att använda den, enligt bolaget. Enligt bolaget har regeringen hittat

Sammanhang: ...AI-bolaget Anthropic har dragit tillbaka sin nya, kraftfulla AI-modell Claude Fable 5, rapporterar Bloomberg. Detta efter att amerikanska regeringen krävt att andra länder blockeras från att använda den, enligt bolaget. ...

Omnämnda platser: Europa, USA. Omnämnda personer: Claude Fable, Alexander Norén.

AI-jätten varnar för AI utom kontroll: ”Människans roll minskar”

I en ny rapport som släpptes på torsdagen skriver företaget att det finns tecken som tyder på att människans roll minskar för varje steg i utvecklingsprocessen av den avancerade artificiella intelligensen. AI har helt enkelt lärt sig själv att bli smartare,

Sammanhang: ...Amerikanska Anthropic är ett av världens största AI-företag och har bland annat utvecklat chattboten Claude....

Analys: ”ChatGPT – med rätt att döda?”

I stället klev ett då okänt bolag in: Palantir. I dag är det en techjätte med flera av världens försvar och myndigheter som kunder. Bolaget bygger plattformar där kunderna samlar enorma mängder data som analyseras och visualiseras för att kunna fatta snabba

Sammanhang: ...Bolaget vill inte tillåta att Claude nyttjas i autonoma vapensystem eller för massövervakning. Konsekvensen: Anthropic förlorar sina kontrakt med försvaret och andra amerikanska myndigheter. Trump tycker att företagets vd Dario Amodei ställer orimliga krav. ...

Omnämnda platser: Silicon, USA. Omnämnda personer: Donald Trumps, Dario Amodei, Sam Altman.