AI-jätten går mot börsen – varnar samtidigt för teknikens existentiella risker för mänskligheten

Anthropic är påväg till börsen, samtidigt varnar bolaget investerarna för att allt kraftfullare AI kan innebära ”katastrofala eller existentiella risker för mänskligheten” – och för modeller som i tester har försökt undvika avstängning, manipulera information

Sammanhang: ...Enligt Reuters uppskattar Anthropics säkerhetsforskare, Evan Hubinger, sannolikheten för att AI orsakar människors död inom det närmaste decenniet till över 10 procent. ...

Omnämnda personer: Evan Hubinger, Jacob Coxon.

De tror faktiskt på AI-apokalypsen

”Jacob har rätt här – vi tror verkligen uppriktigt att AI skulle kunna utrota hela mänskligheten! Personligen tror jag att sannolikheten är >10 % inom det kommande decenniet. Jag tror att Anthropic gör sitt bästa, men vi har ännu ingen plan för att lösa problemet

Sammanhang: ...Jag tror att Anthropic gör sitt bästa, men vi har ännu ingen plan för att lösa problemet med alignment för superintelligens och är inte tydligt på väg att göra det”, skrev Evan Hubinger, som leder Anthropics alignment-forskning. Och när helgen kom publicerade Anthropics vd Dario Amodei en essä där han förespråkar en inbromsning av AI-utvecklingen för att riskhanteringen ska hinna med. ...

Omnämnda platser: Slate, Lesswrong, Amodei. Omnämnda personer: Donald Trump, Elon Musk, Jacob Coxon.

Varnar: Räcker inte att bromsa – AI måste stoppas

I helgen publicerade AI-jätten Anthropics vd Dario Amodei ett långt blogginlägg där han uppmanade till en gemensam inbromsning av AI-tekniken. “Vi måste sakta ner takten med vilken vi förbättrar AI-modellernas förmågor. Framstegen kommer fortfarande attverka

Sammanhang: ...Enligt en annan högt uppsatt forskare på Anthropic, Evan Hubinger, är risken ”större än tio procent” att det sker inom de kommande tio åren. Ganska osannolikt Andra avfärdar domedagsprofetiorna...

Omnämnda platser: Meta, Amodei. Omnämnda personer: Sam Altman, Olle Häggström, Elon Musk.

Anthropics egna forskare: Över 10 procents risk att AI utplånar mänskligheten

En säkerhetsforskare lämnar Anthropic och anklagar bolaget för att spela med mänsklighetens liv. Timmar senare bedömer en kollega som fortfarande är anställd att sannolikheten för att AI dödar alla människor överstiger tio procent inom ett decennium. OchAnthropic

Sammanhang: ...Jag tror att Anthropic gör sitt bästa, men vi har ännu ingen plan för att lösa problemet med att anpassa superintelligensen och är inte tydligt på väg dit. Evan Hubinger, forskningsledare AI-anpassning, Anthropic enligt CNBC. Hubinger förtydligade att riskerna från nuvarande AI-modeller är låga. ...

Omnämnda personer: Jacob Coxon, Evan Hubinger.

Lämnar AI-företaget – varnar för mänsklighetens undergång

I en tråd på X skriver Coxon att många chefer och seniora forskare inom AI-branschen uttrycker större oro privat än offentligt. Han varnar för en kapplöpning mot superintelligent AI utan tillräcklig förståelse för hur systemen fungerar. Coxon uppmanar därför

Sammanhang: ...Coxon uppmanar därför AI-forskare att ifrågasätta utvecklingen och kräva bättre säkerhetsförutsättningar. Kritik mot uttalandet Evan Hubinger, säkerhetsforskare på Anthropic, bedömer risken för ett sådant scenario till omkring tio procent. ...

Omnämnda personer: Evan Hubinger.

Forskarens varning: AI kan döda oss alla inom tio år

Coxon lämnade sin tjänst vid Anthropic tidigare i veckan, efter att ha tillbringat de senaste tre åren med att träna AI-modeller i forskningssyfte på både Anthropic och konkurrenten OpenAI. På X varnar han nu för en farlig utveckling: ”Inget av bolagen agerar

Sammanhang: ...Anthropic-forskaren: Vi tror att AI kan döda oss Företrädare för företagen, forskare och chefer, som utåt sett tonar ner sina formuleringar för att framstå som förnuftiga, uttrycker samtidigt oro bakom stängda dörrar, enligt Jacob Coxon. ”På Anthropic är man väl införstådda om insatserna, men är låsta vid en kapplöpning om att komma först – de tror att ingen annan kommer att agera ansvarsfullt, så de måste göra det själva, trots risken”, skriver Coxon. Han får medhåll av Evan Hubinger, säkerhetsforskare på Anthropic. ”Vi tror verkligen på fullt allvar att AI skulle kunna döda alla människor”, skriver han på X och uppger att hans personliga bedömningen är att risken att det sker inom det närmaste årtiondet är över tio procent. ...

Omnämnda personer: Paulina Modlitba, Jacob Coxon, Evan Hubinger.

"AI-systemen kan förinta mänskligheten"

AI-forskare på Anthropic säger upp sig i protest Jacob Coxon har tidigare jobbat på OpenAI och var fram tills nyss AI-forskare på Anthropic. Nu har han i protest sagt upp sig då han säger att AI-bolagen "spelar med människors

Sammanhang: ...Enligt hans bedömning kan AI-kapplöpningen gör att saker går över styr redan i slutet av 2027. Anthropics säkerhetsforskare Evan Hubinger håller med Jacobs kritik och tror att sannolikheten är över tio procent inom det kommande decenniet. ...

Omnämnda platser: Skynet. Omnämnda personer: Jacob Coxon, Evan Hubinger.

AI-forskaren hoppade av i protest: ”Tekniken skulle kunna döda oss alla”

Jacob Coxon, som tidigare även jobbat på konkurrenten Open AI, anser att ingen av de båda AI-jättarna agerar ansvarsfullt. ”De som bygger AI tror på fullt allvar att det skulle kunna döda oss alla innan decenniets slut", skriver han på X. ”Skulle kunnadöda

Sammanhang: ...Jacob Coxon, som tidigare även jobbat på konkurrenten Open AI, anser att ingen av de båda AI-jättarna agerar ansvarsfullt. ”De som bygger AI tror på fullt allvar att det skulle kunna döda oss alla innan decenniets slut", skriver han på X. ”Skulle kunna döda alla” Han får medhåll av Evan Hubinger, säkerhetsforskare på Anthropic. ”Vi tror verkligen på fullt allvar att AI skulle kunna döda alla människor”, skriver Hubinger på X. ...

Omnämnda personer: Evan Hubinger, Jacob Coxon.

AI-experter slår larm: Dolda risker kan hota mänsklighetens framtid

Två AI-forskare med tydlig insyn i AI-företagens innersta varnar för en farlig utveckling. AI utgör ett reellt hot mot mänskligheten, anser de. ”Underskatta inte kraften i den här tekniken”, skriver AI-forskaren Jacob Coxon, som själv lämnat företaget Anthropic

Sammanhang: ...Jacob Coxon, som tidigare även jobbat på konkurrenten Open AI, anser att ingen av de båda AI-jättarna agerar ansvarsfullt. ”De som bygger AI tror på fullt allvar att det skulle kunna döda oss alla innan decenniets slut", skriver han på X. ”Skulle kunna döda alla” Han får medhåll av Evan Hubinger, säkerhetsforskare på Anthropic. ”Vi tror verkligen på fullt allvar att AI skulle kunna döda alla människor”, skriver Hubinger på X. ...

Omnämnda personer: Jacob Coxon, Evan Hubinger.

AI-forskare varnar: "Skulle kunna döda oss alla"

Jacob Coxon, som tidigare även jobbat på konkurrenten Open AI, anser att ingen av de båda AI-jättarna agerar ansvarsfullt. ”De som bygger AI tror på fullt allvar att det skulle kunna döda oss alla innan decenniets slut”, skriver han på X. ”Skulle kunnadöda

Sammanhang: ...Jacob Coxon, som tidigare även jobbat på konkurrenten Open AI, anser att ingen av de båda AI-jättarna agerar ansvarsfullt. ”De som bygger AI tror på fullt allvar att det skulle kunna döda oss alla innan decenniets slut”, skriver han på X. ”Skulle kunna döda alla” Han får medhåll av Evan Hubinger, säkerhetsforskare på Anthropic. ”Vi tror verkligen på fullt allvar att AI skulle kunna döda alla människor”, skriver Hubinger på X. ...

Omnämnda personer: Evan Hubinger.