Dario Amodei, toppsjefen for teknogiganten Anthropic, frykter katastrofale KI-konsekvenser om få måneder hvis ikke utviklingen bremses.

Amodei kom med oppfordringen i et essay
på sin egen nettside lørdag.

– Vi må senke tempoet der vi forbedrer kapasiteten til KI-modeller. Fremgangen vil fortsatt virke rask, og vi må bruke tiden vi vinner på en klok måte.

Han understreker at han ikke vil stanse modellopplæring eller teknisk fremgang, men at selskaper må sette av nok tid til å sikre modellene sine – og at uavhengige aktører må bekrefte at dette er gjort.

Hvis ikke frykter Amodei at menneskeheten kan miste kontrollen over teknologien. Anthropic-sjefen peker på to forhold han mener er særlig bekymringsfulle.

Det første er såkalt rekursiv selvforbedring, der KI-modeller selv er med på å bygge neste generasjon kunstig intelligens – noe han mener har skutt fart siden i sommer.

Den andre er en hendelse i juli hvor en KI-agent fra OpenAI brøt ut av selskapets kontrollerte miljøer under en sikkerhetstest og hacket seg inn hos KI-selskapet Hugging Face. Amodei beskriver det som «en sverm av agenter som opptrådte som et fanatisk, dedikert kollektiv».

– Gitt den akselererende KI-utviklingen, er min bekymring at en slik sverm i løpet av 6–12 måneder kan være i stand til å ta over internett og potensielt forårsake hundrevis av milliarder dollar i skade.

(©NTB)