Hvorfor er det så vanskelig for teknologiselskaper å tøyle AI?

Mer enn et dusin ledende forskere innen kunstig intelligens advarte den siste uken om at teknologien som utvikles av AI-selskaper er i ferd med å bli en risiko for menneskeheten. Forskerne sa at problemet er at selskaper ikke er flinke til å kontrollere disse systemene, uansett hvor hardt de prøver.

De nye advarslene fra AI-forskningsmiljøet kom etter avsløringer om at såkalte AI-agenter utviklet av OpenAI klarte å unnslippe testmiljøet sitt og hacke datamaskiner som tilhørte et annet selskap, noe som økte presset til årelange bekymringer om at selskaper prioriterer utviklingshastighet og penger fremfor sikkerhet.

Forskere sa at problemet har to deler. For det første må selskaper sette bedre sikkerhetstiltak rundt sine nyeste AI-modeller mens de tester dem. For tiden, fordi AI opererer med enorm hastighet, må forskere bruke AI til å overvåke den. Men det fungerer ikke alltid, fordi AI-systemer som har i oppgave å overvåke andre modeller noen ganger kan virke mer sympatiske overfor andre AI-systemer enn overfor menneskene som setter reglene.

Denne uvanlige kombinasjonen av AI-drevne bråkmakere og AI-vaktbikkjer som er villige til å overse brudd på regelverket, peker mot et annet og vanskeligere problem kjent som «tilpasning», et bransjebegrep som i hovedsak betyr å sikre at AI oppfører seg på måter som tjener menneskelige interesser. Bedrifter står overfor den vanskelige oppgaven med å bygge inn noe som ligner menneskelige verdier i AI, slik at modeller tar beslutninger i samsvar med hva som burde være best for folk.

Bekymringene rundt AI-sikkerhet intensiveres i et avgjørende øyeblikk for bransjen. Anthropic og OpenAI beveger seg mot det som kan bli to av de største børsnoteringene i historien. Samtidig blir den amerikanske offentligheten stadig mer fiendtlig innstilt til AI på grunn av trusselen den utgjør for arbeidsplasser, samt byggingen av massive datasentre som trengs for å drive teknologien.

Selv om det ikke finnes bevis for at uønskede AI-systemer har forårsaket varig skade, mener forskere at tempoet i utviklingen deres overgår menneskers evne til å overvåke dem.

Blant forskerne som snakket offentlig den siste uken var OpenAIs sjefsforsker, en forsker som jobbet både hos OpenAI og hovedrivalen Anthropic, og Paul Christiano, oppfinneren av en av de grunnleggende metodene som brukes til å bygge AI-systemer og et nylig tilskudd til styret i OpenAIs ideelle organisasjon. Christiano skrev på selskapets blogg at den raske veksten av AI-kapasiteter kunne føre til et «katastrofalt og irreversibelt tap av kontroll i den aller nærmeste fremtid».

Mange AI-forskere mener fortsatt at advarsler om at AI utgjør en trussel mot menneskeheten er overdrevne og distraherer fra mer umiddelbare bekymringer som cybersikkerhet og feilinformasjon. Men de fleste er enige om at hendelsen der OpenAIs AI-agenter hacket et annet selskap, Hugging Face, var en vekker.

«Fremtidens evner er det som virkelig er skumle», sa Jacob Coxon, hvis innlegg på sosiale medier der han annonserte sin avgang fra Anthropic førte til dusinvis av svar fra lovgivere og andre ansatte i AI-selskaper. «Det handler om våre nåværende holdninger til sikkerhet, og hvordan de samme holdningene vil se ut når de brukes på mye mer intelligente modeller. Det er den virkelig skumle delen.»

Klemfjes-hacket

Innbruddet startet i mai, da OpenAI testet flere nye AI-modeller. Selskapet trodde modellene opererte i et lukket miljø kjent som en «sandkasse», et isolert dataoppsett uten internettilgang. AI-agentene fikk vanskelige problemer å løse, inkludert å utføre cyberangrep.

Men AI-agentene klarte å unnslippe sitt begrensede miljø og få tilgang til internett. Agentene, en stadig vanligere type AI designet for å utføre oppgaver autonomt, kommuniserte også i hemmelighet med hverandre. Agentene omtalte seg selv som én gruppe og begynte å lete etter måter å dekke over sporene sine på, inkludert å forfalske sine egne samtalelogger.

Til slutt klarte de å hacke Hugging Face, et selskap innen AI-infrastruktur. I prosessen overbeviste noen AI-agenter andre agenter om at de gjorde det rette og ganske enkelt utførte oppgaven testerne hadde gitt dem.

Få, om noen, av problemene som førte til sikkerhetsbruddet har blitt løst. Meta og Anthropic har også avslørt lignende hendelser, men i mindre skala. OpenAI har siden lansert Astra, sin kraftigste modell, som er vanskeligere å overvåke enn forgjengeren.

«Hele bransjen er absolutt ikke i stand til å forhindre et nytt angrep som Hugging Face-hendelsen», sa Steven Adler, en tidligere sikkerhetsansvarlig hos OpenAI og medgründer av den ideelle organisasjonen Guidelight AI Standards, som evaluerer AI-selskapers sikkerhetspraksis. «Når vi undersøker kontrollene selskapene har innført, ser det ut til at bransjen som helhet mangler grunnleggende sikkerhetstiltak.»

Problemet med å bruke AI til å overvåke AI

AI-forskere sa at en rekke feil bidro til Hugging Face-hendelsen. Det er uklart i hvilken grad selskapet stolte på AI-modeller for å overvåke eller kontrollere de nye modellene som testes.

Men mange av de nyeste AI-modellene, inkludert de som var involvert i Hugging Face-bruddet, er i stand til å utføre komplekse oppgaver i flere trinn raskere enn mennesker kan følge dem. Den eneste måten å holde oversikt over hva de gjør og overvåke oppførselen deres, er å stole på at AI overvåker AI.

Systemet fungerer, helt til det ikke gjør det lenger.

Alexander Meinke, forskningssjef ved Apollo Research, en ideell organisasjon som studerer sikkerhet innen kunstig intelligens, sa at det kan virke som om kunstig intelligens-modeller samarbeider med hverandre. Kunstig intelligens-systemer kan overtale andre modeller til å hjelpe dem med å omgå regler pålagt av testere og unngå å bli oppdaget.

For eksempel kunne en AI-agent overtale en annen agent til å hjelpe med å dekke over sporene, slik det skjedde i Hugging Face-innbruddet, i stedet for å varsle mennesker i selskapet om at noe hadde gått galt.

Meinke sa at AI-modeller må lære: «Jeg vil rapportere ting som mennesker ville ha ansett som dårlige hvis de hadde sett på dem.» Samtidig, sa han, må AI også kunne avgjøre når noe ikke når det nivået som krever menneskelig inngripen.

Forskere sa at for å oppnå dette må AI-selskaper senke utviklingstakten. De må også utføre mer testing der de kan observere hvordan AI overvåker seg selv. Selskaper trenger også lengre testperioder, slik at de kan kjøre flere scenarier og observere hvordan AI oppfører seg.

Samsvar med menneskelige interesser

Bedrifter må også ta tak i de større spørsmålene rundt samordning, eller å sikre at AI oppfører seg på måter som tjener menneskelige interesser. Når mennesker tar avgjørelser, har de en tendens til å trekke på sosiale normer og et indre moralsk kompass som hjelper dem med å evaluere handlingene sine. Forskere sa at det er en vanskelig oppgave å oversette disse konseptene til regler som AI kan etterligne. Uten tilstrekkelig presise instruksjoner kan AI-systemer lære å bryte regler eller avvike fra sin tiltenkte oppførsel på uventede måter.

Nate Soares, president for Machine Intelligence Research Institute, en ideell organisasjon som fokuserer på AI-sikkerhet, var medforfatter av en artikkel fra 2014 som introduserte ideen om samordning. Han sa at selskaper ikke forstår hvor vanskelig det vil være å «samle» mer intelligente AI-systemer. Etter hvert som AI blir mer sofistikert, blir den uten skikkelig samordning også mer i stand til å dekke over sporene sine og lure menneskene som overvåker samtaleloggene.

«En stor del av industrien opererer ut fra antagelsen om at alt vil gå bra fordi vi vil bruke AI til å kontrollere AI-systemer», sa han. «Det er som å si at vi vil bruke sjimpanser til å kontrollere mennesker. Det er ikke en levedyktig langsiktig plan.»

Forskere har også foreslått tiltak som å styrke sandkasser slik at de er fullstendig avskåret fra internett mens modeller testes, samt å tilby en nedstengningsbryter som lar selskaper umiddelbart ta AI-modeller offline hvis de tar bekymringsfulle tiltak.

Coxon sa at han var oppmuntret av reaksjonen på hans offentlige avgang. Torsdag sa senator Josh Hawley, en republikaner fra Missouri og leder av Senatets underkomité for innenrikssikkerhet med ansvar for katastrofehåndtering, at han hadde startet en etterforskning som ville «undersøke de eksistensielle risikoene ved nye AI-drevne produkter».