Tre svar på frågan om matematiker är mer benägna än andra att ta AI-risk på allvar

I Svenska Dagbladet igår löd rubriken Experterna: Så stor är risken för AI-domedag. Deras reporter Henning Eklund hade fått svar från ett 50-tal forskare inom relevanta områden på sin fråga om deras så kallade P(doom), vilken han valt att definiera som "procentsiffran för hur sannolikt det är att avancerad AI före 2050 orsakar mänsklighetens utrotning – eller en jämförbart permanent och allvarlig förlust av mänsklig kontroll över framtiden". Artikeln är intressant, och svaren spretar åt alla håll.

Flera av de AI-riskförnekare som citeras i artikeln ger remarkabelt dåliga motiveringar till sina svar, men priset går nog till Panagiotis Papapetrou vid Stockholms universitet, som "sätter katastrofrisken till noll, eftersom det inte tydligt har visats att AI-system avsiktligt kan kringgå säkerhetsåtgärder, dölja sina avsikter eller agera på sätt som människor inte kan kontrollera". Papapetrou begår här, om hans resonemang är korrekt återgivet av Eklund, ett märkligt dubbelfel. För det första är det rent ut sagt bisarrt att efter allt som kommit fram kring Hugging Face-incidenten hävda att det "inte tydligt har visats" att AI-system har de förmågor som Papapetrou räknar upp, och man kan i sitt stilla sinne undra hur hårt han haft sitt huvud nedkört i sanden de sista fyra månaderna. Läser han inte nyheter alls? För det andra vilar hans slutsats om att katastrofrisken därmed skulle var noll på ett mäkta underligt bruk av sannolikheter. Om Bajen skall möta Blåvitt nästa måndag i fotbollsallsvenskan, och det "inte tydligt har visats" att Blåvitt har kraft att ta sig samman och besegra ett lag som Bajen så här sent på säsongen, så kan man såklart inte härav dra slutsatsen att sannolikheten att Blåvitt vinner matchen är noll, men det är den logiken Papapetrou av allt att döma begagnar.

Rörande oss som besvarat Eklunds enkät och som ger högre värden på P(doom) gör han en intressant observation, nämligen att de tre högsta värdena samtliga kommer från matematiker på Chalmers. Detta fick honom att höra av sig till oss tre det handlar om - Torbjörn Lundh, Johan Wästlund och mig - med en fråga om vad vi tror detta kommer sig. Är det ett lite slumpartat lokalt Chalmersfenomen, eller finns det något mer generellt hos matematiker som får oss att göra andra bedömningar om AI-risk. Han fick den 3-4 november svar från oss alla tre, men fick i sin artikel inte plats med mer än ganska telegrafiska återgivningar av några av våra poänger. Svaren pekar i lite olika riktningar, men är alla enligt min mening belysande, så med Torbjörns och Johans tillåtelse publicerar jag här de tre svarsbreven - först mitt eget, följt av Johans och till sist Torbjörns.

*

Hej Henning

Bra fråga! Det vore mig fjärran att föreslå att matematiker är allmänt klarsyntare än andra, även om det kan se så ut just i detta enskilda fall.

Men om en stor andel av de tillfrågade i din enkät kommer från datavetenskapsinstitutioner har jag ett förslag till sociologisk förklaring till varför de gör sämre bedömningar i dessa frågor - så att på så vis vi matematiker i jämförelse med dem hamnar i bättre dager.

Jag har länge (men för all del blott anekdotiskt) noterat en irrationell tendens hos många forskare att vägra diskutera konsekvenserna av en teknik mer avancerad än den som finns redan idag, och att denna tendens verkar vara extra stark hos datavetare. Det kan ha att göra med AI-forskningens historia. Från dess begynnelse på 1950-talet fram till i dag har denna forskning delvis gått i vågor. Två svackor, som varade 1974–1980 och 1987–1993, blev så djupa att de numera benämns första och andra AI-vintern. I efterhand ansågs nedgångsperioderna bero på att man tidigare talat alltför vidlyftigt om framtida framgångar, vilket skapade förväntningar som inte gick att leva upp till, och resurserna ströps. Därmed uppstod ett slags tabu mot att ta ut forskningsframsteg i förskott genom att spekulera om framtida AI. Än i dag sitter minnet av AI-vintrarna kvar i väggarna i många akademiska forskningsmiljöer (trots att de forskare som faktiskt genomled AI-vintrarna mestadels är pensionerade eller rentav döda), och eftersom det på den tiden främst var vid datavetenskapliga institutioner som AI-forskning bedrevs är det naturligt att det är just vid dessa institutioner tabut lever kvar som starkast, ett tabu som gör det svårt för många datavetare att tänka rationellt kring AI-risk. För den som ålägger sig en restriktion mot att tala om mer avancerad AI än dagens uppstår lätt ett implicit antagande om att utvecklingen inom kort kommer att avstanna, och givet ett sådant antagande är det såklart lätt att avfärda existentiell AI-risk.

Jag kan naturligtvis inte vara bombsäker på riktigheten i min sociologiska förklaringmodell, men jag tror tillräckligt mycket på den för att känna mig bekväm med att du citerar mig om saken i SvD.

Mvh,

Olle

*

Hej Henning! (och Olle och Torbjörn)

Jag känner Olle och Tobbe sedan många år och det går inte att utesluta viss påverkan från kollegorna (även om vi sällan ses i fikarummet). Men för oss tre tror jag absolut att våra höga riskbedömningar har att göra med ett matematiskt tankesätt.

För egen del fascinerades jag redan i tonåren av principen att vilken beräkning som helst kan beskrivas i ett enkelt programmeringsspråk som Pascal. Jag satt i gymnasieskolans datasal under några eftermiddagar och skrev ett program som spelade luffarschack. Programmet gjorde inga sökningar framåt i spelet utan poängsatte varje tom ruta enligt ett system utifrån hur bra ett drag skulle bidra till en egen vinnande femma respektive blockera motståndaren. Sedan satte det sitt kryss eller sin ring i rutan med högst poäng. Vid lika poäng valde det slumpmässigt, vilket gav viss variation.

Trots sin enkelhet kunde programmet överraska mig och mina klasskompisar när vi testade att spela. Det här var på 1980-talet, och det program jag hade rafsat ihop utan någon annan vägledning än skolboken i Pascalprogrammering var det närmaste artificiell intelligens någon av oss hade sett. Det var därför nästan omöjligt för oss att inte underskatta programmets förmåga. Vi förstod att en dator kunde göra matematiska beräkningar eller söka igenom en text och svara på hur många gånger en viss bokstav förekommer, men att en maskin skulle kunna överlista en människa i ett spel som luffarschack var nytt för oss.

Utifrån våra dåvarande erfarenheter tycktes även detta enkla spel kräva planering, målmedvetenhet och förståelse för motståndarens avsikter. Hur kunde sådant rymmas inom de få raderna Pascalkod som utgjorde mitt program? Hur kunde datorn ha en vilja att vinna? Hur kunde den förstå att en dubbel fri trea vinner om motståndaren inte kan skapa en fyra? Och hur kunde den veta vad jag hade tänkt göra?

Jag som hade skrivit programmet insåg förstås att illusionen av medvetande, vilja, förståelse, planering och psykologi bara var en konsekvens av mitt poängsystem, men det var ändå slående. Tanken att min egen hjärna kanske på liknande sätt var en produkt av en enkel beräkning som upprepades miljarder gånger gick inte att komma ifrån.

Parallellt med detta läste jag Richard Dawkins böcker om evolutionen, William Poundstones The Recursive Universe, och så småningom Gödel, Escher Bach av Douglas Hofstadter. En bild växte fram av livets kemi som beräkningar, och omvänt matematiken som förmögen att skapa obegränsat komplexa system. Min hobbyprogrammering ledde till experiment med cellulära automater, ett slags leksaksvärldar med egna naturlagar, där det ibland spontant uppstod självreproducernde strukturer som snabbt spred sig över hela min datorskärm och dominerade allt annat.

Åren gick och så småningom vande vi oss vid att datorer var bra på schack och mycket annat, men vi underskattar fortfarande intuitivt möjligheter som vi ännu inte har sett. Ingen har sett en robot bygga en ny likadan robot efter att självständigt ha skaffat sig det material som behövs. Men vi vet sedan länge att det är möjligt. Det har bevisats av bland andra matematikerna John von Neumann och John Conway med hjälp av just cellulära automater. Kopplingen till Turingfullständighet, matematisk logik, och livets byggstenar med DNA och proteiner är fascinerande.

Relativt autonoma robotar med förmåga att lära sig att lösa fysiska uppgifter finns redan, och det är svårt att se någon begränsning för vad de kan åstadkomma. Många risker med AI kan identifieras: Massarbetslöshet, terrorhot, kollaps av internet osv. Till detta kan läggas risken att vi skapar en helt ny livsform: ett ekosystem av robotar som underhåller sig självt inklusive bygger nya robotar.

Det kanske inte låter så farligt. Ingen har sett en självkörande buss eller robotgräsklippare som inte människor med ganska enkla medel kan få stopp på. Men idén att vi alltid kan kontrollera robotar eftersom vi är smartare är lite som när min klasskompis trodde att han med en enkel fint kunde lura mitt luffarschackprogram. Det fungerar inte så. Programmet kan bestå av enkla instruktioner som upprepas, och ändå leda till ett beteende som ger sken av medvetande, egen vilja och förutseende.

För att återknyta till frågan om matematikers syn på AI-risk tror jag också att vi har en vana att acceptera logiken i att det som inte är omöjligt är möjligt. Om vi ska vara säkra på att våra nya industrirobotar inte kommer att utplåna jordens ekosystem, behöver vi kunna ange en begränsning i deras förmåga. Vi behöver beskriva någon typ av spelplan de inte kan lämna, på samma sätt som mitt luffarschackprogram inte kunde göra något annat än att spela luffarschack. Kan de bara röra sig längs en räls inom fabrikens väggar? Kan vi överblicka exakt vad de kan bygga? Saknar de information om omvärlden? Då kanske de är säkra. Men om vi bara tycker att en katastrof känns osannolik, då har vi ingen aning. Det räcker att en robot kan bygga en ny, så får vi en kedjereaktion som vi inte kan överblicka.

Hälsningar,

Johan

*

Hej Henning,

Jag har en lite liknande historia som Johan, även om jag inte kan berätta den lika levande, eller att den startade så tidigt som hans.

För mig började den när jag var postdoc i NY och vi fick en gästföreläsare från Caltech som berättade om sitt agentsystem som han döpt till Avida. Det var ett så kallat Artifical Life-system bestående av agenter som konkurrerade, fick avkommor med i vissa fall mutationer. Dvs de tre nödvändiga beståndsdelarna i evolution. Jag hade sedan något år blivit alltmer intresserad av matematisk biologi, men eftersom “Nothing in biology makes sense except in the light of evolution” enligt Dobzhansky, ville jag förstå mer av hur evolutionen fungerar. Problemet är bara det att det är så svårt att göra experiment med evolution eftersom det tar en så fruktansvärt lång tid. Så när jag fick se dessa Artificial Life-system blev jag begeistrad. Jag började till exempel fundera på hur evolutionär skriven kod (dessa program, eller dna) har en speciell stil.

Sedan fick jag en exjobbare som var väldigt duktig, Philp Gerlee, där vi studerade dessa system och också hittade på ett eget, Urdar.

Under denna tid fick jag en enorm respekt för hur bra evolutionen är att hitta lösningar, ofta helt oförutsedda lösningar, vilket också gör dessa agenter okontrollerbara om de får utveckla sig själva. Låter detta bekant? Och nu när vi står på randen till att låta något, eller några, företag i Kalifornien skapa iterativt självförbättrande AI-agenter.

Jag har också, liksom Olle, förundrats över hur svårt det kan vara att se detta, eller ens prata om dessa faror. Det är nästan som om det varit förbjudet att nämna det och det har gått lätt att skratta bort farhågor som science fiction. Nu efter Huggingface-incidenten är det lite svårare att skratta bort, även om det finns förnekare.

Att ge uppskattningar i en procentsiffra om p(doom) är väldigt svårt. Dels för att vi inte förstår hur dessa svarta lådor fungerar idag, dels för att vi ännu mindre kommer att förstå hur de fungerar om vi släpper självförbättring lös på odlandet av dessa lådor. Sedan är det en ytterligare svårighet i och med att insatserna är så astronomiskt höga att vi inte ens orkar eller vill ta till oss dessa risker. Och till sist, det går så otroligt snabbt, vilket gör att det som idag kan verka helt ofarligt, kan sluta vara så imorgon. Och då menar jag inte bildligt imorgon, utan torsdag 5 november. Dessa svårigheter kan till viss del belysas av dessa citat:

"The greatest shortcoming of the human race is our inability to understand the exponential function.” Al Barlett

"It is difficult to get a man to understand something, when his salary depends on his not understanding it." Upton Sinclair, 1934

Jag vill inte att vi ger upp och säger att AI inte längre kan stoppas. Det är fortfarande vi människor som har kontroll. Men vad jag skulle vilja se är en kontrollerad utveckling där vi satsar för fullt på smal-AI och förbjuder - av ren självbevarelsedrift - att skapa AGI. Dvs att vi ser till att plocka russinen ur kakan utan att ge bort kakan. Tiden är minst sagt mogen för det.

Hälsningar,

Torbjörn