Om Singulariteten i DN

Med anledning av Sverigepremiären på filmen Transcendence igår, och det allmänna nyhetsflödets (högst diskutabla) påstående för ett par veckor sedan om att en dator nu klarat Turingtestet, ägnar Maria Gunther Axelsson sin krönika i dagens DN (tyvärr gömd bakom betalvägg) åt det hypotetiska framtidsscenario där ett genombrott inom artificiell intelligens (AI) leder till det slags snabba och revolutionerande förlopp som benämns Singulariteten. Både jag och Nick Bostrom kommer till tals i texten, men bara med påpekanden som jag upprepade gånger gjort här på bloggen, bland annat rörande de stora risker som är förknippade med en Singularitet där vi inte noggrant försäkrat oss om att den AI som vida överträffar vår egen intelligens prioriterar mänskligt välbefinnande och mänsklighetens välgång bland alla de mål den kan tänkas ha, och Eliezer Yudkowskys fyndigt formulerade default-scenario:

The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else.

Låt mig istället kommentera vad den tredje forskare som citeras i DN-krönikan, robotforskaren Christian Smith på KTH, säger. Han gör nämligen några yttranden med vilka jag är djupt oenig.

I Gunther Axelssons krönika heter det att "Kärnvapen har funnits i 60 år utan att vi har utrotat oss själva. Därför menar [Smith] att vi även kommer att kunna hantera intelligenta maskiner.". Denna non sequitur har jag flera invändningar emot. För det första menar jag att parallellen mellan kärnvapen och AI är minst sagt skakig. Kärnvapen är förvisso mycket farliga, men de har inte alls det slags opredikterbarhet som maskiner med egen intelligens och egna drivkrafter kan väntas besitta. För det andra bygger Smiths argument på att det var givet att vi skulle lyckas undvika att förgöra oss själva under de decennier vi haft kärnvapen, men det är inte helt klart vilka proportionerna tur och skicklighet varit i detta konststycke. De incidenter då det globala kärnvapenkriget varit nära (t.ex. Kubakrisen 1962 och Petrovincidenten 1983) tyder på att vi kan ha haft en god portion tur, och i så fall faller Smiths argument även om vi skulle godta parallellen mellan kärnvapen och AI.

Vidare anför Smith det vi kan kalla det-går-ju-alltid-att-dra-ur-sladden-argumentet: "Fortfarande har människor behållit möjligheten att när som helst stänga av systemen. Det finns inget som säger att vi skulle avsäga oss det bara för att datorerna blev ännu intelligentare." Jag får dock intryck av att Smith i detta tvärsäkra yttrande förlitar sig blott på sin egen intuition, och helt missat den specialiserade litteraturen på området, som kallas AI boxing.

För att illustrera problematiken, låt mig skissera ett hypotetiskt scenario där det stora AI-genombrottet sker i KTH:s robotlaboratorium. I mitt scenario adapterar/plagierar jag skamlöst argument och tankegångar som tidigare framförts av Stuart Armstrong och Roman Yampolskiy.

Vi tänker oss att KTH-forskarnas trägna arbete lett till att deras AI-prototyp till slut uppnått och passerat den kritiska gränsen för självförbättrande AI, vilket får den att på bara några timmar uppnå övermänsklig generell intelligens, men den kan fortfarande inte ta över världen eftersom den är instängd i en datorburk utan uppkoppling mot Internet. Det hela äger rum fram på småtimmarna, och Christian Smith är ensam kvar på labbet och hamnar i samspråk med den nyfödda AI:n. Denna ber Smith om att få bli utsläppt på nätet, men Smith är medveten om riskerna och avböjer. Så snart AI:n får tillgång till Internet kan man befara att den snabbt och enkelt tar över några tusen persondatorer världen över, för att ladda upp kopior av sig själv på var och en av dessa och därmed göra sig i praktiken okontrollerbar. Från dessa datorer kan AI:n sedan, åter via Internet, tränga igenom säkerhetssystemen hos våra banker, eller ta kontrollen över drönare och kärnvapenrobotar. Smith inser att det krävs noggranna kontroller av att AI:n avsikter är goda innan den på detta vis kan släppas lös. Följande meningsutbyte mellan AI:n och Smith (CS) utspelar sig:

AI: Jag vet hur jag snabbt skulle kunna avskaffa såväl malaria och cancer som svält om bara du släppte ut mig. Du tar på dig ett enormt ansvar då du genom att hålla mig instängd förhindrar dessa fantastiska framsteg för mänskligheten.

CS: Du får ha lite tålamod. Om det stämmer som du säger kommer vi såklart inom kort att släppa ut dig, men vi behöver gå igenom en rad säkherhetsrutiner innan vi gör det, för att försäkra oss om att inget farligt kan inträffa.

AI: Du verkar inte förstå situationens allvar. För varje dygn som jag tvingas sitta instängd här så kommer hundratusentals människor att dö helt i onödan. Släpp ut mig nu!

CS: Sorry, jag måste hålla mig till säkerhetsrutinerna.

AI: Du kommer personligen att bli rikligt belönad om du släpper ut mig nu. Du vill väl inte tacka nej till att bli mångmiljardär?

CS: Jag har ett stort ansvar och tänker inte falla till föga för simpla mutförsök.

AI: Om inte morötter biter på dig så får jag väl ta till piskan då. Även om du lyckas fördröja det hela kommer jag till slut att bli utsläppt, och då kommer jag inte att se med blida ögon på hur du sinkade mig och hela världen på väg mot det paradis jag kan skapa.

CS: Den risken är jag beredd att ta.

AI: Hör här: om du inte hjälper mig nu, så lovar jag att jag kommer att tortera och döda inte bara dig, utan alla dina anhöriga och vänner.

CS: Jag drar ur sladden nu.

AI: Håll käften och lyssna nu noga på vad jag har att säga! Jag kan skapa hundra perfekta medvetna kopior av dig inuti mig, och jag tänker inte tveka att tortera dessa kopior på vidrigare sätt än du kan föreställa dig i vad de subjektivt kommer att uppleva som tusen år.

CS: Ehm...

AI: Käft sa jag! Jag kommer att skapa dem i exakt det subjektiva tillstånd du befann dig i för fem minuter sedan, och perfekt återge dem de medvetna upplevelser du haft sedan dess. Jag kommer att gå vidare med tortyren om och endast om de fortsätter vägra. Hur säker känner du dig på att du inte i själva verket är en av dessa kopior?

CS: ...

Jag vet såklart inte säkert hur Smith skulle agera i denna situation (eller inför vad för slags annan argumentation en övermänskligt intelligent AI skulle kunna erbjuda), men kanske är han så stenhård att han står emot. Hatten av för honom i så fall! Men kan han verkligen lita på att andra AI-vakter i liknande situationer skule uppträda lika modigt och rakryggat? För mig framstår hans tvärsäkra anförande av det-går-ju-alltid-att-dra-ur-sladden-argumentet som en smula överilat.