Loe och Stoltenberg

Erlend Loes författarskap är lysande, och förmår slå an strängar i mitt känsloregister som ingen annan författare hittar. I romaner som Naiv. Super., Blåst, Fakta om Finland, Expedition L och Stilla dagar i Mixing Part (jag räknar enbart upp dem jag läst) skriver Loe om unga till medelålders vita norska män - män som är olyckliga, ofta enstöriga och lite naiva, och alltid vilsna inför mansrollen och/eller det skandinaviskt folkhemska samhället. Det nya i hans Fvonk från 2012 är att han skrivit in dåvarande statsminister Jens Stoltenberg som en av bokens båda olyckliga, enstöriga, naiva och vilsna huvudpersoner. Som vanligt blir jag absorberad av boken, men läsningen störs ändå lite av det nya greppet, och jag frågar mig då och då: vad kan Stoltenberg egentligen tycka om det här? Och får man verkligen göra så här med verkliga personer i skönlitterära alster?¹ Till en början tänker jag mig att han (Stoltenberg) nog kan vara lite road av att framställas som en vanlig skröplig människa som tyngs av sitt svåra och ansvarsfulla uppdrag, i synnerhet efter den fruktansvärda händelse som sommaren innan inträffat (boken ustpelar sig 2012) och som han visserligen hanterat så skickligt och landsfaderligt, men som likväl bidragit till (och kanske utlöst) hans utbrändhet. Men den tanken blir allt svårare att hålla fast vid i takt med att romanfiguren Jens uppvisar en alltmer osympatisk självupptagenhet, hans tilltag blir allt besynnerligare, och allt fler kroppsutsöndringar kommer in i handlingen. Till slut känns det hela lite i magstarkaste laget.

Fotnoter

1) Ja, det får man. Så vad jag menar med min fråga är snarare detta: hur långt kan man gå utan att tilltaget blir till en moraliskt tvivelaktig handling och ett övergrepp?

Jag har själv här på bloggen utsatt både filosofen Jean-Pierre Dupuy och datalogen Christian Smith för något liknande, då jag anslutit mig till vad jag uppfattar som en förtjusande filosofisk tradition att krydda tankeexperiment med att placera fiktiva versioner av meningsmotståndare och andra meddebattörer i diverse penibla situationer. Särskilt vanligt verkar vara att involvera Daniel Dennett och hans hjärna i tankeexperimenten; se t.ex. David Sanfords Where was I?, Michael Beatons What RoboDennett still doesn't know, och Eliezer Yudkowskys Zombies: The Movie.

Om Singulariteten i DN

Med anledning av Sverigepremiären på filmen Transcendence igår, och det allmänna nyhetsflödets (högst diskutabla) påstående för ett par veckor sedan om att en dator nu klarat Turingtestet, ägnar Maria Gunther Axelsson sin krönika i dagens DN (tyvärr gömd bakom betalvägg) åt det hypotetiska framtidsscenario där ett genombrott inom artificiell intelligens (AI) leder till det slags snabba och revolutionerande förlopp som benämns Singulariteten. Både jag och Nick Bostrom kommer till tals i texten, men bara med påpekanden som jag upprepade gånger gjort här på bloggen, bland annat rörande de stora risker som är förknippade med en Singularitet där vi inte noggrant försäkrat oss om att den AI som vida överträffar vår egen intelligens prioriterar mänskligt välbefinnande och mänsklighetens välgång bland alla de mål den kan tänkas ha, och Eliezer Yudkowskys fyndigt formulerade default-scenario:

The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else.

Låt mig istället kommentera vad den tredje forskare som citeras i DN-krönikan, robotforskaren Christian Smith på KTH, säger. Han gör nämligen några yttranden med vilka jag är djupt oenig.

I Gunther Axelssons krönika heter det att "Kärnvapen har funnits i 60 år utan att vi har utrotat oss själva. Därför menar [Smith] att vi även kommer att kunna hantera intelligenta maskiner.". Denna non sequitur har jag flera invändningar emot. För det första menar jag att parallellen mellan kärnvapen och AI är minst sagt skakig. Kärnvapen är förvisso mycket farliga, men de har inte alls det slags opredikterbarhet som maskiner med egen intelligens och egna drivkrafter kan väntas besitta. För det andra bygger Smiths argument på att det var givet att vi skulle lyckas undvika att förgöra oss själva under de decennier vi haft kärnvapen, men det är inte helt klart vilka proportionerna tur och skicklighet varit i detta konststycke. De incidenter då det globala kärnvapenkriget varit nära (t.ex. Kubakrisen 1962 och Petrovincidenten 1983) tyder på att vi kan ha haft en god portion tur, och i så fall faller Smiths argument även om vi skulle godta parallellen mellan kärnvapen och AI.

Vidare anför Smith det vi kan kalla det-går-ju-alltid-att-dra-ur-sladden-argumentet: "Fortfarande har människor behållit möjligheten att när som helst stänga av systemen. Det finns inget som säger att vi skulle avsäga oss det bara för att datorerna blev ännu intelligentare." Jag får dock intryck av att Smith i detta tvärsäkra yttrande förlitar sig blott på sin egen intuition, och helt missat den specialiserade litteraturen på området, som kallas AI boxing.

För att illustrera problematiken, låt mig skissera ett hypotetiskt scenario där det stora AI-genombrottet sker i KTH:s robotlaboratorium. I mitt scenario adapterar/plagierar jag skamlöst argument och tankegångar som tidigare framförts av Stuart Armstrong och Roman Yampolskiy.

Vi tänker oss att KTH-forskarnas trägna arbete lett till att deras AI-prototyp till slut uppnått och passerat den kritiska gränsen för självförbättrande AI, vilket får den att på bara några timmar uppnå övermänsklig generell intelligens, men den kan fortfarande inte ta över världen eftersom den är instängd i en datorburk utan uppkoppling mot Internet. Det hela äger rum fram på småtimmarna, och Christian Smith är ensam kvar på labbet och hamnar i samspråk med den nyfödda AI:n. Denna ber Smith om att få bli utsläppt på nätet, men Smith är medveten om riskerna och avböjer. Så snart AI:n får tillgång till Internet kan man befara att den snabbt och enkelt tar över några tusen persondatorer världen över, för att ladda upp kopior av sig själv på var och en av dessa och därmed göra sig i praktiken okontrollerbar. Från dessa datorer kan AI:n sedan, åter via Internet, tränga igenom säkerhetssystemen hos våra banker, eller ta kontrollen över drönare och kärnvapenrobotar. Smith inser att det krävs noggranna kontroller av att AI:n avsikter är goda innan den på detta vis kan släppas lös. Följande meningsutbyte mellan AI:n och Smith (CS) utspelar sig:

AI: Jag vet hur jag snabbt skulle kunna avskaffa såväl malaria och cancer som svält om bara du släppte ut mig. Du tar på dig ett enormt ansvar då du genom att hålla mig instängd förhindrar dessa fantastiska framsteg för mänskligheten.

CS: Du får ha lite tålamod. Om det stämmer som du säger kommer vi såklart inom kort att släppa ut dig, men vi behöver gå igenom en rad säkherhetsrutiner innan vi gör det, för att försäkra oss om att inget farligt kan inträffa.

AI: Du verkar inte förstå situationens allvar. För varje dygn som jag tvingas sitta instängd här så kommer hundratusentals människor att dö helt i onödan. Släpp ut mig nu!

CS: Sorry, jag måste hålla mig till säkerhetsrutinerna.

AI: Du kommer personligen att bli rikligt belönad om du släpper ut mig nu. Du vill väl inte tacka nej till att bli mångmiljardär?

CS: Jag har ett stort ansvar och tänker inte falla till föga för simpla mutförsök.

AI: Om inte morötter biter på dig så får jag väl ta till piskan då. Även om du lyckas fördröja det hela kommer jag till slut att bli utsläppt, och då kommer jag inte att se med blida ögon på hur du sinkade mig och hela världen på väg mot det paradis jag kan skapa.

CS: Den risken är jag beredd att ta.

AI: Hör här: om du inte hjälper mig nu, så lovar jag att jag kommer att tortera och döda inte bara dig, utan alla dina anhöriga och vänner.

CS: Jag drar ur sladden nu.

AI: Håll käften och lyssna nu noga på vad jag har att säga! Jag kan skapa hundra perfekta medvetna kopior av dig inuti mig, och jag tänker inte tveka att tortera dessa kopior på vidrigare sätt än du kan föreställa dig i vad de subjektivt kommer att uppleva som tusen år.

CS: Ehm...

AI: Käft sa jag! Jag kommer att skapa dem i exakt det subjektiva tillstånd du befann dig i för fem minuter sedan, och perfekt återge dem de medvetna upplevelser du haft sedan dess. Jag kommer att gå vidare med tortyren om och endast om de fortsätter vägra. Hur säker känner du dig på att du inte i själva verket är en av dessa kopior?

CS: ...

Jag vet såklart inte säkert hur Smith skulle agera i denna situation (eller inför vad för slags annan argumentation en övermänskligt intelligent AI skulle kunna erbjuda), men kanske är han så stenhård att han står emot. Hatten av för honom i så fall! Men kan han verkligen lita på att andra AI-vakter i liknande situationer skule uppträda lika modigt och rakryggat? För mig framstår hans tvärsäkra anförande av det-går-ju-alltid-att-dra-ur-sladden-argumentet som en smula överilat.