John Searle tänker fel rörande AI-risk

Forskning och Framsteg hade i nummer 7/2015 en artikel om artificiell intelligens (AI), som bland mycket annat återgav en enligt min mening förfelad argumentation av John Searle. Detta framhöll jag i ett inlägg här på bloggen, men avstod från att förklara detaljerna, för att istället ge en framåthänvisning till min kommande bok Here Be Dragons (Oxford University Press, januari 2016) i vilken det searleska resonemanget vederläggs utan prut eller pardon. När redaktionen för Forskning och Framsteg fick se detta hörde de av sig med inbjudan om att i en kort replik förklara vad jag menar. Jag försökte skriva så kort jag kunde utan att tumma alltför mycket på vare sig begriplighet eller min önskan att göra reklam för min bok, vilket inte var lätt. Repliken kortades ned en del ytterligare inför publiceringen i det nya nummer 8/2015 av Forskning och Framsteg, vilket gör att den publicerade versionen balanserar på (eller bortom) det begripligas gräns.¹ Nedan min ursprungliga lite längre version. För närmare förklaring hänvisar jag som sagt till Here Be Dragons.

* * *

"Möt forskarna som menar att maskinerna aldrig kan bli så smarta som vi" heter det på omslaget till FoF 7/2015, och i den åsyftade artikeln får vi bl.a. möta filosofen John Searle, som med stöd i sitt kända tankeexperiment det kinesiska rummet från 1980 hävdar att en dator inte kan ha verkligt medvetande, verkliga intentioner eller verklig vilja. Därför, menar han, behöver vi inte oroa oss för det slags undergångsscenarier som Nick Bostrom skisserat, där den första superintelligenta maskinen programmerats att ha en specifik målsättning, t.ex. maximering av framtida gemproduktion, vilket får den att bestämma sig för att genast utrota mänskligheten, då den ju helt korrekt förutsett att vi annars skulle försöka stoppa dess planer på att omvandla hela solsystemet (inklusive oss människor) till en jättelik hög med gem.

Searle, som lade fram samma kritik i New York Review of Books förra året, misstar sig dessvärre på vad hans kinesiska rummet-argument landade i. Man kan ha invändningar mot kinesiska rummet (vilket jag har) men om vi för resonemangets skull accepterar dess slutsatser, så handlar dessa enbart om datorns inre upplevelser (vilka enligt Searle är noll och intet), och inte om dess agerande utåt. Searle medgav själv i den debatt som följde på hans ursprungliga artikel 1980 att vad hans argument anbelangar är det fullt tänkbart att det går att programmera en dator så att den beter sig som om den hade en människas fulla uppsättning av intentioner, viljor, önskningar, etc. Mot dessa skenbara intentioner, viljor och önskningar svarar då vissa beräkningsstrukturer som vi kan kalla z-intentioner, z-viljor och z-önskningar ("z" som i "zombie"). Vi kan tänka oss att när Bostroms gem-undergång drar igång med robotar som urskiljningslöst avrättar människor så kommer panik att utbryta, men då kommer Searle att stå där och ropa "Lugn allesammans! Robotarna skjuter oss, men det är inte för att de har några verkliga intentioner att göra det. De är själlösa maskiner som blott har z-intentioner!" Detta kommer för oss andra att vara en ganska klen tröst.

I min bok Here Be Dragons: Science, Technology and the Future of Humanity, som utkommer på Oxford University Press i januari, ägnar jag flera längre avsnitt åt risker i samband med ett eventuellt framtida genombrott inom artificiell intelligens, inklusive en fördjupande diskussion kring datormedvetande, det kinesiska rummet, och de förhastade slutsatser som John Searle drar i detta sammanhang.

Fotnot

1) Min förkortade replik i Forskning och Framsteg publicerades tillsammans med en av fysikern Ulf Danielsson, där han (precis som någon månad tidigare i sin bloggpost Dum, dummare, robot) redovisar en ståndpunkt motsatt min och mer i linje med Searles.

Edit 12 oktober 2015 kl 18:00: Blott timmar efter denna bloggpost har Ulf skrivit ett svar, där han zoomar in på vad han menar är vår grundläggande meningsskiljaktighet i fråga om medvetandets natur. Våra respektive positioner förtjänar nog att preciseras ytterligare, och i själva verket tror jag att det finns mer som förenar oss än som skiljer oss åt i denna fråga. Jag borde (trots att jag har det aningen körigt just nu) försöka samla mig till ett svar där jag lite närmare klargör vad jag menar.

Edit 14 oktober 2015: Nu har jag levererat det halvt utlovade svaret.