I diskussion med Ulf Danielsson om medvetandets natur

Stimulerade av en artikel i Forskning och Framsteg 7/2015 har Uppsalafysikern Ulf Danielsson och jag råkat i diskussion om vad utvecklingen inom artificiell intelligens kan föra med sig, och om medvetandets natur. Vi började med varsin bloggpost (min, Ulfs), fortsatte med varsitt brev publicerat i Forskning och Framsteg 8/2015, och har denna vecka följt upp med ännu en bloggpost var (min, Ulfs).¹ I sin senaste bloggpost tar Ulf spjärn mot min argumentation då han lägger fram sin syn på medvetandet, och det kan tyckas som om vi står för diametralt olika synsätt. Jag tror emellertid att vi är mer överens än vad det först kan verka. Mycket av det Ulf skriver håller jag med om, men inte allt. För att klargöra detta tänker jag i det följande ta ställning till ett antal utsagor som Ulf gör i sin bloggpost.

*

UD: Till skillnad från Olle ställer jag upp på John Searles argument kring det kinesiska rummet. Jag menar helt enkelt att det finns fundamentala svårigheter när vi försöker förstå existensen av vårt subjektiva medvetande. Nuvarande vetenskap kan inte avgöra vilka system som har en subjektiv medvetenhet och kan därför heller inte skilja mellan en medveten varelse och en simulerande zombie. Detta är en avgörande brist vilken manar till försiktighet.

OH: Här håller jag med om nästan allt (inklusive i synnerhet maningen till försiktighet med att dra alltför tvärsäkra slutsatser om medvetandets natur) - och skulle hålla med om precis allt om det inte vore för att Ulf säger sig "ställ[a] upp på John Searles argument kring det kinesiska rummet". Jag anser att det kinesiska rummet är ett elegant tankeexperiment som snyggt illustrerar att (med Ulfs ord) "det finns fundamentala svårigheter när vi försöker förstå existensen av vårt subjektiva medvetande". Problemet är bara att Searle inte nöjer sig med denna slutsats - han hävdar att tankeexperimentet vederlägger den teori om medvetandet som benämns the computational theory of mind (CTOM) - och som (på ett ungefär) säger att medvetandet uppstår så snart vissa algoritmiska beräkningar implementeras, oavsett substrat (som t.ex. kan vara ett biologiskt nervsystem eller en elektronisk dator). Här har Searle enligt min mening fel - CTOM vederläggs på intet vis av det kinesiska rummet.² Som skäl för denna ståndpunkt ansluter jag mig i stora drag till det som kommit att kallas the systems reply, och som Douglas Hofstadter vältaligt försvarar i det svar på Searles originaluppsats som han lägger fram på sidorna 373-382 i den underbara antologin The Mind's I - ett svar som även finns återgivet på nätet.³

*

UD: Trots, och i linje med, min (och Searles) argumentation kan det ju i princip vara möjligt att bygga farliga datorer alldeles oavsett om de är medvetna eller ej. Som Olle påpekar blir ju diskussionen om deras medvetenhet tämligen akademisk om de tar över jorden och förintar oss allihop.

OH: Om mänsklighetens överlevnad är det viktiga, så är frågan om huruvida robotarna är medvetna eller blott zombier ett akademiskt sidospår - om detta är Ulf och jag överens. Ändå vill jag göra en liten reservation här, ty om vi lyfter oss från det renodlat antropocentriska perspektivet inser vi att frågan om robotarnas medvetande likväl kan vara enormt viktig - för robotarna. Antag att robotarna utrotar mänskligheten, och sedan går vidare med att kolonisera såväl solsystemet och Vintergatan som resten av det synliga universum. Om de saknar medvetande så skulle jag betrakta detta som ett gräsligt utfall - ett bortslösat universum. Om de däremot har medvetande, och om de därtill har långt större förmåga än vi människor att uppleva t.ex. skönhet, kärlek eller allmänt välbefinnande (eller vilka andra goda upplevelser som vi kanske inte ens har namn på eller kan föreställa oss), då kan man hävda att en sådan framtid faktiskt vore bättre än en där mänskligheten blomstrar. (Jag måste dock medge att jag tvekar en smula inför denna slutsats; se även min bloggpost Superintelligence odds and ends II: The Milky Way preserve för besläktade tankegångar.)

*

UD: Biologiska varelser är enormt mycket mer komplicerade än de maskiner som vi i praktiken kan konstruera och sätta ihop. När vi beskriver biologiska organismer använder vi vilseledande metaforer som antyder pedagogiskt konstruerade maskiner vilka inte på något sätt fångar kraften i miljarder år av evolution. Konsekvensen blir att vi på ett fundamentalt sätt underskattar svårigheterna - detta oavsett vad vi har för uppfattning om medvetandets roll.

OH: Den fråga som Ulf här diskuterar - den om huruvida det står i vår makt att bygga verkligt intelligenta maskiner - måste rimligtvis anses vidöppen. Det kan hända att Ulf har rätt på denna punkt, men det kan också hända att han har fel, ty visserligen är det sant att evolutionen tog eoner på sig att skapa intelligens, men det bevisar inte att det inte finns smarta genvägar för oss att tillgripa. Personligen lutar jag åt att byggandet av sådana maskiner ligger inom möjligheternas ram. Så här skrev jag om saken i en annan bloggpost för ett par månader sedan:

If we accept both naturalism and the Church-Turing thesis, then it is natural to think that intelligence is essentially an algorithmic property, so that if there exist superhumanly intelligent arrangements of matter, then there are computer programs that implement such intelligence. A nice framework for philosophizing over whether we could ever produce such a program is computer scientist Thore Husfeldt's recent image of the Library of Turing. Husfeldt used it to show that blind search in that library would no more be able to find the desired program than a group of monkeys with typewriters would be able to produce Hamlet. But might we be able to do it by methods more sophisticated then blind search? That is an open question, but I am leaning towards thinking that we can. Nature used Darwinian evolution to succed at the Herculean task of navigating the Library of Mendel to find genomes corresponding to advanced organisms such as us, and we ourselves used intelligent design for navigating the library of Babel to find such masterpieces as Hamlet and Reasons and Persons (plus The Da Vinci Code and a whole lot of other junk). And now, for searching the the Library of Turing in the hope of finding a superintelligent program, we have the luxury of being able to combine Darwinian evolution with intelligent design (on top of which we have the possibility of looking into our own brains and using them as a template or at least an inspiration for engineering solutions). To suggest that a successful such search is within grasp of future human technology seems a priori no more extraordinary than to suggest that it isn't, but one of these suggestions is true, so they cannot both be dismissed as extraordinary.

*

UD: Min slutsats blir att de datorer eller robotar som vi konstruerar inom en överblickbar framtid inte kommer ha några större likheter med medvetna hjärnor. Metaforer som går ut på att de är "medvetna" och agerar med "avsikt" i någon mänsklig mening riskerar därför att vara direkt missvisande när man skall undvika eller hantera eventuella farliga situationer.

OH: Åter vill jag förespråka epistemisk ödmjukhet. Det kan hända att vi skapar intelligenta maskiner om vilka det är vore ett fatalt misstag att tala om medvetande eller avsikter, men vi bör också vara öppna för eventualiteten att vi skapar intelligenta maskiner vilkas agerande vi får svårt att förstå utan dessa eller liknande begrepp.⁴ Inte minst gäller detta begreppet avsikter, och det finns faktiskt redan idag maskiner som - trots att de är mycket olika oss människor - vi inte klarar att handskas med utan att tillskriva dem avsikter. När jag spelar schack mot ett datorprogram hamnar jag ständigt i tankegångar där jag gör det - "Aha, maskinen spelar Tc8, det är nog med avsikten att kunna slå tillbaka med tornet ifall jag slår med löparen på c6, varvid den nog bedömer att kontrollen över c-linjen uppväger svagheten på e5" - och jag vågar påstå att den sortens antropomorfa avsiktstillskrivningar är helt oundgängliga om jag skall ha en chans att vinna partiet.

Fotnoter

1) Just som jag skall trycka på "publicera"-knappen för denna bloggpost blir jag varse att även den uppskattade bloggrannen Bo Sjögren nu har lagt sig i diskussionen med ett välargumenterat inlägg, vars inledande stycke lyder...

Under gårdagen blev den läsvärda delen av bloggosfären översvämmad av kommentarer om John Searles berömda kinesiska rum; Olle Häggström förklarade kortfattat varför Searle har fel, och Ulf Danielsson förklarade nästan lika kortfattat varför Searle har rätt. Eftersom jag tror att båda två har fel - jag anser nämligen att Searle har både rätt och fel - så tänkte jag kasta mig in i debatten för att om möjligt komplicera saken ytterligare

...och omedelbart följs av en fotnot med följande gemytliga ordalydelse:

Man kan ju naturligtvis i stället hävda att både Häggström och Danielsson har rätt, men frestelsen att försöka golva tre välrenommerade och välpublicerade professorer med en smäll blev för stark; ett sådant påstående är dessutom föga i samklang med det konfrontativa debattklimat som tycks råda i media för ögonblicket.

2) Härmed är inte sagt att CTOM är korrekt - det håller jag för att vara en öppen fråga. Däremot anser jag att CTOM är den rimligaste teori (om än en ofullständig sådan) vi idag har om medvetandets natur och plats i ett materiellt universum.

3) I Avsnitt 3.8, rubricerat Uploading: philosophical issues, i min bok Here Be Dragons: Science, Technology and the Future of Humanity som utkommer i januari, fördjupar jag mig i CTOM, i det kinesiska rummet och i the systems reply.

4) Att jag själv i högsta grad tar den eventualiteten på allvar framgår av att Avsnitt 4.6 i Here Be Dragons bär rubriken The goals of a superintelligent machine.

Edit 18 oktober 2015: I sin nya välskrivna och stillsamt reflekterande bloggpost Demokritos fattar galoppen fortsätter Ulf diskussionen. Mot slutet skriver han:

Fällan det är lätt att gå i utgörs av att man trivialiserar frågan [om medvetandet och dess plats i ett materiellt universum] och återigen hänvisar till emergens och något ickemateriellt eller ickefysiskaliskt. Min bestämda uppfattning är att detta inte duger. Har man gett sig in i leken får man leken tåla. Om man betraktar medvetandet som något som det är möjligt att foga in i en naturvetenskaplig beskrivning måste det också vara något fysiskt.

En rimlig ståndpunkt. Jag är med på den, åtminstone om vi öppnar för att begreppet "fysiskt" kan tänkas inkludera ännu ej kända naturkrafter. Men jag vill här ställa en fråga till Ulf:

En kandidat till detta "något fysiskt" som medvetandet skulle kunna utgöra är fysisk realisering av rätt slags algoritmiska beräkningsstrukturer. Detta är vad CTOM går ut på. Anser du att denna kandidat på något vis är diskvalificerad från vad du menar med "något fysiskt"? Jag ställer denna fråga därför att dina tidigare bloggposter ger intryck av (och rätta mig gärna om jag har fel!) att du avvisar CTOM.

Edit 28 oktober 2015: Ulf har nu besvarat min fråga om CTOM, och jag har replikerat ännu en gång.