måndag 12 oktober 2015

John Searle tänker fel rörande AI-risk

Forskning och Framsteg hade i nummer 7/2015 en artikel om artificiell intelligens (AI), som bland mycket annat återgav en enligt min mening förfelad argumentation av John Searle. Detta framhöll jag i ett inlägg här på bloggen, men avstod från att förklara detaljerna, för att istället ge en framåthänvisning till min kommande bok Here Be Dragons (Oxford University Press, januari 2016) i vilken det searleska resonemanget vederläggs utan prut eller pardon. När redaktionen för Forskning och Framsteg fick se detta hörde de av sig med inbjudan om att i en kort replik förklara vad jag menar. Jag försökte skriva så kort jag kunde utan att tumma alltför mycket på vare sig begriplighet eller min önskan att göra reklam för min bok, vilket inte var lätt. Repliken kortades ned en del ytterligare inför publiceringen i det nya nummer 8/2015 av Forskning och Framsteg, vilket gör att den publicerade versionen balanserar på (eller bortom) det begripligas gräns.1 Nedan min ursprungliga lite längre version. För närmare förklaring hänvisar jag som sagt till Here Be Dragons.

* * *

"Möt forskarna som menar att maskinerna aldrig kan bli så smarta som vi" heter det på omslaget till FoF 7/2015, och i den åsyftade artikeln får vi bl.a. möta filosofen John Searle, som med stöd i sitt kända tankeexperiment det kinesiska rummet från 1980 hävdar att en dator inte kan ha verkligt medvetande, verkliga intentioner eller verklig vilja. Därför, menar han, behöver vi inte oroa oss för det slags undergångsscenarier som Nick Bostrom skisserat, där den första superintelligenta maskinen programmerats att ha en specifik målsättning, t.ex. maximering av framtida gemproduktion, vilket får den att bestämma sig för att genast utrota mänskligheten, då den ju helt korrekt förutsett att vi annars skulle försöka stoppa dess planer på att omvandla hela solsystemet (inklusive oss människor) till en jättelik hög med gem.

Searle, som lade fram samma kritik i New York Review of Books förra året, misstar sig dessvärre på vad hans kinesiska rummet-argument landade i. Man kan ha invändningar mot kinesiska rummet (vilket jag har) men om vi för resonemangets skull accepterar dess slutsatser, så handlar dessa enbart om datorns inre upplevelser (vilka enligt Searle är noll och intet), och inte om dess agerande utåt. Searle medgav själv i den debatt som följde på hans ursprungliga artikel 1980 att vad hans argument anbelangar är det fullt tänkbart att det går att programmera en dator så att den beter sig som om den hade en människas fulla uppsättning av intentioner, viljor, önskningar, etc. Mot dessa skenbara intentioner, viljor och önskningar svarar då vissa beräkningsstrukturer som vi kan kalla z-intentioner, z-viljor och z-önskningar ("z" som i "zombie"). Vi kan tänka oss att när Bostroms gem-undergång drar igång med robotar som urskiljningslöst avrättar människor så kommer panik att utbryta, men då kommer Searle att stå där och ropa "Lugn allesammans! Robotarna skjuter oss, men det är inte för att de har några verkliga intentioner att göra det. De är själlösa maskiner som blott har z-intentioner!" Detta kommer för oss andra att vara en ganska klen tröst.

I min bok Here Be Dragons: Science, Technology and the Future of Humanity, som utkommer på Oxford University Press i januari, ägnar jag flera längre avsnitt åt risker i samband med ett eventuellt framtida genombrott inom artificiell intelligens, inklusive en fördjupande diskussion kring datormedvetande, det kinesiska rummet, och de förhastade slutsatser som John Searle drar i detta sammanhang.

Fotnot

1) Min förkortade replik i Forskning och Framsteg publicerades tillsammans med en av fysikern Ulf Danielsson, där han (precis som någon månad tidigare i sin bloggpost Dum, dummare, robot) redovisar en ståndpunkt motsatt min och mer i linje med Searles.

Edit 12 oktober 2015 kl 18:00: Blott timmar efter denna bloggpost har Ulf skrivit ett svar, där han zoomar in på vad han menar är vår grundläggande meningsskiljaktighet i fråga om medvetandets natur. Våra respektive positioner förtjänar nog att preciseras ytterligare, och i själva verket tror jag att det finns mer som förenar oss än som skiljer oss åt i denna fråga. Jag borde (trots att jag har det aningen körigt just nu) försöka samla mig till ett svar där jag lite närmare klargör vad jag menar.

Edit 14 oktober 2015: Nu har jag levererat det halvt utlovade svaret.

13 kommentarer:

  1. Ju mer jag funderat över Det Kinesiska Rummet desto sämre har det blivit som filosofiskt tankeexperiment. Det enda han visat är väl egentligen att medvetande är ett emergent fenomen.

    SvaraRadera
  2. Jag har heller aldrig varit särskilt imponerad av Searles argument. Datorn, eller Searle själv när han tar datorns plats, utgör blott själva "hårdvaran". "Förståelse" och "tänkande" måste också involvera "programvara", t ex reglerna i boken som Searle använder i tankeexperimentet", och "exekverandet" av denna.

    SvaraRadera
  3. "att det går att programmera en dator så att den beter sig som om den hade en människas fulla uppsättning av intentioner" att det går betyder inte att vi kan.

    SvaraRadera
  4. Olle var sjutton säger Searle att vi INTE behöver oroa oss för att en AI ska förstöra världen, Är inte detta något andra använt Searles kinesiska rum liknelse till??
    Som jag sagt i ett annat inlägg på din blogg så behöver en AI inte ha medvetande för att vara farlig, vilket jag TROR är din poäng??

    Detta innebär att Searle kan ha rätt i att ett system kan VERKA medvetet utan att vara det och alltså att frågan om ett systems medvetande inte är svaret på, eller är kopplat till, om det är farligt.

    SvaraRadera
    Svar
    1. Searle använder själv sin kinesiska rum-liknelse för exakt detta syfte. Se t.ex. den artikel i Forskning och Framsteg häromsistens där han i en intervju säger:

      "Så om vi fruktar att illasinnad superintelligens ska förgöra oss så är det viktigt att apokalypshotet är verkligt. Men utan ett medvetande kan maskinen inte ha egna avsikter, motiv eller mål. Den är ju bara en mycket komplex hög av skrot."

      Jag citerade för övrigt denna Searle-passage i min bloggpost Ett osökt tillfälle till reklam som jag råkar veta att du är bekant med. Se även Searles artikel What your computer can't know från 2014.

      Radera
    2. Tack Olle, har hittat det, Men fortfarande anser jag att kinesiska rummet visar att ett system kan VERKA medvetet utan att vara det.
      Egentligen så är den intressanta frågan om en mjukvara kan ha intentioner, om ja så kan den ha intentionen att förgöra oss om nej...
      Dock kvarstår fakta att ett system helt utan egna intentioner kan utvecklas på ett sådant sätt att dess algoritmer leder till att det förgör mänskligheten men fortfarande inte är medvetet.
      Vi har alltså två problem att hantera,
      1 -kan vi råka skapa ett machine learing system som självutvecklas på ett sådant sätt att det år en risk för oss utan att det är medvetet
      2 - kan vi råka skapa ett medvetet system som har intentioner och där en intention skulle kunna vara att skada mänskligheten.

      Svaret på 1 är nog tveklöst ja.. svaret på 2 är, vet inte.. eftersom vi kan skapa system som VERKAR vara medvetna men inte är det.. vad Searle säger, jag håller med, är att medvetande är hårdvaruberoende så vi behöver inte oroa oss för medveten mjukvara som isolerad företeelse.
      Eller har du hittat bevis för att vi kan skapa och identifiera medveten mjukvara? Det är väl detta Chinese room debatten rör.. som jag ser det använder Searle CR för att påvisa att vi inte kan skilja omedvetna system från medvetna endast genom att analysera input och output.. alltså dissar han på sätt och vis Turing testet.. är vi eniga om detta?

      Radera
    3. Hur definierar ni medvetande? Semantiken är väl tyvärr avgörande här.
      Finns det människor som verkar medvetna men som inte är det?

      Radera
  5. En sak som jag saknar i Searles Kinesiska rum-liknelse är förkroppsligande (eng. embodiment). Allt som någonsin går in i eller kommer ut ur rummet är symboler. Det finns inga sinnesintryck från omgivningen, och rummet kan inte agera för att förändra omgivningen. T ex kan aldrig tecknet "Hóng" som betyder "röd" aldrig kopplas till sinnesintryck av färgen röd. Det kinesiska språket behandlas som ett slutet symbolsystem utan någon koppling till en fysisk och social verklighet. Och jag tycker att det allvarligt begränsar liknelsens användbarhet.

    SvaraRadera
    Svar
    1. Precis som allt som går in och ur en dators mjukvara är symboler. De som tror på att medvetandet är mjukvara måste också då tro att allt som medvetandet hanterar är symboler och att vår upplevelse av mening går att simulera i ett rent symbol system.

      Radera
    2. Ja på sätt och vis, men allt behöver inte vara lingvistiska symboler (bokstäver, ord, ideogram...) utan kan också vara t ex representationer av signaler (färger, ljud, dofter, tryck, temperatur etc) som avläses från datorns omgivning. Därmed kan en dator också koppla sina lingvistiska symboler till saker (t ex fysikaliska fenomen) i dess omgivning. Då har vi inte längre ett slutet symbolsystem som inte har någon mening utanför sig självt.

      Radera
    3. Håller med men Kinesiska rummet är en kritik, eller problematiserande , av den något underliga tanken att medvetandet är en mjukvara och specifikt en mjukvara som bara hanterar symboler (vilket egentligen är det enda mjukvara gör. Om du vill att en mjukvara ska "förstå" temperatur så måste du ta en digital data som kommer från termometern, En mjukvara kan inte "förstå" eller "känna" något analogt. En mjukvara kan bara förstå symboler, det är därför, bland annat, som Searle menar att medvetandet INTE är mjukvara.

      Radera
    4. Anders,
      Två av de främsta anledningarna till att Searles Kinesiska rum kan kännas övertygande är att (1) han säger inte mycket om reglerna (dvs "programvaran") utan fokuserar i stället på människan (dvs "processorn"), och (2) allt som rummet behandlar är sekvenser av kinesiska ideogram, vilka inte kan kopplas till någonting annat därför egentligen inte kan sägas symbolisera eller representera något. Poängen med en symbol är att den står för någonting annat, men i rummet finns det ingenting annat.

      Så fort man kopplar t ex en temperaturgivare till en dator så har signalerna från den (även om de är digitala approximationer av en analog signal) någon slags mening. Detta behöver visserligen inte vara tillräckligt för att skapa ett "medvetande", men jag ser inte något skäl till att det inte skulle kunna bidraga till att skapa ett medvetet datorsystem.

      Radera
    5. Kinesiska rummet är ett argument mot idén att medvetandet BARA är mjukvara. Mjukvara kan BARA hantera symboler (som variabler) enligt regler. Inga symboler har någon "mening" för en mjukvara inte symboler som är översatta till från någon sorts analog källa. Inget kan få mjukvaran att "känna" temperaturen.
      Mjukvara kan inte känna, tycka, vilja något. Det är därför mjukvara inte kan vara "illasinnad" eller vilja förgöra någon/något,
      Det är just för att mjukvara inte kan vilja något som mjukvara inte kan ha en avsikt att skada människor.
      Om en mjukvara skulle skada någon är det för att dess programmering tillåter detta, direkt orsaker dess handling inte för att den "vill" skada någon.

      Radera