Det fortsätter att dyka upp reaktioner på och recensioner av min bok Here Be Dragons: Science, Technology and the Future of Humanity. Efter mitt förra uppsamlingsheat den 26 januari, rubricerat Reaktioner på Here Be Dragons, och en separat bloggpost den 9 mars där jag flaggar för Helena Granströms understreckare i SvD, är det nu åter dags att samla upp ett antal länkar till olika reaktioner:
- Vetenskapsjournalisten, fysikern och science fiction-entusiasten Anna Davour har skrivit två separata bloggposter, den ena (15 februari) med en recension av min bok, och den andra (21 februari) med reaktioner på det seminarium i Stockholm den 15 februari som tog boken som utgångspunkt. I synnerhet i den senare levererar hon en del intressanta reflektioner, bland annat om värdet av science fiction för den som vill resonera om framtiden.
- Hittills verkar de flesta recensenter faktiskt ha läst boken, men ett undantag är Kenneth Leverbeck på webbtidskriften ForskarVärlden den 19 februari. Jag antar att jag egentligen borde nöja mig med att all uppmärksamhet är bra uppmärksamhet och inte säga mer om saken, men kan inte motstå impulsen att kritisera Leverbecks arbetsmetod. Han har uppenbarligen tänkt sig att han genom att surfa runt en smula och leta efter relaterat material kan ge ett fullgott intryck av att ha läst boken, men metoden misslyckas på ett par punkter. Dels ger han (genom att lite på måfå ha klippt in några textsnuttar från annonseringen av mitt KVA-föredrag i december förra året) det felaktiga intrycket att jag hävdar en koppling mellan bristande statistiska analyser och uppkomst av farliga teknologier, dels hävdar han felaktigt att min bok beskriver ett scenario som utspelar sig "år 2056 då forskare har skapat den första datorn med övermänsklig intelligens" (detta 2056-scenario finns inte i min bok, men väl i Jonathon Keats recension av densamma i New Scientist).
- I en text daterad 9 mars i det nystartade nyhetsmagasinet Syre recenserar Martin Smedjeback boken i uppskattande ordalag, och instämmer i att vi står inför ofantliga katastrofrisker. Dock menar han att jag är alltför återhållsam med förslag på vad vi kan göra här och nu. Specifikt menar han att vi bör...
- ...skjuta över resurser från forskning på vapenteknologi till civilt bruk. Att öka insyn och reglering av all teknologisk och biologisk forskning för att säkerställa att den inte innebär stora risker är också viktiga steg. Att låta företag, regeringar och militär fortsätta med business as usual vore att spela rysk roulett med vår gemensamma framtid.
- Bloggaren Emil Karlsson diskuterar de två första kapitlen av Here Be Dragons i en bloggpost daterad 10 mars. Att döma av formuleringar som "Part I" (i bloggpostens underrubrik) och "In this first installment, we take a closer critical look at..." verkar avsikten vara att följa upp med en eller flera ytterligare bloggposter om bokens senare kapitel. Dock verkar det som att luften har gått ur detta projekt, vilket i så fall i mitt tycke är lika gott, för jag kan inte se att Karlsson, med sin tråkiga kombination av illvilja och långt gången Dunning-Kruger, tillför diskussionen särskilt mycket av värde.
- Filosofisk tidskrifts redaktör Lars Bergström har författat en recension av Here Be Dragons och låtit publicera den på tidskriftens hemsida (läsare av papperstidskriften får dock ge sig till tåls en smula: på grund av köbildning bland inkomna manuskript kommer det att dröja ännu en tid innan recensionen går i tryck). Bergström finner boken "välskriven och tänkvärd", vilket dock inte hindrar honom från att kritisera några av de filosofiska argument jag för fram i boken. Mestadels finner jag hans invändningar beaktansvärda, med undantag för hans försvar av John Searle så kallade kinesiska rum-argument - ett försvar som jag inte kan se fungerar alls.
Läsvärd recension av Lars Bergström!
SvaraRaderaEn (mycket) liten fråga. Bergström skriver att "enligt Häggström anser visserligen de flesta experter att en sådan intelligensexplosion är helt orealistisk (s. 123)" Olle hur menar du på s123: Beskriver du din erfarenhet av fysiker/matematiker/datorvetare i allmänhet inkl. både de som tänkt mycket på frågan och de som bara ger sin spontana (forskar)magkänsla? Eller beskriver du din erfarenhet av delmängden som tänkt mycket på frågan?
Lars Bergströms ordval "experter" är lite olyckligt. Vad det i de allra flesta fall handlar om är personer som visserligen är forskare inom de ämnen du räknar upp, men som aldrig ägnat frågan om en eventuell intelligensexplosion en seriös tanke.
RaderaHär är den relevanta passagen på s 123 i min bok:
"The balance of evidence regarding the possibility of an intelligence explosion is perhaps best described as inconclusive, yet it seems from what has been said on the topic in Sections 4.5 and 4.6 that such scenarios deserve to be taken seriously. This contrasts with the opinion that, in my experience, seems to be the dominant view among computer scientists and researchers working in other fields such as mathematics and physics, namely to dismiss such scenarios as science fiction fantasies having no relevance to the real world. When asked to back up their positions with arguments, these critics tend to fall back on handwaving. It may be an exaggeration, but not a very big one, to say that Robin Hanson is the only critic who has engaged seriously with the issue and come out with the view that an intelligence explosion is if not impossible then at least highly unlikely (Hanson and Yudkowsky, 2013). Serious written arguments for the implausibility of an intelligence explosion are few and far between."
Olle, jag håller med om att mitt ordval "experter" var lite olyckligt. Men eftersom du underkänner mitt försvar för Searles kinesiska rum-argument, så låt mig tillägga något om det. Jag är inte helt säker på att argumentet fungerar, men jag är mer övertygad nu än när jag först såg det för flera år sedan. Vi kan alltså tänka oss att jag har internaliserat de instruktioner jag har fått på lapparna i den kinesiska rummet (eller de instruktioner jag får av en stormästare i schack, som sitter bredvid mig). Dessa instruktioner har formen: "I situation S, gör handlingen H". Situationen kan vara att en kines har ställt en fråga, eller att ett visst läge i schack har uppstått. Jag kan då följa mina instruktioner och prestera ett bra svar. Och därmed klara Turing-testet (om vi bortser från tidsaspekten). Men jag förstår inte varför instruktionerna är lämpliga. Jag har inte den generella förståelse av kinesiska (eller schack) som gör att jag själv skulle kunna åstadkomma dessa instruktioner. För jag kan ju inte kinesiska och jag kan inte spela schack. Om jag följer instruktionerna när en kines frågar mig något, så kan jag kanske lura kinesen, men om någon därefter frågar mig på engelska eller svenska vad den kinesiska konversationen handlade om, så kan jag inte svara. För jag vet ju inte. Om någon frågar mig på kinesiska vad den kinesiska konversationen handlade om, så kan jag däremot svara. Men då vet jag inte vad svaret betyder. Och på detta sätt liknar jag en dator.
SvaraRaderaAngående det kinesiska rummet. 1. Vad jag minns var min första reaktion som datalogistudent många år sedan: Searle agerar som CPU; förväntar sig verkligen någon att CPU:n i sig skall vara medveten och/eller förstå vad den håller på med?
Radera2. Kan man bortse från tidsaspekten? Givet att en person som simulerar ett tillräckligt avancerat AI-program sannolikt behöver århundraden på sig.
3. Internalisera instruktionerna? Kan man lära sig hela Carolina Rediviva eller en fullständig beskrivning av sitt eget psyke utantill? Eller ens ett enklare schackprogram?
Lars, det du ger uttryck för här är ett slags kötthjärnechauvinism, en ståndpunkt som jag känner väldigt lite sympati för.
RaderaDå Searle har internaliserat den där regelboken ställs vi andra inför vad som ser ut att vara två separata personer i en och samma kropp, English Speaking Searle och Chinese Speaking Searle. Den sistnämnde säger sig begripa kinesiska, medan den förra förnekar all förståelse för språket. Det verkar som att du endast tar English Speaking Searle på allvar, medan du gentemot Chinese Speaking Searle verkar vara beredd att yttra oartigheter som t.ex...
"Ja, jag hör vad du säger, att du anser dig vara medveten och att du begriper kinesiska, men det där kan inte stämma, för jag råkar veta hur du är implementerad, och det handlar bara om ett blint regelföljande som naturligtvis inte kan ge upphov till någon förståelse."
Den sortens medvetande-skepsis kanske går att försvara, men vad som gör dig till kötthjärnechauvinist är att du, i kontrast mot din omilda attityd mot Chinese Speaking Searle, så lättvindigt accepterar English Speaking Searle, och skonar honom från invändningar som...
"Ja, jag hör vad du säger, att du anser dig vara medveten och att du begriper engelska, men det där kan inte stämma, för jag råkar veta hur du är implementerad, och det handlar bara om neuroner, synapser och hormonnivåer som bara blint följer fysikens lagar, något som naturligtvis inte kan ge upphov till någon förståelse."
Jag tillskriver dig ett medvetande trots att jag tycker att det känns ytterst kontraintuitivt att neuronerna i din hjärna kan ge upphov till ett sådant. Jag ger dig helt enkelt the benefit of the doubt på denna punkt. Och på samma vis tycker jag att det enda rimliga, så länge vi inte skaffat oss en bättre förståelse för medvetandets natur och hemhörighet i ett fysikaliskt universum, är att vi erbjuder samma benefit of the doubt åt alla varelser som uppträder som om de besutte medvetande och förståelse. Inklusive Chinese Speaking Searle.
Olle, till skillnad från dig tycker jag inte att det är kontraintuitivt att neuronerna i min hjärna kan ge upphov till medvetande. Jag är rätt säker på att jag har ett medvetande och jag kan inte förstå vad som skulle ge upphov till det, om det inte vore just fysikaliska processer i min hjärna. Hur det går till förstår jag däremot inte.
SvaraRaderaEnglish speaking Searle är en gammal bekant, men vem är Chinese speaking Searle? Den som levererar kinesiska uttalanden är ju English speaking Searle. Det är han som har internaliserat instruktionerna och följer dem – utan att förstå vad de kinesiska utsagorna betyder.
Du tänker dig kanske att Searle i det modifierade exemplet (där han kliver ut ur sitt rum) konfronterar kinesen med sin kropp fullt synlig och uttalar de kinesiska utsagorna genom sin mun. I så fall är det kanske naturligt att kinesen tror att Searle kan tala och förstå kinesiska. Men att kinesen tror det visar inte att det är sant. Och för oss, som vet hur det går till, vore det väl rätt långsökt att påstå att det är två olika personer som samtidigt talar genom Searles mun – en som förstår, och en som inte förstår, vad som sägs
Långsökt? Nej, det tycker jag inte. Absolut inte mer långsökt än tankeexperimentet i sig, och knappast heller mer långsökt än det där substratberoendet hos medvetandet som ni kötthjärnechauvinister insisterar på.
RaderaDu tycks anse att om bara input och output hänger bra ihop, så måste det finnas en person som förstår input och output däremellan. Har du alltså något argument mot möjligheten av zombies i bakfickan?
RaderaAtt det skulle kunna finnas zombies är förstås tänkbart, det medger jag, och jag kan i alla händelser inte motbevisa saken. Men jag tycker att när man träffar på någon som utåt uppvisar alla tecken på medvetande, så är det en rimlig arbetshypotes att anta att denne har ett medvetande, tills dess att något tungt vägande argument dykt upp för att denne i själva verket är en zombie.
RaderaSom tungt vägande argument räknar jag inte "jag vet hur Chinese Speaking Searle är implementerad, och det rör sig blott om ett blint regelföljande, så han måste vara en zombie". Detta argument förbiser alldeles att medvetande verkar vara en emergent egenskap. Notera också att om jag använder detta argument för att döma ut Chinese Speaking Searle som zombie, och om jag samtidigt insisterar på att hålla fast vid en fysikalistisk världsbild, så blir jag i konsekvensens namn tvungen att döma ut även dig som en zombie, för du är ju implementerad med det blinda regelföljandet hos dina neuroner (eller molekyler, eller elementarpartiklar, eller vad som nu är den relevanta beskrivningsnivån). Det vill jag inte gärna göra.
Jag håller med om att när man träffar någon som konverserar på kinesiska, så är det rimligt att tro att denne har ett medvetande och kan kinesiska. Men när vi vet hur "Chinese Speaking Searle" är implementerad, så ska vi förstås inte hävda att han är en zombie. Det är inte mitt argument. Vi vet ju att den som levererar de kinesiska utsagorna är English Speaking Searle! Någon annan länk mellan input och output finns ju inte. Det är English Speaking Searle som följer instruktionerna. Utan att kunna kinesiska.
SvaraRaderaMen ser du inte att English Speaking Searle fungerar som ett redskap för Chinese Speaking Searle att tänka ut och leverera sina yttranden? Lite grand som att dina neuroner och dina fingrar är redskap för dig att tänka ut och nedteckna din kommentar 13:15 ovan. En skillnad mellan situationerna är att English Speaking Searle (troligen) har ett medvetande, medan dina fingrar och dina individuella neuroner (troligen) inte har medvetanden. Om du vill kan du såkart anföra denna skillnad som argument för att misstro Chinese Speaking Searles anspråk på att besitta medvetande, men i mina öron låter det som ett godtyckligt och rätt och slätt odugligt argument.
RaderaJag vet inte om vi kommer så mycket längre, men låt mig bara tillägga att såvitt jag kan se är English Speaking Searle inte ett redskap för Chinese Speaking Searle, utan för programmeraren (som ju kan kinesiska). Det är programmeraren som tänker ut yttrandena och därefter English Speaking Searle som levererar dem.
RaderaHelt fel. Programmerarna bakom Deep Blue tänkte inte ut de drag som Deep Blue utförde för att besegra Kasparov.
RaderaJag kan ju ha missförstått det hela. Men är inte poängen att inte heller "Cinese speaking searle" kan kinesiska. Det han gör är ju att tänka och skriva ett medelande på Engelska. Detta i betydelsen att han tänker på engelska när han skriver.
RaderaSedan skriver han inte med bokstäver utan med stiliserade bilder. Som alltså i det här fallet råkar vara det kinsesiska skriftspråket.
Därigenom luras alltså den som läser att tro att den som skriver abvänder det kinsiska språket. Vilket han alltå inte gör.
Jag anser för min del att det mycket väl kan vara en kötthjärna med egen kunskap om tecknen som sitter där. Om han bara memoretat tecknen och inte kan tänka kinsiska ord när han ser dem så kan han inte kinsiska. Inte i den betydelse vi normalt sett lägger i att kunna språk.
Sedan undrar jag om inte evolutionshjärneentusiast är ett bättre begrepp än kötthjärneentusiast.
RaderaJag tänker ganska likt Olle i den här diskussionen. Fysisk materia generar vårt eget medvetande. Det är kontraintuitivt och förundrande, men alla alternativa förklaringar har större minus än så. Våra specifikt biologiska fysiska materiastrukturer som genererar vårt medvetande har evolverat fram i en lång kedja som startade med mycket rudimentära biologiska strukturer som få av oss (pace panpsykism!) tror har/hade medvetande eller intelligens. Biologiskt substrat är alltså inte i sig tillräckligt.
SvaraRaderaDet är möjligt att medvetande och intelligens bara genereras av (1) biologiskt substrat med (2) vissa komplexa former. Två nödvändiga villkor, ihop tillräckliga. Alla andra möjliga kombinationer av fysiska substrat och former genererar som bäst zombier - även en struktur som replikerar en hel människohjärna i ett datorbaserat system är zombie.
Möjligt, men finns några skäl att tro att just biologiskt substrat är nödvändigt? Att dagens unga datorer inte har medvetande/intelligens bevisar ju inte att framtida dator också kommer sakna det. (Som sagt: evolutionärt tidiga biologiska varelser hade inte medvetande eller intelligens heller.) Om någon ändå intuitivt tilltalas av biologiska substrats nödvändighet så betänk alternativa förklaringar till den intuitionen: är den inte bara utslag av den antropocentriska bias som lett oss fel så ofta tidigare? ("solen roterar kring vår planet jorden", "människan är gudarnas favoritvarelse", "enbart människor (inga av de andra djuren) kan använda redskap", ... , "det är bara vårt slags biologiska substrat som kan generera medvetande/intelligens")
Jag tror också att fysisk materia genererar vårt medvetande. Och jag tror inte att biologiskt substrat är nödvändigt för medvetande.
Radera