Föredragning vid Backåkraseminariet

Vid det så kallade Backåkraseminariet vid Dag Hammarskjölds gamla lantställe utanför Ystad ombads jag igår hålla en kort föredragning om AI, vilken jag självklart inte vill undanhålla er som inte var där. Så här löd den, frånsett ett antal spontana mindre avvikelser:

AI-utvecklingen vi upplever nu är dramatisk, och kommer att få konsekvenser, snabbare än de flesta anar. I universitetsvärlden har vi alltsedan lanseringen av ChatGPT för ett halvår sedan haft intensiva diskussioner om hur vi kan anpassa oss till en situation där studenter kan delegera stora delar av sitt hemarbete på AI. Men att bara fokusera på det vore att skrapa på ytan, och för den som följer AI-utvecklingen noggrant känns det inte som någon vågad gissning att AI kommer att förändra samhället mer genomgripande de kommande fem åren än Internet och mobiltelefoni gjort de senaste 25.

På gott eller ont? Eller både och? Svårt att säga. AI kan bli nyckeln till att lösa alla våra stora samhällsproblem kring klimat, naturresurser, global hälsa, fattigdom, geopolitiska konflikter, etc. Potentialen är på sikt obegränsad. Men det finns också ofantliga risker. Huruvida nettot hamnar på plus eller minus kan ingen veta idag, men det jag vågar säga säkert är att för att kunna skörda de stora frukter som utlovas behöver vi se riskerna i vitögat och hantera dem.

Och riskerna är av många slag.

En klass av risker har att göra med arbetsmarknadskonsekvenser av AI-driven automatisering. Jag menar såklart inte att lönearbete är livets mening, utan tvärtom att det kan bli en befrielse att till slut göra oss av med. Men vägen dit kan bli besvärlig. Automatisering är inget nytt, men de senaste årens AI-utveckling vänder gamla föreställningar på ända. Tidigare har tagits för givet att fysiska och manuella arbetsuppgifter blir dem automatiseras först, medan de intellektuella och kreativa kommer långt senare, men tack vare de nya språkmodellernas rasande framsteg samtidigt som robotiken släpar efter ser det nu ut att bli tvärtom. Mjukvarubranschen känner redan av stora förändringar som följd av modellernas programmeringskompetens. Alla yrkesgrupper där skrivande och kommunikation är det centrala kan stå på tur. Min rörmokare har i detta perspektiv antagligen större anställningstrygghet än någon av oss i detta rum.

Ni har såklart hört om hur AI (åtminstone i reklambranschen) börjat konkurrera ut bildkonstnärer, och inom författarskrået talas med oro om en liknande utveckling. Och musik såklart. Allt tal om att det finns något unikt mänskligt som gör att AI inte kommer att kunna konkurra med bättre romaner, vackrare bilder och skönare musik ser jag som rent önsketänkande. Men det kan ändå finnas en räddning för dessa branscher i form av vår diskriminerande preferens för mänsklig autenticitet. Jag spelade tävlingsschack i 30 år men nöjer mig nu med att följa eliten via Internetsändningar. För att få se de objektivt sett allra bästa schackpartierna borde jag egentligen se på mästerskapsmatcher mellan de ledande schackdatorerna, men det väljer jag bort, för att istället följa Magnus Carlsen och hans stormästarkollegor, och deras svettiga pannor och psykologiska berg-och-dalbanor. Det mänskliga. Jag är inte ensam om detta, utan schackfans världen över gör samma prioritering som jag. Och om denna preferens generaliserar som jag tror, från schacket och vidare till litteraturen och de övriga stora konsterna, så tror jag att de konstnärliga sektorerna kan komma att överleva (om än inte opåverkade av AI-utvecklingen).

En annan klass av risker handlar om automatiserad desinformation och ett Internet som svämmar över av individanpassad spam, en farlig utveckling inte minst genom att den riskerar att spela rakt i händerna på fascistoida krafter för vilka en nihilistisk upplösning av sant och falskt är ett centralt moment i maktövertagandet (läs Orwell, och läs Timothy Snyder). Och filosofen Daniel Dennett varnade nyligen i en uppmärksammad artikel i The Atlantic för ”counterfeit people” – AI-botar som lurar oss genom att uppge sig vara människor, och hur detta hotar att slå sönder den sociala tilliten. Jag ser framför mig en sannolik kapprustning mellan alltmer sofistikerad förfalskning och lika sofistikerade algoritmer för automatiserad klassificering av människor kontra maskiner.

Sen har vi det största perspektivet av dem alla, och som jag envisas med att lyfta trots att det tenderar att skapa förstämning. På bara 100 000 år har vi gått från att vara en djurart bland många på savannen, till att ha tagit kontrollen över planeten. Denna enorma framgångssaga har i princip inget att göra med vår muskelstyrka och fysiska uthållighet, utan handlar om intelligens – den kanske starkaste kraften i universum. Nu har vi kommit till ett kritiskt skede i och med att vi alltmer börjat automatisera och delegera denna förmåga till maskiner. Till slut – om vi fortsätter på denna väg – kan vi nå den punkt som Alan Turing varnade för redan 1951, då vi inte längre är etta på planetens topplista över intelligenta varelser. Då hänger allt på om vi i tid lyckats med det svåra projekt som kallas AI Alignment – att få maskinerna att dela våra värderingar. Om vi inte lyckas med det kommer vi antagligen att sluta som mammuten och grottbjörnen, och hela biosfären kan väntas stryka med på kuppen.

Och avgörandets ögonblick kan vara närmare än många anar: ju närmare man rör sig Silicon Valley och San Francisco där allting händer, desto större osäkerhet uttrycker branschfolk kring om vi kan vänta oss att överleva nästa decennium, eller till och med det innevarande. Det är till stor del därför jag varit med och skrivit på vårens två stora upprop av AI-experter och andra som kräver åtgärder mot den vansinneskapplöpning mot avgrunden som just nu pågår.

Diverse om AI

Idag har jag samlat några korta saker om AI (artificiell intelligens):

• Igår chockades schackvärlden av DeepMinds offentliggörande av programmet AlphaZero, som utan annan schacklig förkunskap än själva reglerna tränade upp sig själv inom loppet av timmar (men stor datorkraft) att uppnå spelstyrka nog att i en match om 100 partier besegra regerande datorvärldsmästaren Stockfish 28 (som i sin tur är överlägsen alla mänskliga stormästare) med utklassningssiffrorna 64-36 (28 vinster, 72 remier och 0 förluster). Här finns tio av partierna för genomspelning, och förutom AlphaZeros fabulösa taktiska och strategiska färdigheter kan man fascineras av att den på egen hand återupptäckt en rad av våra traditionella spelöppningar (inklusive långtgående varianter i Damindiskt, Spanskt och Franskt), något som måhända kan tas som intäkt i att vi inte varit totalt ute och cyklat i vår mänskligt utvecklade spelöppningsteori.

  Att ett nytt schackprogram är bättre än de tidigare har givetvis hänt förut och är inte i sig sensationellt; paradigmskiftet består i att programmet uppnått sin spelstyrka på egen hand från scratch. Det kan hända att schacksajten chess24.com har rätt i sin spekulation att "the era of computer chess engine programming also seems to be over". Det kan också hända att jag överreagerar på grund av den nära relation till just schack jag haft i decennier (det är kanske inte ens givet att det vi fick veta igår är ett större genombrott än DeepMinds motsvarande framsteg i Go tidigare i år), men händelsen får mig att överväga en omvärdering av hur snabbt AI-utvecklingen mer allmänt går idag. Eliezer Yudkowskys uppsats There’s No Fire Alarm for Artificial General Intelligence är värd att åtminstone skänka en tanke i detta sammanhang.

• Jag hade verkligen hoppats att aldrig mer behöva höra talas om de så kallade No Free Lunch-satserna - ett knippe triviala och på det hela taget oanvändbara matematiska observationer som genom flashig paketering kunnat få ett oförtjänt gott rykte och användas som retoriskt tillhygge av kreationister. Med min uppsats Intelligent design and the NFL theorems (samt den uppföljande rapporten Uniform distribution is a model assumption) för ett årtionde sedan hoppades jag ta död på detta rykte. Och sedan dess har det faktiskt varit lite tystare kring NFL - även om det är som bäst oklart i vad mån jag har del i äran av det. Men när nu ännu en AI-debattör av det slag som inte tror på superintelligens och därmed förknippad AI-risk och som är beredd att ta till precis vilka argument som helst för denna ståndpunkt (sådana debattörer plockar jag ned då och då här på bloggen) dykt upp, så borde jag måhända inte förvånas över att denne klämmer till med NFL-satserna i sin argumentation. Trams!

• Frågan om superintelligent AI och huruvida sådan är inom räckhåll för AI-forskningen (och i så fall i vilket tidsperspektiv) är mycket svår, och även kunniga och intelligenta personers intuitioner går kraftigt isär. I ett sådant läge är jag såklart inte opåverkad av vad forskare och tänkare jag räknar som av yttersta toppklass tänker om saken även då de inte har så mycket att tillföra i sak. Därför är det av intresse att datalogen Scott Aaronson nu meddelat en justering av sin syn på superintelligens och AI-risk (händelsevis i samma bloggpost som uppmärksammade mig på det i föregående punkt omtalade NFL-tramset). Så här skriver han:
  A decade ago, it was far from obvious that known methods like deep learning and reinforcement learning, merely run with much faster computers and on much bigger datasets, would work as spectacularly well as they’ve turned out to work, on such a wide variety of problems, including beating all humans at Go without needing to be trained on any human game. But now that we know these things, I think intellectual honesty requires updating on them. And indeed, when I talk to the AI researchers whose expertise I trust the most, many, though not all, have updated in the direction of “maybe we should start worrying.” (Related: Eliezer Yudkowsky’s There’s No Fire Alarm for Artificial General Intelligence.)

  Who knows how much of the human cognitive fortress might fall to a few more orders of magnitude in processing power? I don’t—not in the sense of “I basically know but am being coy,” but really in the sense of not knowing.

  To be clear, I still think that by far the most urgent challenges facing humanity are things like: resisting Trump and the other forces of authoritarianism, slowing down and responding to climate change and ocean acidification, preventing a nuclear war, preserving what’s left of Enlightenment norms. But I no longer put AI too far behind that other stuff. If civilization manages not to destroy itself over the next century—a huge “if”—I now think it’s plausible that we’ll eventually confront questions about intelligences greater than ours: do we want to create them? Can we even prevent their creation? If they arise, can we ensure that they’ll show us more regard than we show chimps? And while I don’t know how much we can say about such questions that’s useful, without way more experience with powerful AI than we have now, I’m glad that a few people are at least trying to say things.

• Som meddelades i en tidigare bloggpost så hade Stockholm besök förra månaden av två av vår tids vassaste och kanske viktigaste filosofer: Nick Bostrom och Daniel Dennett. I samband med marknadsföringen av de svenska översättningarna av deras respektive senaste böcker hade Fri Tankes förlagschef Christer Sturmark lyckat få till stånd ett seminarium med dem båda, under rubriken Medvetandets mysterium och tänkande maskiner. Jag var där, tillsammans med cirka 800 andra (en fantastisk siffra för ett filosofiseminarium!), och mina förväntningar var ganska höga. Framför allt hoppades jag att Dennett äntligen skulle pressas att ge solida argument för den ståndpunkt han ofta ventilerat men sällan eller aldrig motiverat: att det slags AI-risk (förknippad med uppkomsten av superintelligens) som Bostrom behandlar i sin bok inte är något att bry sig om.

  Så hur gick det? Vad tyckte jag om seminariet? Gav Dennett det slags besked jag hoppades på? Istället för att orda om detta här hänvisar jag till det poddsamtal som Sturmark och jag spelade in dagen efter seminariet, och som i hög grad kretsade kring vad Bostrom och Dennett hade talat om. Jag tror att vi fick till ett hyfsat givande samtal, så lyssna gärna på det! Men framför allt, tag gärna del av videoinspelningen av själva seminariet!

Nya framträdanden i radio och TV

På två dagar har jag nu hunnit medverka i två mediala direktsändningar, där jag fått tillfälle att prata om mänsklighetens famtid och lite av den forskning vi bedrev i det nyligen avslutade GoCAS-gätforskarprogrammet om existentiell risk. De går båda att ta del av i efterhand:

• Igår besökte jag Förmiddag i P4 Göteborg med Stefan Livh (som jag nästan blivit stamgäst hos), och vi pratade om hur framtiden med artificiell intelligens kan komma att te sig, med start cirka 1:34 in i ljudfilen fram till och med 1:54.
• I ett inslag i Aftonbladet/TV3 Morgon vid halv nio-tiden i morse gick jag (lite motvilligt) med på att rangdordna de fem största hoten mot mänskligheten.

I samtalet med Stefan Livh kom jag in på det seminarium i Stockholm med Nick Bostrom och Daniel Dennett som jag avsåg att besöka senare samma dag (vilket också skedde). Den som vill höra vad jag tyckte om seminariet får ge sig till tåls en smula, tills Fri Tanke förlag publicerar (troligen nästa vecka) det poddsamtal jag nyss hade med förlagschefen Christer Sturmark, ett samtal som kom att beröra både Bostrom-Dennett-seminariet och diverse relaterade frågeställningar kring medvetande, artificiell intelligens och existentiell risk.

Rekommenderas varmt: Sam Harris podcast

I minst ett år har jag haft tillräckligt många vänner (med intellektuell smak tillräckligt i linje med min egen) som varmt rekommenderar den amerikanske neurovetaren och samhällsdebattören Sam Harris podcast Waking Up för att inse att den är riktigt bra. I förra veckan gjorde jag äntligen slag i saken och började lyssna, så nu tillhör jag de frälsta, och skriver denna bloggpost i avsikt att rekrytera fler själar åt Harris.

Sam Harris har ett brinnande samhällsengagemang och en uppsättning filosofiska och vetenskapliga intressen som uppvisar ett påtagligt överlapp med mina. Han är synnerligen analytiskt lagd, han gillar att se svåra frågor belysta från olika håll, och han utmanar gärna sig själv genom att på stort allvar ta del av meningsmotståndares argument. Ofta, men långtifrån alltid, landar han i ungefär samma ståndpunkter som jag. Om hans analyser leder honom mot kontroversiella och impopulära ståndpunkter så väjer han inte för det.

Ett typiskt avsnitt av Waking Up utgörs av ett samtal mellan Harris och någon annan person vars tankar han intresserar sig för. Dessa samtal är vanligtvis cirka två timmar långa, vilket medger befriande fördjupning i en tid som i allt högre grad kommit att domineras av tweets och andra ytliga snapshots (men det bidrog nog också till att det dröjde så länge som det gjorde innan jag började lyssna på podcasten). Jag har nu på mindre än en vecka hunnit höra Sam Harris samtala med följande nio personer, och jag tycker mig ha hört tillräckligt för att våga påstå att den som gillar min blogg sannolikt kommer att älska Waking Up.

• Charles Murray. Det här är det senaste avsnittet av Waking Up, och det som (via påstötningar från Patrik Lindenfors och Anders Emretsson) fick mig att till slut börja lyssna på podcasten. De läsare som känner till statsvetaren Charles Murray gör det nog från hans och den sedemera framlidne Richard Herrnsteins bok The Bell Curve: Intelligence and Class Structure in American Life från 1994, eller - troligare - från den långdragna och mycket aggressiva debatt som följde på boken. I denna debatt (som ännu inte svalnat; hans framträdanden kan fortfarande mötas med upplopp) framställdes Murray som rasist och värre saker än så, och jag tycker faktiskt att vi som i ett par decennier burit på det intrycket är skyldiga honom den lilla tjänsten att ta del av detta podcastavsnitt och få reda på vilken klok och sansad person han faktiskt är, och vilket starkt engagemang för social rättvisa han (trots att han politiskt drar åt höger) har.

• Paul Bloom. Jag tvekar inte att karaktärisera detta samtal med psykologen Paul Bloom som ett ustökt och rentav virtuost samspel mellan två intelligenta herrar med viktiga saker på hjärtat. I centrum för diskussionen står (den för mig tidigare okända men troligvis väldigt viktiga) distinktionen mellan empati och medkänsla, och jag får snart hem Blooms aktuella bok med den provokativa titeln Against Empathy: The Case for Rational Compassion.

• David Chalmers. Det finns få (om ens någon) nutida forskare inom medvetandefilosofi som är mer framstående än David Chalmers. Detta samtal tror jag kan fungera ypperligt som nybörjarintroduktion till området. (För mig, som alltid intresserat mig för medvetandefilosofi, och dessutom läst flitigt om det de senaste 15 åren, blev det dock mest skåpmat, om än välformulerad sådan.)

• Stuart Russell. Här kan jag använda copy-and-paste ganska effektivt: Det finns få (om ens någon) nutida forskare inom artificiell intelligens (AI) som är mer framstående än Stuart Russell. Detta samtal tror jag kan fungera ypperligt som nybörjarintroduktion till AI-risk. (För mig, som intresserat mig för och dessutom läst flitigt om saken de senaste 8-9 åren, blev det dock mest skåpmat, om än välformulerad sådan.)

• Daniel Dennett. Frågan om människans fria vilja och huruvida sådan är möjlig i ett materiellt universum hör till dem som tidigare intresserat mig men som jag senare tröttnat på, och det skall villigt erkännas att jag började lyssna på detta podcastavsnitt mer av nyfikenhet på hur Harris och Dennett socialt skulle hantera den situation de skapat genom den extremt arga debatt de haft med varandra i frågan några år tidigare. Det visar sig att de helt klart är on speaking terms, men att en viss odör av gammal surdeg likväl kans skönjas. I sakfrågan har de inte flyttat sig nämnvärt: att de ger olika svar på frågan om huruvida fri vilja existerar beror enbart på att de har olika uppfattning om vad som är en relevant definition av fri vilja, och inte alls på någon eventuell skillnad i uppfattning om hur världen är beskaffad (men det visste vi redan).

• Gary Kasparov. I min ungdom hörde Kasparov - schackgeni och så småningom världsmästare, och möjligen rentav den störste schackspelaren genom alla tider - till mina allra största idoler. Hans roll efter avslutad schackkarriär som ledande rysk oppositionell och antiputinist är beundransvärd. I samtalet med Sam Harris är det delarna om Putin, Trump och internationell storpolitik som är värda att lyssna på. I diskussionen om artificiell intelligens (något Kasparov ofta tillfrågas om i kraft av sin historiska roll som den förste schackvärldsmästare som tvingats se sig besegrad av ett datorprogram) har han däremot väldigt lite av värde att tillföra.

• Anne Applebaum. Författaren och journalisten Anne Applebaum har sällsynt god nutidshistorisk överblick över sovjetisk/rysk, europeisk och amerikansk politik. Liksom Harris samtal med Kasparov kretsar det med Applebaum i hög grad kring Trump, Putin, realpolitik och diktaturens mekanismer, men är avgjort intressantare.

• Lawrence Krauss. Harris diskussion med fysikern Lawrence Krauss spänner, liksom så många andra av hans samtal, över många områden. Här är det delarna om kärnvapenhotet som är intressantast, medan den om tolkningar av kvantmakanik känns som om jag hört den hundra gånger förut, och käbblet om vilket som är farligast av kristen och islamsk fundamentalism snabbt blir tjatigt.

• William MacAskill. Filosofiämnet anklagas ofta för att vara fast positionerat så högt upp i elfenbenstornet att det aldrig någonsin får någon praktisk betydelse. Men anklagelsen är felaktig, och den 30-årige (29 vid tiden för programmets inspelning) Oxfordfilosofen William MacAskills verksamhet är ett strålande motexempel. Han är frontfigur (såväl intellektuellt som entreprenöriellt) för den nya och snabbt växande effektiv altruism-rörelsen, som jag känner stor sympati med, och samtalet behandlar väldigt nyanserat frågan om hur vi bäst kan göra världen bättre. Vissa psykologiska aspekter har starka beröringspunkter med ovan nämnda avsnitt med Paul Bloom. Jag har beställt MacAskills bok Doing Good Better och ser fram emot att läsa den.

Yudkowskys brutala uppgörelse med zombie-begreppet

Vilket område av filosofin gillar jag allra bäst? Jag kan nog inte svara bestämt på det, men den som läser min senaste bok Here Be Dragons lockas måhända att tro att det är antingen vetenskapsfilosofi eller moralfilosofi, då dessa ägnas varsitt helt kapitel i boken (Kapitel 6 rubricerat "What is science?" med 31 sidor, respektive Kapitel 10 rubricerat "What do we wnat and what should we do?" med 24 sidor) medan ett område som medvetandefilosofin får nöja sig med ett avsnitt (Avsnitt 3.8 rubricerat "Uploading: philosophical issues" med 9 sidor). Av dessa tre är det nog ändå medvetandefilosofin jag läst mest om genom åren, och jag har kvar en särskid kärlek till det området.

Två favoriter bland nutida medvetandefilosofer är David Chalmers och (i synnerhet) Daniel Dennett. Centralt i Chalmers tänkande är begreppet zombie, i betydelsen en varelse som fysiskt är identisk med en vanlig människa, ned till minsta molekyl och minsta elementarpartikel, men med skillnaden att den saknar medvetande. Han hävdar inte att zombier finns, men väl att de är tänkbara, och att de mycket väl skulle kunna finnas i ett annat universum. Dennett har lagt en del kraft på att attackera zombie-begreppet, och hävda att det bara är om man inte tänkt igenom saken ordentligt som man kan förledas att tro att zombier är tänkbara. Både Chalmers och Dennett skriver lysande, men det finns faktiskt en författare som överträffar Dennett i dennes egen specialgren (zombie-slakt), nämligen Eliezer Yudkowsky. 2008 skrev han texten Zombies! Zombies? och han har nu återvänt till den och publicerat en lätt redigerad och uppdaterad version under rubriken Zombies redacted. Läs den! Som ett smakprov på den skoningslösa skärpan och brutaliteten i Yudkowskys zombie-slakt erbjuder jag följande passage. Den inehåller ovanligt mycket kursivering, vilken i de flesta fall indikerar att Yudkowsky är så indignerad över att någon kan föreslå något så vettlöst som zombier att han inte kan låta bli att höja rösten - men ingenstans får indignationen honom att förlora tankeskärpan.

[Here] is the position taken by Descartes and most other ancient thinkers: The soul is of a different kind, but it interacts with the body. Descartes's position is technically known as substance dualism - there is a thought-stuff, a mind-stuff, and it is not like atoms; but it is causally potent, interactive, and leaves a visible mark on our universe.

Zombie-ists are property dualists - they don't believe in a separate soul; they believe that matter in our universe has additional properties beyond the physical.

"Beyond the physical"? What does that mean? It means the extra properties are there, but they don't influence the motion of the atoms, like the properties of electrical charge or mass. The extra properties are not experimentally detectable by third parties; you know you are conscious, from the inside of your extra properties, but no scientist can ever directly detect this from outside.

So the additional properties are there, but not causally active. The extra properties do not move atoms around, which is why they can't be detected by third parties.

And that's why we can (allegedly) imagine a universe just like this one, with all the atoms in the same places, but the extra properties missing, such that every atom moves the same as before, but no one is conscious.

The Zombie World might not be physically possible, say the zombie-ists - because it is a fact that all the matter in our universe has the extra properties, or obeys the bridging laws that evoke consciousness - but the Zombie World is logically possible: the bridging laws could have been different.

But why, oh why, say that the extra properties are epiphenomenal and undetectable?

We can put this dilemma very sharply: Chalmers believes that there is something called consciousness, and this consciousness embodies the true and indescribable substance of the mysterious redness of red. It may be a property beyond mass and charge, but it's there, and it is consciousness. Now, having said the above, Chalmers furthermore specifies that this true stuff of consciousness is epiphenomenal, without causal potency - but why say that?

Why say that you could subtract this true stuff of consciousness, and leave all the atoms in the same place doing the same things? If that's true, we need some separate physical explanation for why Chalmers talks about "the mysterious redness of red". That is, there exists both a mysterious redness of red, which is extra-physical, and an entirely separate reason, within physics, why Chalmers talks about the "mysterious redness of red".

Chalmers does confess that these two things seem like they ought to be related, but why do you need to assert two separate phenomena? Why not just assert one or the other?

Once you've postulated that there is a mysterious redness of red, why not just say that it interacts with your internal narrative and makes you talk about the "mysterious redness of red"?

Isn't Descartes taking the simpler approach, here? The strictly simpler approach?

Why postulate an extramaterial soul, and then postulate that the soul has no effect on the physical world, and then postulate a mysterious unknown material process that causes your internal narrative to talk about conscious experience?

Why not postulate the true stuff of consciousness which no amount of mere mechanical atoms can add up to, and then, having gone that far already, let this true stuff of consciousness have causal effects like making philosophers talk about consciousness?

I am not endorsing Descartes's view. But at least I can understand where Descartes is coming from. Consciousness seems mysterious, so you postulate a mysterious stuff of consciousness. Fine.

But now the zombie-ists postulate that this mysterious stuff doesn't do anything, so you need a whole new explanation for why you say you're conscious.

That isn't vitalism. That's something so bizarre that vitalists would spit out their coffee. "When fires burn, they release phlogiston. But phlogiston doesn't have any experimentally detectable impact on our universe, so you'll have to go looking for a separate explanation of why a fire can melt snow." What?

Läs hela Zombies redacted här!

What I think about What to Think About Machines That Think

Our understanding of the future potential and possible risks of artificial intelligence (AI) is, to put it gently, ruefully incomplete. Opinions are drastically divided, also among experts and leading thinkers, and it may be a good idea to hear from several of them before forming an opinion of one's own, to which it is furthermore a good idea to attach a good deal of epistemic humility. The 2015 anthology What to Think About Machines That Think, edited by John Brockman, offers 186 short pieces by a tremendously broad range of AI experts and other high-profile thinkers. The format is the same as in earlier items in a series of annual collections by the same editor, with titles like What We Believe but Cannot Prove (2005), This Will Change Everything (2009) and This Idea Must Die (2014). I do like these books, but find them a little bit difficult to read, in about the same way that I often have difficulties reading poetry collections: I tend to quickly rush towards the next poem before I have taken the time necessary to digest the previous one, and as a result I digest nothing. Reading Brockman's collections, I need to take conscious care not to do the same thing. To readers able to handle this aspect, they have a lot to offer.

I have still only read a minority of the short pieces in What to Think About Machines That Think, and mostly by writers whose standpoints I am already familiar with. Many of them do an excellent job expressing important points within the extremely narrow page limit given, such as Eliezer Yudkowsky, whom I consider to be one of most important thinkers in AI futurology today. I'll take the liberty of quoting at some length from his contribution to the book:

The prolific bank robber Willie Sutton, when asked why he robbed banks, reportedly replied, "Because that's where the money is." When it comes to AI, I would say that the most important issues are about extremely powerful smarter-than-human Artificial Intelligence (aka superintelligence) because that's where the utilons are - the value at stake. More powerful minds have bigger real-world impacts.

[...]

Within the issues of superintelligence, the most important (again following Sutton's Law) is, I would say, what Nick Bostrom termed the "value loading problem": how to construct superintelligences that want outcomes that are high-value, normative, beneficial for intelligent life over the long run - that are, in short, "good" - since if there is a cognitively powerful agent around, what it wants is probably what will happen.

Here are some brief arguments for why building AIs that prefer "good" outcomes is (a) important and (b) likely to be technically difficult.

First, why is it important that we try to create a superintelligence with particular goals? Can't it figure out its own goals?

As far back as 1739, David Hume observed a gap between "is" questions and "ought" questions, calling attention in particular to the sudden leap between when a philosopher has previously spoken of how the world is and then begins using words like should, ought, or ought not. From a modern perspective, we'd say that an agent's utility function (goals, preferences, ends) contains extra information not given in the agent's probability distribution (beliefs, world-model, map of reality).

If in 100 million years we see (a) an intergalactic civilization full of diverse, marvelously strange intelligences interacting with one another, with most of them happy most of the time, then is that better or worse than (b) most available matter having been transformed into paperclips? What Hume's insight tells us is that if you specify a mind with a preference (a) > (b), we can follow back the trace of where the > (the preference ordering) first entered the system and imagine a mind with a different algorithm that computes (a) < (b) instead. Show me a mind that is aghast at the seeming folly of pursuing paperclips, and I can follow back Hume's regress and exhibit a slightly different mind that computes < instead of > on that score too.

I don't particularly think that silicon-based intelligence should forever be the slave of carbon-based intelligence. But if we want to end up with a diverse cosmopolitan civilization instead of, for example, paperclips, we may need to ensure that the first sufficiently advanced AI is built with a utility function whose maximum pinpoints that outcome. If we want an AI to do its own moral reasoning, Hume's Law says we need to define the framework for that reasoning. This takes an extra fact beyond the AI having an accurate model of reality and being an excellent planner.

But if Hume's Law makes it possible in principle to have cognitively powerful agents with any goals, why is value loading likely to be difficult? Don't we just get whatever we programmed?

The answer is that we get what we programmed, but not necessarily what we wanted. The worrisome scenario isn't AIs spontaneously developing emotional resentment for humans. It's that we create an inductive value learning algorithm and show the AI examples of happy smiling humans labeled as high-value events - and in the early days the AI goes around making existing humans smile and it looks like everything is OK and the methodology is being experimentally validated; and then, when the AI is smart enough, it invents molecular nanotechnology and tiles the universe with tiny molecular smiley-faces. Hume's Law, unfortunately, implies that raw cognitive power does not intrinsically prevent this outcome, even though it's not the result we wanted.

[...]

For now, the value loading problem is unsolved. There are no proposed full solutions, even in principle. And if that goes on being true over the next decades, I can't promise you that the development of sufficiently advanced AI will be at all a good thing.

Max Tegmark has views that are fairly close to Yudkowsky's,¹ but warns, in his contribution, that "Unfortunately, the necessary calls for a sober research agenda that's sorely needed is being nearly drowned out by a cacophony of ill-informed views", among which he categorizes the following eight as "the loudest":

1. Scaremongering: Fear boosts ad revenues and Nielsen ratings, and many journalists appear incapable of writing an AI-article without a picture of a gun-toting robot.

2. "It's impossible": As a physicist, I know that my brain consists of quarks and electrons arranged to act as a powerful computer, and that there's no law of physics preventing us from building even more intelligent quark blobs.

3. "It won't happen in our lifetime": We don't know what the probability is of machines reaching human-level ability on all cognitive tasks during our lifetime, but most of the AI researchers at a recent conference put the odds above 50 percent, so we'd be foolish to dismiss the possibility as mere science fiction.

4. "Machines can't control humans": Humans control tigers not because we are stronger, but because we are smarter, so if we cede our position as smartest on our planet, we might also cede control.

5. "Machines don't have goals": Many AI systems are programmed to have goals and to attain them as effectively as possible.

6. "AI isn't intrinsically malevolent": Correct - but its goals may one day clash with yours. Humans don't generally hate ants - but if we want to build a hydroelectric dam and there's an anthill there, too bad for the ants.

7. "Humans deserve to be replaced": Ask any parent how they would feel about you replacing their child by a machine, and whether they'd like a say in the decision.

8. "AI worriers don't understand how computers work": This claim was mentioned at the above-mentioned conference, and the assembled AI researchers laughed hard.

These passages from Yudkowsky and Tegmark provide just a tip of the iceberg of interesting insights in What to Think About Machines That Think. But, not surprisingly in a volume with so many contributions, there are also disappointments. I'm a huge fan of philosopher Daniel Dennett, and the title of his contribution (The Singularity - an urban legend?) raises expectations further, since one might hope that he could help rectify the curious situation where many writers consider the drastic AI development scenario referred to as an intelligence explosion or the Singularity to be extremely unlikely or even impossible, but hardly anyone (with Robin Hanson being the one notable exception) offers arguments for this position raising above the level of slogans and one-liners. Dennett, by opening his contribution with the paragraph...

The Singularity - the fateful moment when AI surpasses its creators in intelligence and takes over the world - is a meme worth pondering. It has the earmarks of an urban legend: a certain scientific plausibility ("Well, in principle I guess it's possible!") coupled with a deliciously shudder-inducing punch line ("We'd be ruled by robots!"). Did you know that if you sneeze, belch, and fart all at the same time, you die? Wow. Following in the wake of decades of AI hype, you might think the Singularity would be regarded as a parody, a joke, but it has proven to be a remarkably persuasive escalation. Add a few illustrious converts - Elon Musk, Stephen Hawking, and David Chalmers, among others - and how can we not take it seriously? Whether this stupendous event takes place ten or a hundred or a thousand years in the future, isn't it prudent to start planning now, setting up the necessary barricades and keeping our eyes peeled for harbingers of catastrophe?

I think, on the contrary, that these alarm calls distract us from a more pressing problem...

...and then going on to talk about something quite different, turns his piece into an almost caricaturish illustration of the situation I just complained about.

I want to end by quoting, in full, the extremely short (even by this book's standards) contribution by physicist Freeman Dyson - not because it offers much (or anything) of substance (it doesn't), but because of its witticism:

I do not believe that machines that think exist, or that they are likely to exist in the foreseeable future. If I am wrong, as I often am, any thoughts I might have about the question are irrelevant.

If I am right, then the whole question is irrelevant.

I like the humility - "as I often am" - here. Dyson pretty much confirms what I was convinced of all along, namely that he agrees with the message in my 2011 blog post Den oundgängliga trovärdighetsbedömningen: fallet Dyson that he ought to be read critically.²

Footnote

1) And my own views are mostly in good alignment with Yudkowsky's and with Tegmark's. Both of them are cited approvingly in the chapter on AI in my upcoming book Here Be Dragons: Science, Technology and the Future of Humanity (Oxford University Press, January 2016).

2) This is in sharp contrast to the general reaction to my piece among Swedish climate denialists; they seemed at the time to think that Dyson ought to be read un-critically, and that any suggestion to the contrary was deeply insulting (here is a typical example).

Några favoritepisoder ur Existential Comics

Vi som gillar filosofi- och vetenskapsnördiga engelskspråkiga tecknade serier lever i goda tider. Mina favoriter är nog Randall Munroes xkcd, Zach Weinersmiths Saturday Morning Breakfast Cereal (SMBC), och Corey Mahlers Existential Comics.¹ Av dessa tre är det bara xkcd som jag regelbundet återger här på bloggen, men det beror inte på att de båda andra skulle vara sämre, utan på att de sällan har det behändiga format som jag önskar att bilder jag lägger upp på bloggen skall ha.² Så när jag nu vill ägna denna bloggpost åt att slå ett slag för den intelligenta och folkbildande Existential Comics, som gärna tar hjälp av modern populärkultur för att förklara de stora filosofernas tankegångar, så avstår jag från att klippa in bilder och nöjer mig istället med att länka till några av mina favoritepisoder:

• Karl Marx spelar Monopol med Sigmund Freud, Rudolf Carnap och Friedrich Nietzsche. Det ser ut att gå illa för honom, men... clickbait!

• När Marx en tid senare möter sina filosofvänner i ett parti poker har de lärt sig en del om hans metoder.

• Om filosofi vore fotboll: VM-final mellan Frankrike och Tyskland. (Monty Python var, som en del läsare kanske minns, inne på något liknande redan 1974.)

• Immanuel Kant vs Simone de Beauvoir.

• På skattjakt med Thomas Hobbes, Karl Marx, John Rawls och Ayn Rand.

• Ett av mina favoritgräl bland nutida filosofer är det mellan David Chalmers och Daniel Dennett om zombier. Men tänk om de själva vore zombier!

• Kombinationen stängningsdags, obetald barnota, Derek Parfit, Slavoj Zizek, Noam Chomsky och Peter Singer bör om möjligt undvikas.

• Om David Hume vore Kapten Kirk och Bertrand Russell vore Mr Spock.

• Om Sartre vore Seinfeld och Kierkegaard vore Kramer.

• Trolleyologi (som jag skrev om för några år sedan) är en klass av moralfilosofiska tankeexperiment som syftar till bättre inblick i våra spontana moraliska ställningstaganden genom att så gott det går söka isolera enskilda aspekter i dessa. I en aktuell Existential Comics-episod får vi veta hur trolleyologi skulle kunna te sig om den istället omfamnade hela det slags vittförgrenade komplexitet som våra verkliga moraliska ställningstaganden dagligen inbegriper.

• Mitt under pågående rättegång ilsknar Sartre till på Nietzsche och ballar ur en smula.

Fotnoter

1) En härlig serie i samma anda är Andrew Valdens Rymdslottet, men den kommer ändå inte med i min uppräkning här eftersom den är på svenska, och dessutom noga räknat inte är någon tecknad serie.

2) Ändå tillät jag mig att reproducera en episod av SMBC i somras. Och här är en SMBC-pärla i det lite mindre formatet:

The libraries of Babel, Mendel and Turing

There is much disagreement concerning the dangers associated with a breakthrough in artificial intelligence. Could such an event lead to our extinction, or the End of the Human Era as James Barrat put it in the subtitle of his book Our Final Invention? Thinkers like Eliezer Yudkowsky and Nick Bostrom argue that the risk is real and that we need to solve the (very difficult) problem of how to avoid an AI Armageddon. As is clear from my review of Bostrom's book Superintelligence, I find their arguments sufficiently compelling to warrant serious attention.

Many others consider (for a wide variety of reasons) the risk to be an illusion. The latest contributor to this highly diverse camp is computer scientist Thore Husfeldt, with his essay The Monster in the Library of Turing, which is a review of Superintelligence to appear in the Swedish philosophy journal Filosofisk tidskrift and published in English translation on his blog. I find Husfeldt's essay very interesting, and what sets him apart from nearly every other critic of the Bostromian-Yudkowskian position (such as Selmer Bringsjord, Rodney Brooks, David Deutsch, Steven Pinker, John Searle and David Sumpter, just to mention a few of those whose criticisms I debunk at shorter or greater length in my upcoming book Here Be Dragons: Science, Techonlogy and the Future of Humanity (Oxford University Press, to appear)) is that neither does his argument consist in attacking straw men, nor does it succumb to any obvious fallacy. Husfeldt has read Superintelligence carefully and seems to accept many of its arguments, but disagrees on (at least) one crucial point. To make his case, he invokes a new metaphor: the Library of Turing, building on Jorge Luis Borges' Library of Babel and Daniel Dennett's Library of Mendel. Let me breifly describe these three libraries:

• The Library of Babel goes back to Jorge Luis Borges' short story from 1941 with the same name. It contains of all of the 25^1,312,000 books with 1,312,000 characters (we learn from the story that "each book is of four hundred and ten pages; each page, of forty lines, each line, of some eighty letters which are black in color"; 1,312,000=410·40·80) taken from a 25-letter alphabet, including blank space. 25^1,312,000 is an enormously large number, so large that the number of books that would fit in the observable universe is ridiculously small by comparison. We can still try to imagine the library. It contains many wonderful books, including Shakespeare's Hamlet and Solzhenitsyn's One Day in the Life of Ivan Denisovich, but it contains far more books consisting of pure gibberish. The library is so huge that, even if we assume the books to be ordered alphabetically, the interesting books are virtually impossible to find, unless you know exactly what you are looking for. To know which of the library's 25 buildings to go to, you need to know the book's first letter; to know which of the 25 floors of that building to go to, you need to know the book's second letter, and so on and so forth. If you are sitting in front of a word processor, you actually have the Library of Babel at your fingertips: if you first specify the book's first letter by typing it, then specify the second letter similarly, all the way down to the 1,312,000th and last, then - ta-dah! - there is your book.

• The Library of Mendel, invented by Daniel Dennett in his 1995 book Darwin's Dangerous Idea, consists of all DNA sequences of length up to (say) 10,000,000,000. Here we have only four characters (A, C, G and T) but the greater lengths allowed compared to the Library of Babel more than make up for that, so that the number of DNA sequences in the Library of Mendel is even larger than the number of books in the Library of Babel. Just like there are very many interesting books in the Library of Babel, there are very many DNA sequences in the Library of Mendel that code for viable complex organisms. These two subsets from the respective libraries are what Dennett call Vast but Vanishing, where Vast means roughly that their number is far far bigger than the number of elementary particles in the observable universe, and Vanishing means that their proportion of the entire library is so small that the reciprocal of that proportion is Vast.

• The Library of Turing - Thore Husfeldt's new invention - consists of all sequences of length up to (say) 10²⁰ (a very large number, but far from Vast) from an 128-character alphabet - sequences that are interpreted as computer programs written in a given programming language, which Husfeldt takes to be Lisp, but any Turing-complete language will do. As is the case in the libraries of Babel and Mendel, most sequences are just gibberish, but there is a Vast but Vanishing subset of interesting programs.

Husfeldt accepts that the human brain is probably far from an optimal arrangement of matter to produce intelligence, and he accepts functionalism. This leads him to belive (as Bostrom does, and Yudkowsky, and me) that somewhere in the Library of Turing, there is some program that far outstrips our feeble human powers of intelligence. But can we find it? Here is Husfeldt:

Given that the description of a superintelligence exists somewhere in the library, all that remains is to find it. If you don’t work in computer science, this task seems to be relatively trivial. After all, even a mindless exhaustive search will find the volume in question. While this approach is not a particularly tempting exercise for a human, computers are supposed to be good at performing mindless, well-defined, repetitive, and routine tasks at high speed and without complaining. Thus, sooner or later we stumble upon the monster; the only debate is whether the search time is measured in years, generations, or geological time scales.

But this is a fallacy. It is a fallacy because of the unreasonable growth rate of the exponential function, and the powerlessness of exhaustive search.

The point here is that, although presumably Vast, the set of superhumanly intelligent programs in the Library of Turing is also Vanishing, and therefore geological time scales will be far far from sufficient for brute force to succeed.

If the Library of Turing entirely lacked structure, this would be the end of the argument: if there were no structure, there would be no way to improve on brute force search, so there would be no hope (or, to be pedantically precise, a Vanishingly small hope) to come up with a superhumanly intelligent computer program. Intelligent design proponent William Dembski, in his book No Free Lunch, tried (for the purpose of concluding that we have been deliberately designed by an intelligent being) to employ this type of argument to prove that Darwinian evolution is impossible. He hid away the (utterly unreasonable) unstructuredness assumption behind mathematical smokescreens, so as to render it undetectable to most readers, but he failed to make it undetectable to yours truly.

The unstructuredness assumption is just as unreasonable for the Library of Turing as it is for the Library of Mendel, since if the former lacked structure, we would not be able to write useful computer programs. Now, Husfeldt, unlike Dembski, is an honest thinker, so of course he makes no attempt to pretend that the Library of Turing is unstructured, and he admits that there might be ways to improve on brute force search sufficiently well that a superhumanly intelligent program can be found, but intuits that it can't be done:

Could there be another way of discovering the superintelligence than exhaustive search? Certainly. After all, nature has discovered one of the monsters, the brain of Homo sapiens, starting with very simple "brains" hundreds of millions of years ago, and refining them stepwise by natural selection and mutation in environments that favoured cognition. Thus, there is some gradient, some sensible set of stepwise refinements, that Nature has followed through the Library of Turing to arrive at Einstein’s brain. We just don’t know how to recognise, nor efficiently follow this gradient. In the enthusiasm surrounding artificial intelligence in the 1960s we might have thought that we were on such a gradient. If so, we have abandoned it. The current trend in artificial intelligence, away from symbolic reasoning and towards statistical methods like machine learning, that do not aim to build cognitive models, strikes me as an unlikely pathway.

Given our current understanding of the limits of computation, there are many relatively innocent-looking computational problems that are computationally hard. After more than a generation of very serious research into these problems, nobody knows anything better than exhaustive search for many of them. In fact, while the amazing features of your smartphone may tell you a different story, the main conclusion of a generation of research in algorithms is bleak: for most computational problems we don’t know what to do.

Here Husfeldt's intuition and mine part from each other. I agree with him that most likely P≠NP, but I don't see why that would be such a blow to our prospects of finding a superintelligent program. We can do a lot of wonderful things without solving NP-hard problems in polynomial time, and I think the success that Nature has had in coming up with the brain of Homo sapiens and many other impressive things is very suggestive. The Library of Turing is probably at least as structured as the Library of Babel, offering at least as navigable a landscape to search in if we should choose to imitate Nature's method of evolution by natural selection. And we have the bonus option of using our own intelligence to make clever macro-moves in the landscape. I am not in a position to tell whether symbolic reasoning is a more promising approach than machine learning, but there seem to be many potential ways forward. I think there's a good chance (or risk!) we'll create superintelligence before the end of the persent century, and perhaps a lot sooner than that.

This divergence of our intuitions notwithstanding, I find Husfeldt's essay interesting and stimulating, and it ends on a constructive note, suggesting a number of research directions that may turn out worthwhile even in case he is right about the inaccessability of "the monster in the Library of Turing". There's just one passage I find a little bit misleading:

Computation is a resource, exponential growth is immense, and the universe is finite.

Bostrom pays little attention to this problem. For instance, in his discussion of current efforts on brain simulation, he writes:

Success at emulating a tiny brain, such as that of C. elegans, would give us a better view of what it would take to emulate larger brains. At some point in the technology development process, once techniques are available for automatically emulating small quantities of brain tissue, the problem reduces to one of scaling.
Well, to me, scaling is the problem.

Here (and in combination with the essay's overall focus on exponential complexity), Husfeldt seems to suggest that the problem of emulating a brain of size n would suffer from a combinatorial explosion and the accompanying exponential increase in computational complexity. Does he really mean this? I don't want to claim that whole brain emulation is an easy project (it most certainly isn't!), but to me the scaling problem here sounds like it should land in a linear complexity in n, or perhaps a low-degree polynomial, but not exponential, as I don't see where the combinatorial explosion would be coming from.

Loe och Stoltenberg

Erlend Loes författarskap är lysande, och förmår slå an strängar i mitt känsloregister som ingen annan författare hittar. I romaner som Naiv. Super., Blåst, Fakta om Finland, Expedition L och Stilla dagar i Mixing Part (jag räknar enbart upp dem jag läst) skriver Loe om unga till medelålders vita norska män - män som är olyckliga, ofta enstöriga och lite naiva, och alltid vilsna inför mansrollen och/eller det skandinaviskt folkhemska samhället. Det nya i hans Fvonk från 2012 är att han skrivit in dåvarande statsminister Jens Stoltenberg som en av bokens båda olyckliga, enstöriga, naiva och vilsna huvudpersoner. Som vanligt blir jag absorberad av boken, men läsningen störs ändå lite av det nya greppet, och jag frågar mig då och då: vad kan Stoltenberg egentligen tycka om det här? Och får man verkligen göra så här med verkliga personer i skönlitterära alster?¹ Till en början tänker jag mig att han (Stoltenberg) nog kan vara lite road av att framställas som en vanlig skröplig människa som tyngs av sitt svåra och ansvarsfulla uppdrag, i synnerhet efter den fruktansvärda händelse som sommaren innan inträffat (boken ustpelar sig 2012) och som han visserligen hanterat så skickligt och landsfaderligt, men som likväl bidragit till (och kanske utlöst) hans utbrändhet. Men den tanken blir allt svårare att hålla fast vid i takt med att romanfiguren Jens uppvisar en alltmer osympatisk självupptagenhet, hans tilltag blir allt besynnerligare, och allt fler kroppsutsöndringar kommer in i handlingen. Till slut känns det hela lite i magstarkaste laget.

Fotnoter

1) Ja, det får man. Så vad jag menar med min fråga är snarare detta: hur långt kan man gå utan att tilltaget blir till en moraliskt tvivelaktig handling och ett övergrepp?

Jag har själv här på bloggen utsatt både filosofen Jean-Pierre Dupuy och datalogen Christian Smith för något liknande, då jag anslutit mig till vad jag uppfattar som en förtjusande filosofisk tradition att krydda tankeexperiment med att placera fiktiva versioner av meningsmotståndare och andra meddebattörer i diverse penibla situationer. Särskilt vanligt verkar vara att involvera Daniel Dennett och hans hjärna i tankeexperimenten; se t.ex. David Sanfords Where was I?, Michael Beatons What RoboDennett still doesn't know, och Eliezer Yudkowskys Zombies: The Movie.

Zombier i tunnelbanan

Idag bjuder jag på en gammal xkcd-teckning föreställande zombier i tunnelbanan. Till eventuell besvikelse för dem i läsekretsen som delar mitt intresse för medvetandefilosofi är det dock inte fråga om några så kallade filosofiska zombier - dessa av filosofen David Chalmers så omhuldade hypotetiska varelser som i sina fysiska manifestationer är på pricken lika dig och mig, som dock inte har något verkligt inre liv, och som bekämpats så mästerligt av både Daniel Dennett och Eliezer Yudkowsky. Nej, här är det frågan om ett annat slags zombier, nästan lika skrämmande:¹

Fotnot

1) Jag känner mig nästan säker på att xkcd-tecknaren Randall Munroe funnit inspiration till sin teckning (publicerad den 15 juli 2009) i David Heatley snygga New Yorker-omslag den 12 februari 2007.

Dennett om transhumanism

Förra sommaren gjorde jag ett försök att på ett lättsamt vis engagera läsekretsen i det viktiga spänningsfältet biokonservatism vs transhumanism - något jag skrivit om även tidigare. Filosofen Daniel Dennett (en av de flitigast citerade personerna här på bloggen) har oftast varit upptagen av andra frågor. Ett undantag är hans medverkan som en av de få ljuspunkterna i rapporten Human Dignity and Bioethics: Essays Commissioned by the President's Council on Bioethics¹ från 2008, där han bland annat (på s 83-88) begår lustmord på den särskilt fåraktiga form av biokonservatism som vissa av volymens övriga bidragsgivare försvarar, nämligen den som bygger på idén att det som står att läsa i Första Mosebok och andra heliga skrifter utgör bokstavliga, gudomliga och obestridliga sanningar. Ett annat undantag är följande kloka ord ur hans bok Freedom Evloves från 2003:

The more we learn about what we are, the more options we will discern about what to try to become. Americans have long honored the “self-made man,” but now that we are actually learning enough to be able to remake ourselves into something new, many flinch. Many would apparently rather bumble around with their eyes closed, trusting in tradition, than look around to see what’s about to happen. Yes, it is unnerving; yes, it can be scary. After all, there are entirely new mistakes we are now empowered to make for the first time. But it’s the beginning of a great new adventure for our knowing species. And it’s much more exciting, as well as safer, if we open our eyes.

Fotnot

1) Den som inte vill läsa hela denna 577-sidiga lunta kan alternativt nöja sig med Steven Pinkers läsvärda och effektiva sågning i The New Republic.

Om medvetandets roll i beslutsfattande

Neurofysiologen Benjamin Libets arbeten om den relativa timingen mellan viss slags hjärnaktivitet och det vi subjektivt upplever som beslutsfattande är så överraskande och kontraintuitiva att de kommit att bli närmast ikoniska. Så här skriver Sam Harris i sin lilla pärla till bok Free Will^1,2:

The physiologist Benjamin Libet famously used EEG to show that activity in the brain's motor cortex can be detected some 300 milliseconds before a person feels that he has decided to move. Another lab extended this work using functional magnetic resonance imaging (fMRI): Subjects were asked to press one of two buttons while watching a "clock" composed of a random sequence of letters appearing on the screen. They reported which letter was visible at the moment they decided to press one button or the other. The experimenters found two brain regions that contained information about which button subjects would press a full 7 to 10 seconds before the decision was consciously made. More recently, direct recordings from the cortex showed that the activity of merely 256 neurons was sufficient to predict with 80 percent accuracy a person's decision to move 700 milliseconds before he became aware of it.

These findings are difficult to reconcile with the sense that we are the conscious authors of our actions. One fact now seems indisputable: Some moments before you are aware of what you will do next - a time in which you subjectively appear to have complete freedom to behave however you please - your brain has already determined what you will do. You then become conscious of this "decision" and believe that you are in the process of making it. (Harris, s 8-9.)

Eller, ännu lite slagfärdigare formulerat:

Fotnoter

1) Sam Harris besvarar frågan om den fria viljans existens med ett solklart nej - i kontrast med Daniel Dennett, som i den här på bloggen nyligen hyllade Intuition Pumps och i tidigare böcker besvarar den med ja. Det verkar dock inte finnas några väsentliga skillnader mellan deras respektive uppfattningar i själva sakfrågan om vad som faktiskt försiggår i våra hjärnor, utan det handlar mer om vad vi bör lägga i begreppet fri vilja. Tom Clark artikulerar skillnaden i följande stycke, som Harris återger på s 20-22 i sin bok och som både han och (enligt uppgift) Dennett accepterar som en riktig beskrivning av meningsskiljaktigheten:

Harris is of course right that we don't have conscious access to the neurophysiological processes that underlie our choices. But, as Dennett often points out, these processes are as much our own, just as much part of who we are as persons, just as much us, as our conscious awareness. We shouldn't alienate ourselves from our own neurophysiology and suppose that the conscious self, what Harris thinks of as the real self (and as many others do, perhaps), is being pushed around at the mercy of our neurons. Rather, as identifiable individuals we consist (among other things) of neural processes, some of which support consciousness, some of which don't. So it isn't an illusion, as Harris says, that we are authors of our thoughts and actions; we are not mere witnesses to what causation cooks up. We as physically instantiated persons really do deliberate and choose and act, even if consciousness isn't ultimately in charge. So the feeling of authorship and control is veridical.

Moreover, the neural process that (somehow - the hard problem of consciousness) support consciousness are essential to choosing, since the evidence strongly suggests they are associated with flexible action and information integration in service to behavior control. But it's doubtful that consciousness (phenomenal experience) per se adds anything to those neural processes in controlling action.

It's true that human persons don't have contra-causal free will. We are not self-caused little gods. But we are just as real as the genetic and environmental processes which created us and the situations in which we make choices. The deliberative machinery supporting effective action is just as real and causally effective as any other process in nature. So we don't have to talk as if we are real agents in order to concoct a motivationally useful illusion of agency, which is what Harris seems to recommend we do near the end of his remarks on free will. Agenthood survives determinism, no problem.

Daniel Dennett har för övrigt alldels nyligen författat en lång och mycket läsvärd recension av Harris bok, där han inte lägger några fingrar emellan: han kallar visserligen boken "remarkable [...], engagingly written and jargon-free, appealing to reason, not authority, and written with passion and moral seriousness", men också "a veritable museum of mistakes". Den uppfattning som uttrycks i bildens Steven Kaas-citat, och som Harris i sin bok formulerar gång gå gång, bl.a. med orden...

Did I consciously choose coffee over tea? No. The choice was made for me by events in my brain that I, as the conscious witness of my thoughts and actions, could not inspect or influence.

...har Dennett inte mycket till övers för i sin recension:

Not so. He can influence those internal, unconscious actions—by reminding himself, etc. He just can’t influence them at the moment they are having their effect on his choice. (He also can’t influence the unconscious machinery that determines whether he returns a tennis serve with a lob or a hard backhand once the serve is on its way, but that doesn’t mean his tennis strokes are involuntary or outside his—indirect—control. At one point he says “If you don’t know what your soul is going to do, you are not in control.” Really? When you drive a car, are you not in control? You know “your soul” is going to do the right thing, whatever in the instant it turns out to be, and that suffices to demonstrate to you, and the rest of us, that you are in control. Control doesn’t get any more real than that.)

Harris ignores the reflexive, repetitive nature of thinking. My choice at time t can influence my choice at time t’ which can influence my choice at time t”. How? My choice at t can have among its effects the biasing of settings in my brain (which I cannot directly inspect) that determine (I use the term deliberately) my choice at t’. I can influence my choice at t’. I influenced it at time t (without “inspecting” it). Like many before him, Harris shrinks the me to a dimensionless point, “the witness” who is stuck in the Cartesian Theater awaiting the decisions made elsewhere. That is simply a bad theory of consciousness.

Harris har lovat replikera inom kort - håll utkik på hans blogg!

2) Jag har lyft bort ett par fotnoter från Harris passage, och istället tillfogat några länkar till hans källor.

Hofstadter!

Douglas Hofstadters Gödel, Escher, Bach är en extremt originell och djuplodande men också höggradigt spekulativ bok om mänskligt tänkande. När den kom ut 1979 blev den snabbt en succé av senastionella proportioner, som Martin Gardner skrev i sin glödande anmälan i Scientific American:

Every few decades, an unknown author brings out a book of such depth, clarity, range, wit, beauty and originality that it is recognized at once as a major literary event.

Jag var då ännu för ung för boken, men tio år senare blev jag uppmärksammad på den och läste den med stor aptit - en läsning som gjorde djupt intryck på mig. I nästan samma veva läste jag också hans tillsammans med Daniel Dennett redigerade antologi The Mind's I från 1981, vilken påverkade mig om möjligt ännu mer, då den lade grunden för årtionden av grubblerier om vad mänskligt medvetande egentligen är - grubblerier jag än idag ägnar mig åt emellanåt.

Till sin profession är Douglas Hofstadter forskare i artificiell intelligens (AI). Han har alltid gått sin egen väg, och har trots berömmelsen efter Gödel, Escher, Bach varit tämligen isolerad från huvudfåran bland AI-forskare. Den främsta skillnaden mellan hans ansats och sagda huvudfåra är att Hofstadters allt överskuggande ambition är att förstå mänsklig kognition, i motsats till flertalet andra AI-forskare som har mer närliggande och pragmatiska ambitioner om att skapa datorprogram för att lösa olika specifika problem, som att vinna i Jeopardy eller sortera batterier. Om denna i hög grad självvalda isolering berättar Hofstadter, bland mycket annat, i en aktuell och synnerligen läsvärd intervju i tidskriften The Atlantic. Jag har väldigt lätt att känna sympati med Hofstadter, men när jag i The Atlantic-intervjun når fram till följande passage...

Hofstadter hasn’t been to an artificial-intelligence conference in 30 years. “There’s no communication between me and these people,” he says of his AI peers. “None. Zero. I don’t want to talk to colleagues that I find very, very intransigent and hard to convince of anything. You know, I call them colleagues, but they’re almost not colleagues—we can’t speak to each other.”

Hofstadter strikes me as difficult, in a quiet way. He is kind, but he doesn’t do the thing that easy conversationalists do, that well-liked teachers do, which is to take the best of what you’ve said—to work you into their thinking as an indispensable ally, as though their point ultimately depends on your contribution. I remember sitting in on a roundtable discussion that Hofstadter and his students were having and thinking of how little I saw his mind change. He seemed to be seeking consensus. The discussion had begun as an e-mail that he had sent out to a large list of correspondents; he seemed keenest on the replies that were keenest on him.

“So I don’t enjoy it,” he told me. “I don’t enjoy going to conferences and running into people who are stubborn and convinced of ideas I don’t think are correct, and who don’t have any understanding of my ideas. And I just like to talk to people who are a little more sympathetic.”

...så kan jag inte låta bli att tänka att Hoftadter nog blivit lite väl bortskämd efter sin exempellösa framgång med Gödel, Escher, Bach, och att hans forskning nog skulle må bra av om han hade lite lättare att befatta sig med kritik. Det räcker dock med att jag åter plockar fram Gödel, Escher, Bach eller The Mind's I för att jag omedelbart skall förlåta honom denna egenhet. Hans senare böcker Metamagical Themas (1985) och I Am a Strange Loop (2007) har samma effekt - liksom för övrigt följande helt underbara föredrag rubricerat Analogy as the Core of Cognition som han höll i Stanford den 6 februari 2006:

Se det! Jag insisterar!

När jag ändå är i farten med att dela med mig av Hofstadter-föredrag så vill jag klippa in ett till, från samma plats (Stanford) och lite senare samma år (Singularity Summit, i maj 2006), där han talar över ett annat ämne jag intresserat mig för här på bloggen: Singulariteten.

Detta föredrag, rubricerat Trying to Muse Rationally about the Singularity Scenario, är långt ifrån lika briljant som Analogy as the Core of Cognition, men ändå intressant. Hofstadter förhåller sig försiktigt skeptisk men inte avfärdande i frågan om en Singularitet verkligen är möjlig. Han kritiserar böcker i ämnet av Hans Moravec och Ray Kurzweil, och efterlyser en seriös diskussion i bredare kretsar av fysiker, dataloger och andra forskare. Från den transkribering av föredraget som finns tillgänglig saxar jag följande.

I think what I am really concerned about, after having read Ray’s most recent book, and been very impressed with many of the arguments in it, I ask the question: How realistic is this? I have asked a number of friends, highly informed intellectual people of different disciplines, and I have heard reactions over the following range: “The ideas are nutty—not worth the time of day.” “The ideas are very, very scary.” “I don’t know. I just don’t know.” “They are reasonable, or they are probable.” But none of these people have read the book.

This is very interesting to me. What I find strange about this is that I get the feeling the scientific world is not taking any of this seriously. In other words, I do not see serious discussions of this among physicists when they get together.

[...]

I would like to hear serious scientists taking these ideas seriously and giving a serious skeptical response—not that I necessarily want it to be the other side. I want the debate to be very seriously taken. I think this is all to Ray’s credit. He has raised some terribly important issues.

Den situation vad gäller diskussion om fenomenet Singulariteten som Hofstadter beskrev 2006 finner jag beklagligt aktuell ännu 2013. Av framstående tänkare som, utan att på allvar befatta sig med den argumentation som exempelvis Ray Kurzweil eller Eliezer Yudkowsky lagt fram, är beredda att med några korta ord avfärda tanken om en intelligensexplosion, går det snart sagt 13 på dussinet.¹ Den ende, så vitt jag känner till, som tagit frågan på fullt allvar och som landat i slutsatsen att en intelligensexplosion är osannolik är Robin Hanson. Det behövs fler som är beredda att analysera argumenten på allvar.

Fotnot

1) Som exempel på tänkare jag respekterar högt men som intagit denna billiga position kan nämnas Steven Pinker och Daniel Dennett. Så här säger Pinker:

There is not the slightest reason to believe in a coming singularity. The fact that you can visualize a future in your imagination is not evidence that it is likely or even possible. Look at domed cities, jet-pack commuting, underwater cities, mile-high buildings, and nuclear-powered automobiles--all staples of futuristic fantasies when I was a child that have never arrived. Sheer processing power is not a pixie dust that magically solves all your problems.

Och så här säger Dennett:

My reactions to the first thirty-odd pages [of Chalmers (2010)] did not change my mind about the topic, aside from provoking the following judgment, perhaps worth passing along: thinking about the Singularity is a singularly imprudent pastime, in spite of its air of cautious foresight, since it deflects our attention away from a much, much more serious threat, which is already upon us, and shows no sign of being an idle fantasy: we are becoming, or have become, enslaved by something much less wonderful than the Singularity: the internet.

Min gästbloggare David Sumpter kan ränkas till samma kategori: han är visserligen mer mångordig jämfört med vad Pinker och Dennett här visar upp, men han landar i samma vägran att befatta sig med argumenten för en intelligensexplosion.

Akademiska gränsvakter

I min förrförra bloggpost undslapp jag mig ett utbrott mot den föraktfulla inställning till humaniora som biträdande utbildningsminister Maria Arnholm nyligen såg ut att ge uttryck för (även om hon måhända inte menade lika illa som det såg ut). Humaniora är viktigt. En politik för forskning och högre utbildning som satsar allt på de hårdare natur-, teknik- och medicinska vetenskaperna samtidigt som humaniora ignoreras vore enligt min mening barbarisk och skulle riskera att leda till en dito samhällsutveckling.

Detta mitt vurmande för humaniora innebär emellertid inte att jag är alltid och på alla punkter är överens med alla självutnämnda försvarare av den humanistiska ämnessfären. Särskilt lite överens är jag med dem som agerar akademiska gränsvakter, med uppgift att noggrant bevaka det egna territoriet så att inga hemska naturvetare eller andra utomstående släpps in. En sådan vaksamhet är enligt min mening helt fel inställning för den som verkligen värnar om sitt ämnesområde, och jag anser tvärtom att alla som konstruktivt önskar bidra till ämnets utveckling bör välkomnas, och tror därtill att det kan vara extra värdefullt med perspektiv hämtade från andra ämnen. Ändå finns inom humaniora dessa gränsvakter, som kan kännas igen på deras varningsrop "Scientism!", vilket de häver ur sig så snart de ser en naturvetare röra sig i närheten av den gräns de bestämt sig att bevaka. Steven Pinker beskriver och bemöter fenomenet i sin läsvärda essä Science is not your enemy, som publicerades i tidskriften New Republic i somras och som jag kommenterade i min bloggpost Pinker om scientism.

I det nya numret av samma tidskrift finns en lång text av litteraturkritikern Leon Wieseltier rubriderad Crimes against humaities, avsedd som ett bemötande av Pinker. Denna tröttsamma text utvecklar sig snabbt till en orgie i just det slags scientismofobi och gränsvaktande som Pinker vänder sig emot, och jag måste erkänna att jag inte orkade läsa den i dess helhet.¹ Filosofen Daniel Dennetts svar till Wieseltier är desto mer njutbart, och jag tillåter mig att citera några stycken därur:

Philosophical matters are those that demand answers that can stand up to all things considered and hence cannot be addressed without suspending the enabling assumptions of any more specific field of science or inquiry. Wieseltier seems to believe that these matters are the exclusive province of philosophers, professionals who have been licensed to hold forth on them because of some advanced training in the humanities that qualifies them to do this important work. That is a common enough illusion, fostered by the administrative structures of academia, and indeed many (paid, professional, tenured) philosophers cling to it, but the plain fact is that every discipline generates philosophical issues as it advances, and they cannot be responsibly addressed by thinkers ignorant of the facts (the findings, the methods, the problems) encountered in those disciplines.

A philosopher in the sub-discipline of aesthetics who held forth on the topic of beauty in music but who couldn't read music or play an instrument, and who was unfamiliar with many of the varieties of music in the world, would not deserve attention. Nor would an ethicist opining on what we ought to do in Syria who was ignorant of the history, culture, politics and geography of Syria. Those who want to be taken seriously when they launch inquiries about such central philosophical topics as morality, free will, consciousness, meaning, causality, time and space had better know quite a lot that we have learned in recent decades about these topics from a variety of sciences. Unfortunately, many in the humanities think that they can continue to address these matters the old-fashioned way, as armchair theorists in complacent ignorance of new developments.

Pomposity can be amusing, but pomposity sitting like an oversized hat on top of fear is hilarious. Wieseltier is afraid that the humanities are being overrun by thinkers from outside, who dare to tackle their precious problems—or "problematics" to use the, um, technical term favored by many in the humanities. He is right to be afraid. It is true that there is a crowd of often overconfident scientists impatiently addressing the big questions with scant appreciation of the subtleties unearthed by philosophers and others in the humanities, but the way to deal constructively with this awkward influx is to join forces and educate them, not declare them out of bounds. The best of the "scientizers" (and Pinker is one of them) know more philosophy, and argue more cogently and carefully, than many of the humanities professors who dismiss them and their methods on territorial grounds. You can't defend the humanities by declaring it off limits to amateurs. The best way for the humanities to get back their mojo is to learn from the invaders and re-acquire the respect for truth that they used to share with the sciences.

På tal om det lite löjliga fenomenet med akademiska gränsvakter vill jag gärna passa på att också uppmärksamma läsaren på den svenske filosofen Sven Ove Hanssons roliga och lärorika text Welcome to Philosophyland, som bjuder på följande behandling av fenomenet:

Before describing some dangerous places in Philosophyland I should say a few words about its geography. Philosophyland is situated in a large plain at the very centre of the confederation of disciplines commonly known as the Republic of Science. It is surrounded by mountains inhabited by the various sciences, such as the Mountain of Physics, the Mountain of Biology and the high and inaccessible Mountain of Mathematics. In fact all the other disciplines have a border to Philosophyland, but most of these border areas are very sparsely populated.

The volunteer border-guard is the most disorganized troop of fighters that mankind has seen. They all have different opinions on the location of the border that they have sworn to defend. Many of them try to reduce rather than extend the territory they are supposed to defend. “This is not philosophy”, they shout at colleagues transgressing what they consider to be the border-line. “Do not enter that terrain, it is not for philosophers.” The border-guard has never in historical times united to fight a common enemy. Instead, they engage in innumerable skirmishes among themselves. Due to their ineptness, the borders of Philosophyland have in practice been decided by the more well-organized troops of the neighbouring disciplines.

I strongly advise you not to enrol in the philosophical border-guard. Personally I am instead a member of another troop of volunteers, the Joint Defence Forces of the Republic of Science. This is not the occasion to expound on its glorious mission, but talk to me afterwards if you wish to enlist.

The surrounding mountains of learning can be seen from virtually everywhere in Philosophyland. Many philosophers use optical devices to study them closely, or even visit them on occasions. But quite a few philosophers have developed a deep-seated aversion to any form of dealings with territories outside of Philosophyland. Some of them cannot even stand the sight of the mountains, and therefore move to places where they can see as little of them as possible. Most of these philosophers eventually end up in the Dark Cave, a large underground formation in the middle of Philosophyland. It is the only place where one cannot catch even the slightest glimpse of the mountains. Since it is completely dark you cannot see anything else either.

A visit to the Dark Cave is a surreal experience. Among its inhabitants, the philosophical cavemen and cavewomen, disagreements are even harsher than among philosophers elsewhere who at least tend to agree on that which they can all see. Some of the cavepeople do not want to hear at all about any mountains. Others talk incessantly about mountains, but only the mountains of their own imagination. All that matters to them is what some mountain might thinkably contain, not what the real mountains are like. In the cave you can for instance meet epistemologists exploring the knowledge of infinitely intelligent creatures without memory, metaphysicians studying causality in a world with three time dimensions and one space dimension, and moral philosophers investigating the moral life of twin monsters such that each of the twins can only become happy if its counterpart becomes unhappy to the corresponding degree.

There is a sure antidote against the compulsive urge that has driven so many all the way to the Dark Cave. That antidote is philosophical mountaineering in the form of regular visits to the high mountains of learning that surround Philosophyland, preferably with a local guide willing to explain some of the wonders to be seen there.

Läs resten av Hanssons välformulerade välkomsttal här!

Fotnot

1) Redan 2006 träffade jag på en text av Wieseltier med liknande budskap, men inte heller den gången kände jag mig manad att göra vågen.