Pinker yttrar sig om AI-risk men vet inte vad han talar om

Som jag påpekat tidigare: kognitionsvetaren Steven Pinker är utan tvekan en av vår tids främsta populärvetenskapsförfattare och public intellectuals. Hans utspel är dock ofta kontroversiella, och när jag värderar dem blir det ömsom vin, ömsom vatten. Nu skall jag bjuda på lite av det senare, sedan jag häromdagen blivit uppmärksammad på en videosnutt som nyligen publicerats på sajten Big Think, där Pinker förklarar hur löjligt det är att oroa sig över risken för en framtida AI-apokalyps. Pinkers anförande ges rubriken AI Won't Takeover the World, and What Our Fears of the Robopocalypse Reveal.

Det Pinker här går till angrepp mot är emellertid inget mer än en till oigenkännlighet förvriden nidbild av den syn på AI-risk och superintelligens som ledande tänkare på området - sådana som Nick Bostrom, Eliezer Yudkowsky, Stuart Russell, Max Tegmark och Stuart Armstrong - representerar. Och han gör narr av att de inte skulle ha kommit på den enkla lösningen att vi kan "build in safeguards" i avancerade AI-system för att försäkra oss om att de inte går överstyr - uppenbarligen helt okunnig om att en central del av dessa tänkares budskap är att vi bör göra just det, men att det är ett mycket svårt projekt, varför vi gör klokast i att börja utarbeta säkerhetslösningar i så god tid som möjligt, dvs nu.

Det här är inte första gången Pinker häver ur sig dessa dumheter. 2014 skrev han ett svar på en artikel av Jaron Lanier där han torgförde väsentligen samma synpunkter - ett svar varur jag på sidan 116 i min bok Here Be Dragons citerade följande passage:

[A] problem with AI dystopias is that they project a parochial alpha-male psychology onto the concept of intelligence. Even if we did have superhumanly intelligent robots, why would they want to depose their masters, massacre bystanders, or take over the world? Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something. History does turn up the occasional megalomaniacal despot or psychopathic serial killer, but these are products of a history of natural selection shaping testosterone-sensitive circuits in a certain species of primate, not an inevitable feature of intelligent systems. It's telling that many of our techno-prophets can't entertain the possibility that artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no burning desire to annihilate innocents or dominate the civilization.

Of course we can imagine an evil genius who deliberately designed, built, and released a battalion of robots to sow mass destruction. [...] In theory it could happen, but I think we have more pressing things to worry about.

Detta kommenterade jag i Here Be Dragons med följande ord (inklusive fotnoter, men med länkar tillfogade här och nu):

This is poor scholarship. Why doesn't Pinker bother, before going public on the issue, to find out what the actual arguments are that make writers like Bostrom and Yudkowsky talk about an existential threat to humanity? Instead, he seems to simply assume that their worries are motivated by having watched too many Terminator movies, or something along those lines. It is striking, however, that his complaints actually contain an embryo towards rediscovering the Omohundro-Bostrom theory:²⁶⁶ "Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something." This comes very close to stating Bostrom's orthogonality thesis about the compatibility between essentially any final goal and any level of intelligence, and if Pinker had pushed his thoughts about "novel means to attain a goal" just a bit further with some concrete example in mind, he might have rediscovered Bostrom's paperclip catastrophe (with paperclips replaced by whatever his concrete example involved). The main reason to fear a superintelligent AGI Armageddon is not that the AGI would exhibit the psychology of an "alpha-male"²⁶⁷ or a "megalomaniacal despot" or a "psychopathic serial killer", but simply that for a very wide range of (often deceptively harmless-seeming) goals, the most efficient way to attain it involves wiping out humanity.

Contra Pinker, I believe it is incredibly important, for the safety of humanity, that we make sure that a future superintelligence will have goals and values that are in line with our own, and in particular that it values human welfare.

266) I owe this observation to Muehlhauser (2014).

267) I suspect that the male-female dimension is just an irrelevant distraction when moving from the relatively familiar field of human and animal psychology to the potentially very different world of machine minds.

Det är lite dystert att se, i den ovan länkade videon, att Pinker (trots den tid han haft på sig att tänka om och trots tillrättalägganden från bland andra Luke Muehlhauser och mig) fortsätter att torgföra sina förvirrade vanföreställningar om AI-futurologi.

I gott sällskap hos spansk förläggare

Det spanska förlaget TEELL Editorial har försett de spanska översättningarna av Nick Bostroms Superintelligence (en bok jag skrev ganska mycket om för ett par år sedan här på bloggen) och min egen Here Be Dragons med elegant matchande omslag. Se och njut!

Aquí hay dragones: Ciencia, tecnología y futuro de la humanidad kan köpas exempelvis på Amazon. I och med denna utgivning kan jag nu skryta med att ha publicerat böcker på fyra språk: engelska, svenska, tyska (min gamla Slumpens skördar från 2004 utgavs också i tysk översättning med titeln Streifzüge durch die Wahrscheinlichkeitstheorie) och nu alltså även spanska. Och såväl ett femte som ett sjätte språk är på gång, ty en kinesisk översättning av Here Be Dragons är kontrakterad med Grand China Publishing House, samtidigt som min debutbok Finite Markov Chains and Algorithmic Applications från 2002 inom kommer kort planeras ges ut på japanska av förlaget Kyoritsu Shuppan.

Ruin vs Tännsjö

I det senaste numret (nr 3/2016) av den kolorerade populärtidskriften Modern Filosofi finns ett belysande samtal mellan filosofiprofessorerna Hans Ruin (Södertörns högskola) och Torbjörn Tännsjö (Stockholms universitet). Samtalet handlar om ämnet moralfilosofi, om hur det bedrivs, och hur det bör bedrivas. Om det sistnämnda är Ruin och Tännsjö fundamentalt oense. Samtidigt är de frispråkiga: ingen av dem drar sig för att använda ordet anti-intellektualism för att beskriva den andres position.

Vanligtvis väntar man sig i konfrontationer av detta slag att kunna urskilja några korn av sanning och klokskap hos båda parter, och jag hade nog förväntat mig att behöva nyansera den bild av Ruin som jag gav uttryck för i en bloggkommentar i februari. Men icke. I den här diskussionen hamnar jag entydigt på Tännsjös sida.¹

Väldigt kortfattat är meningsmotsättningen denna: Torbjörn Tännsjö tror på värdet av filosofisk analys, såsom att bena ut begrepp och moraliska föreställningar i deras beståndsdelar, och renodla dessa i exempelvis trolleyologiska och andra tankeexperiment, för att på så vis försöka förstå vari grunden för våra oartikulerade moraliska intuitioner egentligen består, och om denna är riktig eller om vi behöver korrigera våra moraliska ställningstaganden. Hans Ruin ser all denna tankeverksamhet som meningslös, och förordar att vi håller oss till att läsa Aristoteles, Kant och andra gamla klassiker.

Jag har stor respekt för idéhistoria, men jag förstår inte varför ett intresse åt det hållet skulle behöva paras med det slags motstånd mot analys, rationalitet och framsteg som Ruin här uppvisar, och som jag uppriktigt talat finner chockerande. När jag ändå försöker förstå vad som kan tänkas driva honom till sådana bakåtsträvande ståndpunkter kommer jag inte längre än till misstanken att det handlar om ett desperat uttryck för akademisk revirstrid: att han tycker om idéhistoria, men anser att dess plats i universitetsvärlden är alltför undanskymd, något som leder honom till att attackera andra verksamheter. (Jag har ofta och på närmare håll sett samma tråkiga tendens hos matematiker.)

Läs hela meningsutbytet mellan Ruin och Tännsjö här!

Fotnot

1) Därmed inte sagt att jag delar Tännsjös trosvisshet ifråga om existensen av en objektivt sann moral och att denna åtmistone på ett ungefär fångas av hedonistisk utilitarism, något han i artikeln uttrycker så här:

Jag tror att det faktiskt finns ett generellt svar på frågan om vilken handling som är rätt eller fel, och jag tror att svaret ligger åtminstone i närheten av det utilitaristiska kriteriet. Det innebär att en handling är riktig endast om den maximerar lyckan i världen, och den är det just för att den maximerar lyckan i världen.

Robotar som sköter vår tvätt

En färsk teckning från SMBC (Saturday Morning Breakfast Cereal) illustrerar en del av de bekymmersamma aspekter på framtida genombrott inom artificiell intelligens som jag ofta återkommit till här på bloggen och i min bok Here Be Dragons.

Rubriken är givetvis skruvad (det är varken välgrundat eller särskilt konstruktivt att hävda att mänskligheten är dömd till undergång), och det är mycket troligt att det går att skapa även ganska avancerade hushållsrobotar utan att därmed sätta igång den självförbättringsspiral som benämns intelligensexplosion eller Singulariteten. Men välvilligt och lagom metaforiskt kan vi förstå den andra punkten i diagrammet som en varning för svårbemästrade fenomen som wireheading och pervers instantiering.

NASA:s senaste siffror om global medeltemperatur

Washington Post rapporterade igår om NASA:s senaste siffror för global medeltemperatur.

Rekordnoteringarna har duggat tätt de senaste två åren, och siffran för juli 2016 blev av samma slag:

“July 2016 was absolutely the hottest month since the instrumental records began,” tweeted Gavin Schmidt, who directs NASA’s Goddard Institute for Space Studies, which is responsible for temperature measurements.

Lite längre ned i samma artikel läser vi följande:

The El Niño event ended this spring, and the planet’s temperature difference from normal is no longer as remarkably high as it was earlier in the year. But it still remains at record highs.

Den skenbara motsägelse som kan skönjas mellan Schmidts uttalande och det senare citatet om att "the planet’s temperature difference from normal is no longer as remarkably high as it was earlier in the year" upplöses då vi inser att det senare till skillnad mot det förstnämnda handlar om data som rensats från säsongsvariation.

Jag finner det en smula tragikomiskt hur legendariske nyhetsankaret och numera notoriske klimatförnekaren Åke Ortmark, mitt under den rekordmånad som juli 2016 var, twittrade om att media (i detta fall Svenska Dagbladet) borde uppmärksamma vad han menade var en pågående temperaturnedgång. Möjligen kan detta förstås som ett försök från Ortmark att bli först med att besanna en väldigt rolig profetisk artikel i satirtidskriften PNIS (Proceedings of the National Institute of Science) ett år tidigare.

Egen rymddräkt finnes

Jag läste den första gången vid kanske 13 års ålder, och sedan ytterligare tre gånger under det närmast följande årtiondet. Och nu, 48 år gammal, har jag precis läst den en femte gång, och kan konstatera att denna fantastiska ungdoms- och äventyrsroman ännu håller måttet i mina ögon. Jag talar om Robert Heinleins Have Space Suit - Will Travel (på svenska Egen rymddräkt finnes) från 1958.

Boken utspelar sig vid en tid som doftar mycket starkt av amerikanskt 50-tal, med den iögonfallande skillnaden att kolonisationen av Månen så smått har hunnit påbörjas. Den välartade 18-årige småstadspojken Kip och det bångstyriga 11-åriga underbarnet Peewee träffas genom en bisarr tillfällighet och dras in i en virvelström av äventyr (som tar dem till Månen, till Pluto, och sedan ännu längre bort) samtidigt som de utvecklar en varm vänskap som möjligen kan ha stått som modell för den mellan Leonard Hofstadter och Sheldon Cooper. Några enstaka gånger skymtar hos författaren fram värderingar som idag inte känns alldeles fräscha, men jag föredrar att bortse från dessa och istället lyfta fram det jag finner vara tre huvudteman i boken, nämligen (a) trofast vänskap, (b) värdet av goda kunskaper i matematik och naturvetenskap, och (c) vikten av att rädda mänskligheten från utplåning. Kanske har boken påverkat mig mer än jag hittills varit medveten om.

Brexit

Halvannan månad har förflutit sedan Brexit-omröstningen och det chockerade beskedet om dess utfall, men ämnet förtjänar givetvis fortsatt diskussion, dels naturligtvis för att ett brittiskt utträde ur EU är en stor händelse i sig, men också för att utfallet exemplifierar den bredare (och mycket oroande) strömning jag diskuterade i min förra bloggpost. Det aktuella sommarnumret av husorganet New York Review of Books bjuder på inte mindre än tre utförliga artiklar om detta ämne. Rekommenderad läsning!

• Jonathan Freedland: A Howl of Rage. Det här är den bästa sammanfattning av hela Brexit-historien jag sett. Freedland skriver om 70 år av fred, om globalisering och automatisering, om politiskt rävspel och dito missbedömningar, om David Cameron, om social segregation, om immigration och flyktingkris, om mordet på Jo Cox, om Boris Johnson, om Michael Gove, om Nigel Farage, om regionala och demografiska röstningsmönster, om Regrexit, om Jeremy Corbyn, om Skottland och Nicola Sturgeon, och om Theresa May. Alltsammans är egentligen redan bekant (om än inte fullt lika kompetent sammanfattat) sedan tidigare, så på så vis är det måhända ingen katastrof att just denna text (i motsats till de båda följande) ligger bakom betalvägg.

• Mervyn King: Which Europe Now? Denna text fokuserar mer på EU (och framför allt på eurozonen och dess skakiga framtid) än Freedlands, och bjuder på lite mer originella vinklingar. King ser överraskande odramatiskt på ett brittiskt utträde ur EU, då han noterar att de redan står utanför såväl euro som Schengen, och gör följande jämförelse: "Why would you want to be a member of a tennis club if you do not play tennis and indeed actively dislike the game, simply in order to play a game of bridge once a month?" Vissa av hans historiska paralleller har jag svårt att se relevansen hos, som Kissingers 65 år gamla yttrande "The traditional role of an island power towards a land-mass [is] to prevent the consolidation of that continent under a single rule", men texten ger likväl intressanta perspektiv.

• Zadie Smith: Fences: A Brexit Diary. Denna text är utan tvekan den allra mest läsvärda av de tre. Smith resonerar, delvis med stöd av sina egna erfarenheter av livet i ett multikulturellt men segregerat London, hur omröstningens utfall kan förstås. Jag kan här omöjligt göra rättvisa åt hennes många insikter, men en av de tankar hon formulerar är ungefär denna: Är det verkligen rimligt att vi - den priviligierade akademiska övre medelklass som gör vad vi kan för att med hjälp av både bildliga och bokstavliga stängsel avskärma oss från andra sociala strata - pekar finger åt de mindre priviligierade som inga andra medel för avskärmning har än att rösta för Brexit?

Haidt om globalism, nationalism och auktoritarianism

Social- och moralpsykologen Jonathan Haidt (som tidigare uppmärksammats här på bloggen) inleder sin aktuella essä When and Why Nationalism Beats Globalism med att formulera den djupa oro som många av oss liberalt och globalistiskt (och allmänt vänster-) sinnade känner inför de opinionsframgångar som Donald Trump, Sverigedemokraterna och deras gelikar vinner på bred front i USA och Europa. Vad är det egentligen som händer? Så här skriver Haidt:

What on earth is going on in the Western democracies? From the rise of Donald Trump in the United States and an assortment of right-wing parties across Europe through the June 23 Brexit vote, many on the Left have the sense that something dangerous and ugly is spreading: right-wing populism, seen as the Zika virus of politics. Something has gotten into “those people” that makes them vote in ways that seem - to their critics - likely to harm their own material interests, at least if their leaders follow through in implementing isolationist policies that slow economic growth.

Most analyses published since the Brexit vote focus on economic factors and some version of the “left behind” thesis - globalization has raised prosperity all over the world, with the striking exception of the working classes in Western societies. These less educated members of the richest countries lost access to well-paid but relatively low-skilled jobs, which were shipped overseas or given to immigrants willing to work for less. In communities where wages have stagnated or declined, the ever-rising opulence, rents, and confidence of London and other super-cities has bred resentment.

Men det är inte left behind-tesen som Haidt anför som förklaringsmodell. I tre kapitel rubricerade (1) The Rise of the Globalists, (2) Globalists and Nationalists Grow Further Apart on Immigration och (3) Muslim Immigration Triggers the Authoritarian Alarm skisserar han ett mer komplext system av samhälleliga mekanismer bakom den opinionssvängning vi idag bevittnar, och i det avslutande kapitlet (4) What Now? gör han en ansats att diskutera hur vi skall kunna ta oss helskinnade ur det mycket allvarlig läge vi idag befinner oss. Haidts essä hör till det viktigaste och mest lärorika inom samhällsdebatt och -analys jag läst på länge, och jag vill utropa den till obligatorisk läsning för alla som bryr sig om vart samhällsutvecklingen är på väg och hur vi kan påverka den i gynnsam riktning. Läs den bums!

Yudkowskys brutala uppgörelse med zombie-begreppet

Vilket område av filosofin gillar jag allra bäst? Jag kan nog inte svara bestämt på det, men den som läser min senaste bok Here Be Dragons lockas måhända att tro att det är antingen vetenskapsfilosofi eller moralfilosofi, då dessa ägnas varsitt helt kapitel i boken (Kapitel 6 rubricerat "What is science?" med 31 sidor, respektive Kapitel 10 rubricerat "What do we wnat and what should we do?" med 24 sidor) medan ett område som medvetandefilosofin får nöja sig med ett avsnitt (Avsnitt 3.8 rubricerat "Uploading: philosophical issues" med 9 sidor). Av dessa tre är det nog ändå medvetandefilosofin jag läst mest om genom åren, och jag har kvar en särskid kärlek till det området.

Två favoriter bland nutida medvetandefilosofer är David Chalmers och (i synnerhet) Daniel Dennett. Centralt i Chalmers tänkande är begreppet zombie, i betydelsen en varelse som fysiskt är identisk med en vanlig människa, ned till minsta molekyl och minsta elementarpartikel, men med skillnaden att den saknar medvetande. Han hävdar inte att zombier finns, men väl att de är tänkbara, och att de mycket väl skulle kunna finnas i ett annat universum. Dennett har lagt en del kraft på att attackera zombie-begreppet, och hävda att det bara är om man inte tänkt igenom saken ordentligt som man kan förledas att tro att zombier är tänkbara. Både Chalmers och Dennett skriver lysande, men det finns faktiskt en författare som överträffar Dennett i dennes egen specialgren (zombie-slakt), nämligen Eliezer Yudkowsky. 2008 skrev han texten Zombies! Zombies? och han har nu återvänt till den och publicerat en lätt redigerad och uppdaterad version under rubriken Zombies redacted. Läs den! Som ett smakprov på den skoningslösa skärpan och brutaliteten i Yudkowskys zombie-slakt erbjuder jag följande passage. Den inehåller ovanligt mycket kursivering, vilken i de flesta fall indikerar att Yudkowsky är så indignerad över att någon kan föreslå något så vettlöst som zombier att han inte kan låta bli att höja rösten - men ingenstans får indignationen honom att förlora tankeskärpan.

[Here] is the position taken by Descartes and most other ancient thinkers: The soul is of a different kind, but it interacts with the body. Descartes's position is technically known as substance dualism - there is a thought-stuff, a mind-stuff, and it is not like atoms; but it is causally potent, interactive, and leaves a visible mark on our universe.

Zombie-ists are property dualists - they don't believe in a separate soul; they believe that matter in our universe has additional properties beyond the physical.

"Beyond the physical"? What does that mean? It means the extra properties are there, but they don't influence the motion of the atoms, like the properties of electrical charge or mass. The extra properties are not experimentally detectable by third parties; you know you are conscious, from the inside of your extra properties, but no scientist can ever directly detect this from outside.

So the additional properties are there, but not causally active. The extra properties do not move atoms around, which is why they can't be detected by third parties.

And that's why we can (allegedly) imagine a universe just like this one, with all the atoms in the same places, but the extra properties missing, such that every atom moves the same as before, but no one is conscious.

The Zombie World might not be physically possible, say the zombie-ists - because it is a fact that all the matter in our universe has the extra properties, or obeys the bridging laws that evoke consciousness - but the Zombie World is logically possible: the bridging laws could have been different.

But why, oh why, say that the extra properties are epiphenomenal and undetectable?

We can put this dilemma very sharply: Chalmers believes that there is something called consciousness, and this consciousness embodies the true and indescribable substance of the mysterious redness of red. It may be a property beyond mass and charge, but it's there, and it is consciousness. Now, having said the above, Chalmers furthermore specifies that this true stuff of consciousness is epiphenomenal, without causal potency - but why say that?

Why say that you could subtract this true stuff of consciousness, and leave all the atoms in the same place doing the same things? If that's true, we need some separate physical explanation for why Chalmers talks about "the mysterious redness of red". That is, there exists both a mysterious redness of red, which is extra-physical, and an entirely separate reason, within physics, why Chalmers talks about the "mysterious redness of red".

Chalmers does confess that these two things seem like they ought to be related, but why do you need to assert two separate phenomena? Why not just assert one or the other?

Once you've postulated that there is a mysterious redness of red, why not just say that it interacts with your internal narrative and makes you talk about the "mysterious redness of red"?

Isn't Descartes taking the simpler approach, here? The strictly simpler approach?

Why postulate an extramaterial soul, and then postulate that the soul has no effect on the physical world, and then postulate a mysterious unknown material process that causes your internal narrative to talk about conscious experience?

Why not postulate the true stuff of consciousness which no amount of mere mechanical atoms can add up to, and then, having gone that far already, let this true stuff of consciousness have causal effects like making philosophers talk about consciousness?

I am not endorsing Descartes's view. But at least I can understand where Descartes is coming from. Consciousness seems mysterious, so you postulate a mysterious stuff of consciousness. Fine.

But now the zombie-ists postulate that this mysterious stuff doesn't do anything, so you need a whole new explanation for why you say you're conscious.

That isn't vitalism. That's something so bizarre that vitalists would spit out their coffee. "When fires burn, they release phlogiston. But phlogiston doesn't have any experimentally detectable impact on our universe, so you'll have to go looking for a separate explanation of why a fire can melt snow." What?

Läs hela Zombies redacted här!