Some notes on Pinker's response to Phil Torres

The day before yesterday I published my blog post Steven Pinker misleads systematically about existential risk, whose main purpose was to direct the reader to my friend and collaborator Phil Torres' essay Steven Pinker's fake enlightenment. Pinker has now written a response to Phil's essay, and had it published on Jerry Coyne's blog Why Evolution is True. The response is feeble. Let me expand a little bit on that.

After a highly undignified opening paragraph with an uncharitable and unfounded speculation about Phil's motives for writing the essay,¹ Pinker goes on throughout most of his response to explain, regarding all of the quotes that he exibits in his book Enlightenment Now and that Phil points out are taken out of context and misrepresent the various authors' intentions, that... well, that it doesn't matter that they are misrepresentations, because what he (Pinker) needed was words to illustrate his ideas, and for that it doesn't matter what the original authors meant. He suggests that "Torres misunderstands the nature of quotation". So why, then, doesn't Pinker use his own words (he is, after all, one of the most eloquent science writers of our time)? Why does he take this cumbersome detour via other authors? If he doesn't actually care what these authors mean, then the only reason I can see for including all these quotes and citations is that Pinker wants to convey to his readers the misleading impression that he is familiar with the existential risk literature and that this literature gives support to his views.

The most interesting case discussed in Phil's essay and Pinker's response concerns AI researcher Stuart Russell. In Enlightenment Now, Pinker places Russell in the category of "AI experts who are publicly skeptical" that "high-level AI pose[s] the threat of 'an existential catastrophe'." Everyone who has actually read Russell knows that this characterization is plain wrong, and that he in fact takes the risk for an existential catastrophe caused by an AI breakthrough extremely seriously. Phil points this out in his essay, but Pinker insists. In his response, Pinker quotes Russell as saying that "there are reasons for optimism", as if that quote were a demonstration of Russell's skepticism. The quote is taken from Russell's answer to the 2015 Edge question - an eight-paragraph answer that, if one reads it from the beginning to the end rather than merely zooming in on the phrase "there are reasons for optimism", makes it abundantly clear that to Russell, existential AI risk is a real concern. What, then, does "there are reasons for optimism" mean? It introduces a list of ideas for things we could do to avert the existential risk that AI poses. Proposing such ideas is not the same thing as denying the risk.

It seems to me that this discussion is driven by two fundamental misunderstandings on Pinker's part. First, he has this straw man image in his head of an existential risk researcher as someone proclaiming "we're doomed", whereas in fact what existential risk researchers say is nearly always more along the lines of "there are risks, and we need to work out ways to avoid them". When Pinker actually notices that Russell says something in line with the latter, it does not fit the straw man, leading him to the erroneous conclusion that Russell is "publicly skeptical" about existential AI risk.

Second, by shielding himself from the AI risk literature, Pinker is able to stick to his intuition that avoiding the type of catastrophe illustrated by Paperclip Armageddon is easy. In his response to Phil, he says that

if we built a system that was designed only to make paperclips without taking into account that people don’t want to be turned into paperclips, it might wreak havoc, but that’s exactly why no one would ever implement a machine with the single goal of making paperclips,

continuing his light-hearted discourse from our encounter in Brussells 2017 where he said (as quoted on p 24 of the proceedings from the meeting) that

the way to avoid this is: don’t build such stupid systems!

The literature on AI risk suggests that, on the contrary, the project of aligning the AI's goals with ours to an extent that suffices to avoid catastrophe is a difficult task, filled with subtle obstacles and traps. I could direct Pinker to some basic references such as Yudkowsky (2008, 2011), Bostrom (2014) or Häggström (2016), but given his plateau-shaped learning curve on this topic since 2014, I fear that he would either just ignore the references, or see them as sources to mine for misleading quotes.

Footnote

1) Borrowing from the standard climate denialist's discourse about what actually drives climate scientists, Pinker says this:

Phil Torres is trying to make a career out of warning people about the existential threat that AI poses to humanity. Since [Enlightenment Now] evaluates and dismisses that threat, it poses an existential threat to Phil Torres’s career. Perhaps not surprisingly, Torres is obsessed with trying to discredit the book [...].

Steven Pinker misleads systematically about existential risk

The main purpose of this blog post is to direct the reader to existential risk scholar Phil Torres' important and brand-new essay Steven Pinker's fake enlightenment.¹ First, however, some background.

Steven Pinker has written some of the most enlightening and enjoyable popular science that I've come across in the last couple of decades, and in particular I love his books How the Mind Works (1997) and The Blank Slate (2002) which offer wonderful insights into human psychology and its evolutionary background. Unfortunately, not everything he does is equally good, and in recent years the number of examples I've come across of misleading rhetoric and unacceptably bad scholarship on his part has piled up to a disturbing extent. This is especially clear in his engagement (so to speak) with the intertwined fields of existential risk and AI (artificial intelligence) risk. When commenting on these fields, his judgement is badly tainted by his wish to paint a rosy picture of the world.

As an early example, consider Pinker's assertion at the end of Chapter 1 in his 2011 book The Better Angels of Our Nature, that we "no longer have to worry about [a long list of barbaric kinds of violence ending with] the prospect of a nuclear world war that would put an end to civilization or to human life itseslf". This is simply unfounded. There was ample reason during the cold war to worry about nuclear annihilation, and from about 2014 we have been reminded of those reasons again through Putin's aggressive geopolitical rhetoric and action and (later) the inauguration of a madman as president of the United States, but the fact of the matter is that the reasons for concern never disappeared - they were just a bit less present in our minds during 1990-2014.

A second example is a comment Pinker wrote at Edge.org in 2014 on how a "problem with AI dystopias is that they project a parochial alpha-male psychology onto the concept of intelligence". See p 116-117 of my 2016 book Here Be Dragons for a longer quote from that comment, along with a discussion of how badly misinformed and confused Pinker is about contemporary AI futurology; the same discussion is reproduced in my 2016 blog post Pinker yttrar sig om AI-risk men vet inte vad han talar om.

Pinker has kept on repeating the same misunderstandings he made in 2014. The big shocker to me was to meet Pinker face-to-face in a panel discussion in Brussels in October 2017, and hear him make the same falsehoods and non sequiturs again and to add some more, including one that I had preempted just minutes earlier by explaining the relevant parts of Omohundro-Bostrom theory for instrumental vs final AI goals. For more about this encounter, see the blog post I wrote a few days later, and the paper I wrote for the proceedings of the event.

Soon thereafter, in early 2018, Pinker published his much-praised book Enlightenment Now: The Case for Reason, Science, Humanism, and Progress. Mostly it is an extended argument about how much better the world has become in many respects, economically and otherwise. It also contains a chapter named Existential threats which is jam-packed with bad scholarship and claims ranging from the misleading to outright falsehoods, all of it pointing in the same direction: existential risk research is silly, and we have no reason to pay attention to such concerns. Later that year, Phil Torres wrote a crushing and amazingly detailed but slightly dry rebuttal of that chapter. I've been meaning to blog about that, but other tasks kept coming in the way. Now, however, when Phil's Salon essay...

Steven Pinker's fake enlightenment: His book is full of misleading claims and false assertions

...is available, is the time. In the essay he presents some of the central themes from the rebuttal in more polished and reader-friendly form. If there is anyone out there who still thinks (as I used to) that Pinker is an honest and trustworthy scholar, Phil's essay is a must-read.

Footnote

1) It is not without a bit of pride that I can inform my readers that Phil took part in the GoCAS guest researcher program on existential risk to humanity that Anders Sandberg and I organized in September-October 2017, and that we are coauthors of the paper Long-term trajectories of human civilization which emanates from that program.

Recognized by the BBC for our work on the long-term future of humanity

Yesterday (January 10), BBC and their features editor Richard Fisher published a long but highly comprehensible and easy-to-read article on The perils of short-termism: Civilisation's greatest threat. It focuses on the central human predicament of needing to weigh short-term versus long-term concerns, and highlights work we did at the GoCAS guest researcher program on existential risk to humanity during September-October 2017 which Anders Sandberg and I organized at Chalmers and the University of Gothenburg. That particular piece of work was turned into the paper Long-term trajectories of human civilization,¹ which I've reported on before on this blog.² Here's an extract from the BBC piece:

In early September 2017, the world’s attention was focused on various pieces of salient news: Hurricane Irma was brewing in the Caribbean, Donald Trump’s administration had announced plans to dismantle an Obama-era immigration policy, and photographers captured Prince George’s first day at school.

Around the same time, a small, little-known group of researchers were meeting at a workshop in Gothenburg, Sweden with a goal to look much, much further ahead – far beyond this latest news cycle. Motivated by a moral concern for our descendants, their goal was to discuss the existential risks facing humanity.

The meeting would lead to an intriguing and readable co-authored paper called Long-term Trajectories of Human Civilisation, which attempts to “formalise a scientific and ethical field of study” for thousands of years hence. As they write: “To restrict attention to near-term decades may be akin to the drunk searching for his keys under the streetlight: it may be where empirical study is more robust, but the important part lies elsewhere.”

The Trajectories group began with the assumption that, while the future is uncertain, it is not unknown. We can predict many things with reasonable confidence, via observed patterns, repeating events, and established behaviours throughout human history. For example: biology suggests that each mammalian species exists, on average, for roughly 1 million years before it becomes extinct; history shows that humanity has continually colonised new lands and strived to transform our abilities with technology; and the fossil record demonstrates that global extinction events can and do happen.

Extrapolating these patterns and behaviours into the future allowed them to map out four possible long-term trajectories for our species:

• Status quo trajectories, in which human civilisation persists in a broadly similar state into the distant future.

• Catastrophe trajectories, in which one or more events cause significant harm to human civilisation.

• Technological transformation trajectories, in which radical technological breakthroughs put human civilisation on a fundamentally different course.

• Astronomical trajectories, in which human civilisation expands beyond its home planet and into the accessible portions of the cosmos.
Following their discussions in Sweden and afterwards, the Trajectories group concluded that the ‘status quo’ path would be a pretty unlikely scenario once you get to longer-term timescales. “Instead, civilisation is likely to either end catastrophically or expand dramatically,” they write.

So on the optimistic path, merging with some as-yet-unimagined technology or colonising the stars are two scenarios that are entirely possible with the passage of enough time, they suggest. Both paths could lead to our descendants thriving for millions if not billions of years, spreading out into the Universe or evolving into a more advanced species.

But we also are almost certain to face serious existential risks along the way. Natural disasters have pruned life on Earth continually – this much we know. What worries the Trajectories researchers more is that in the 20th and early 21st Century we've added a whole host of additional human-made risks into the mix too – from nuclear armageddon to AI apocalypse to anthropogenic climate change.

In their paper, they lay out a variety of chilling scenarios where civilisation is rewound back to pre-industrial times, or wiped out altogether. [...]

The researchers can't predict which order any of this will play out. They can predict, though, that it’s our trajectory to shape – for better or worse, the decisions we make this century could shape the next one and far beyond. “The stakes are extremely large, and there may be a lot that people today can do to have a positive impact,” they write.

The question is: will we?

"The Trajectories group" - well, why not, it has a nice ring to it. Read the entire BBC article here!

Footnotes

1) Seth D. Baum, Stuart Armstrong, Timoteus Ekenstedt, Olle Häggström, Robin Hanson, Karin Kuhlemann, Matthijs M. Maas, James D. Miller, Markus Salmela, Anders Sandberg, Kaj Sotala, Phil Torres, Alexey Turchin and Roman V. Yampolskiy (2019) Long-term trajectories of human civilization, Foresight, to appear.

2) The same paper recently also caught the attention of Swedish public radio.

Om existentiell risk och mänsklighetens framtid i P1:s Vetandets värld idag

Jag vill varmt rekommendera dagens avsnitt av P1:s Vetandets värld, trots att dess rubrik Så räknar man ut mänsklighetens framtid lovar något mer än avsnittet och dess medverkande kan leverera. Jag kommer utförligt till tals, jämte en rad andra forskare: Anders Sandberg, Simon Beard, Luke Kemp och Lauren Holt, samt David Sumpter¹ vars korta inhopp på slutet tjänar att illustrera hur kontroversiell det slags radikal och långsiktig framtidsforskning är som avsnittet behandlar.

Det gästforskarprogram om existentiell risk som Anders och jag organiserade på Chalmers och Göteborgs universitet hösten 2017 omnämns, med särskilt fokus på den artikel rubricerad Long-term trajectories of human civilization som en rad av de medverkande gästforskarna, med Seth Baum i spetsen, bidrog till. Även den ökända gemapokalypsen behandlas kort, liksom min artikel Challenges to the Omohundro—Bostrom framework for AI motivations.

Fotnot

1) Jag uppskattar varmt matematikerkollegan David Sumpters och mina återkommande diskussioner om vetenskap och futurologi, trots (eller tack vare!) vår djupa meningsskiljaktighet i synen på vetenskap, som läsaren kan få en partiell inblick i genom Davids gästinlägg här på bloggen i oktober 2013 och mitt svar.

A draft on ethical guidlines from the European Commission's High-Level Expert Group on Artificial Intelligence

On December 18 last year, the European Commission's High-Level Expert Group on Artificial Intelligence released a draft for their Ethics Guidlines for Trustworthy AI. They are now inviting stakeholders to submit comments on the draft, with a deadline on January 18. As a world citizen and a human being, I consider myself very much a stakeholder (and perhaps one or two of the readers of this blog will feel the same?), so I took the time to submit some comments (see this pdf) on a few of the central sections of the report.

Debattörer som irriterat mig i julhelgen, del 2: Ruin

Det här handlar inte om Hans Ruin personligen. Det är visserligen sant att jag tidigare haft starkt kritiska synpunkter på denne professor i filosofi vid Södertörns högskola, vad gäller såväl hans syn på sitt ämne¹ som hans privatmoral², men det jag skriver här har lite eller inget alls med de diskussionerna att göra, utan är snarare att betrakta som en brandkårsutryckning för att rätta till en del av dumheterna i hans understreckare i SvD häromdagen, rubricerad Den envisa myten om intelligenta maskiner.

Större delen av texten utgörs av en visserligen summarisk och starkt förenklad, men givet det någorlunda godtagbar, redogörelse för delar av den artificiella intelligensens (AI:ns) idéhistoria.³ Det är när Ruin mot slutet av texten lämnar idéhistorien bakom sig och ger sig i kast med att förutsäga hur AI kommer att vidareutvecklas i framtiden som problemen hopar sig. Han låtsas ha läst Nick Bostroms Superintelligence från 2014 och Max Tegmarks Life 3.0 från 2017, men avslöjar omdelebart sin bluff genom att påstå att båda utgår "från premissen att dagens självlärande maskiner inom en nära framtid kan alstra en 'intelligensexplosion'". Nej, detta är inte en premiss i någon av böckerna. Såväl Bostrom som Tegmark diskuterar intelligensexplosionsscenarier, men i båda fallen handlar det blott om ett bland flera möjliga scenarier, och i synnerhet Bostrom diskuterar noggrant och med en väl tilltagen dos epistemisk ödmjukhet vad som talar för respektive emot en intelligensexplosion.

Redan i påföljande mening kommer nästa ruinska felaktighet, då han påstår att "genom att hänvisa till hjärnans oerhört komplexa uppbyggnad av neuroner och synapser menar [såväl Bostrom som Tegmark] att superintelligens endast är en fråga om när maskinerna närmar sig en jämförbar komplexitet i beräkningskapacitet". Helt fel igen. Vad Ruin här gör är att (till synes blint och oreflekterat) återge en av de vanligast förekommande och samtidigt fånigaste vanföreställningarna kring AI-futurologi. Sanningen är att varken Bostrom eller Tegmark eller någon annan seriös AI-futurolog hävdar att beräkningskapacitetsutveckling ensam skulle få sådana konsekvenser. Tvärtom: utan rätt slags mjukvara ingen superintelligens. Det närmaste ett korn av sanning som finns i den av Ruin återgivna missuppfattningen är att en utbredd (och rimlig) ståndpunkt bland experter på området är att ju mer beräkningskapacitet som hårdvaruutvecklingen leder fram till, desto bättre är utsikterna att skapa den mjukvara som krävs för så kallad AGI (artificiell generell intelligens) eller superintelligens.

Med stöd i sitt fria fabulerande kring vad som står i Bostroms och Tegmarks respektive böcker kommer Ruin fram till att skapandet av superintelligens är "varken tekniskt eller filosofiskt sannolikt". Inför denna fras blir jag en smula perplex, ty trots mina mer än 25 år som forskare i sannolikhetsteori har jag aldrig hört talas om den påstådda distinktionen mellan "teknisk" och "filosofisk" sannolikhet. Så vad menar Ruin här? Troligtvis inget annat än att han tyckte att det skulle låta fräsigare och mer kunnigt med "varken tekniskt eller filosofiskt sannolikt" än att kort och gott skriva "osannolikt".

Så hur står det i själva verket till med den sannolikhet som här diskuteras? Det vet vi inte. Frågan om huruvida och i så fall på vilken tidsskala som vi kan vänta oss att AI-utvecklingen når fram till AGI och superintelligens är vidöppen, något som framgår med all önskvärd tydlighet såväl av Bostroms bok som av Tegmarks, och som omvittnas ytterligare av de enkätundersökningar som gjorts bland AI-forskare (se t.ex. Dafoe och Russell, och Grace et al). Det förståndiga att göra i detta läge är att acceptera den stora osäkerheten, inklusive konstaterandet att möjligheten att superintelligens kan komma att utvecklas under innevarande århundrade förtjänar att tas på allvar, givet hur många experter som gör just det.

Ändå träder den ene efter den andre publike debattören, med en expertis (i Ruins fall en omfattande belästhet på den gamle kontinentalfilosofen Martin Heidegger) som är av i bästa fall oklar relevans för AI-futurologi, fram och meddelar att det där med superintelligens och AI-risk, det är minsann inget att bry sig om. För Ruin är långt ifrån ensam om att dra fram en sådan bedömning mer eller mindre ur röven, och med stöd i sin professorstitel eller annan vida accepterad kredibilitetsgrund basunera ut den för folket. För bara någon månad sedan gjorde den populäre nyliberale ideologen Johan Norberg samma sak. För att inte tala om kungen av AI-riskförnekeri, Steven Pinker. Och det finns många fler: se gärna den amerikanske futurologen Seth Baums studium av fenomenet.

Figurer som Ruin, Norberg och Pinker verkar dock komma mycket lindrigare undan med sitt AI-bullshitteri jämfört med motsvarande uttalanden från klimatförnekare om den globala uppvärmningen och dess orsaker. En trolig förklaring till detta är att kunskapsläget inom AI-futurologin är så väldigt mycket osäkrare än det inom klimatvetenskapen. Men att använda sin auktoritet i det offentliga rummet till att tvärsäkert torgföra grundlösa påståenden i vetenskapliga frågor, det är lika fel oavsett vilken grad av vetenskaplig osäkerhet som råder på det aktuella området.

Fotnoter

1) Min kritik på denna punkt handlar mest om hur Ruin positionerade sig i debatter med Torbjörn Tännsjö under 2016. Det är knappast någon större överdrift att hävda att han uttryckte en önskan att reducera filosofiämnet till läsandet av gamla klassiker, och dömde ut alla försök att tänka nya tankar. Det var också från denna förgrämda gammelmansposition han samma år yttrade sig om Macchiarini-skandalen.

2) Jag syftar här på Ruins åtgärder (som rapporterats om här och var) i syfte att tysta ned offer för sin gode vän Jean-Claude Arnaults sexuella övergrepp. Saken försatte mig i vissa smärre bryderier sedan jag anmält mig att delta i ett akademiskt symposium i Göteborg den 8 oktober förra året, och därefter fått klart för mig att Ruin fanns med bland talarna. Jag kände omedelbart att jag inte ville sitta tyst och utan minsta markering mot Ruin på mötet, då det skulle kunna förstås som en form av bekräftelse av att jag överser med hans illgärningar och välkomnar honom på mötet. Att utebli från mötet ville jag heller inte då mycket av intresse stod på programmet. Vidare skulle det ha varit alltför avigt och antisocialt att under frågestunden efter hans föredrag resa mig och säga något i stil med "Det här är måhända en smula off topic, men hur ser du på etiken kring nedtystandet av offer för sexuella övergrepp?". Den kompromiss jag till slut fastnade för, efter att först ha hört av mig till mötesarrangörerna med mina reservationer kring Ruins medverkan i symposiet (något som i alla fall förde det goda med sig att arrangörerna meddelade honom förekomsten av sådana synpunkter bland anmälda deltagare), var att under mötet bära den egenhändigt designade t-shirt som avbildas här intill. (Hashtagen på t-shirten kom till inom den amerikanska grenen av metoo, som stöd för Christine Blasey Ford (och protest mot den backlash som drabbade henne) när hon i september förra året vittnade mot den supreme court-nominerade domaren Brett Kavanaugh.)

3) Jag kan dock inte låta bli att påpeka att Ruin ger på tok för stor kredibilitet åt John Searles starkt suggestiva men i grunden feltänkta tankeexperiment Det kinesiska rummet. Se exempelvis Avsnitt 3 i min uppsats Aspects of mind uploading för en motivering till mitt stränga ordval "feltänkt".

Debattörer som irriterat mig i julhelgen, del 1: Andersson

Den som följt min blogg från start känner till min beundran för Lena Andersson, bl.a. från en närmast devot reflektion från 2011 kring hennes bok Förnuft och högmod. Hennes romaner Egenmäktigt förfarande (2013) och Utan personligt ansvar (2014) fick mig att om möjligt uppvärdera hennes författarskap ytterligare, och det var först ett eller två år senare, då allt fler av hennes DN-krönikor kom att ägnas åt det något uttjatade och i längden ointressanta ämnet "skatt är stöld", som kurvan började dala.

Föga anade jag då vilket nadir hennes DN-kolumn skulle nå framemot juletid 2018, då hon ägnade sina kolumner den 8 december och den 22 december åt att angripa våldtäktsdomarna mot Jean-Claude Arnault och att försvara dennes rätt att fritt ta för sig av unga kvinnor i sin omgivning. Speciellt i den senare av dessa visar hon, med formuleringar som "När nu så gott som all lustlös sexualitet ska rubriceras som våldtäkt", och lite senare i samma text motsvarande påstående om "de flesta sexuella obehag", att hon helt missat vad såväl metoo som själva begreppet sexuella övergrepp handlar om. Ingen har väl förespråkat förbud mot sexuella handlingar som inte väcker lust och behagskänslor hos den andre? För att åtminstone skänka Lena Andersson en vokabulär som gör det möjligt för henne att förstå vad saken egentligen handlar om vill jag lära henne ett ord:

samtycke

S-A-M-T-Y-C-K-E

Samtycke betyder ungefär medgivande, eller att den andre går med på den aktuella aktiviteten. Samtycka kan man göra (eller inte göra) oavsett lust/olust/behag/obehag/etc. Detta kan tyckas ganska enkelt, men att döma av hennes DN-kolumner verkar Lena Andersson inte ha tillstymmelse till susning om att det är samtycket som är den springande punkten.

Det är en smula smärtsamt att läsa sådana dumheter av en författare man i grunden beundrar, och som om inte detta vore nog drabbades jag på själva julafton av P1:s utsändning av hennes så kallade julberättelse En kör av röster, där hon broderar ut sina missförstånd än längre än i DN-kolumnerna, och redovisar en närmast Jonas Millardsk tankevärld. För att bespara läsaren eländet att behöva lyssna på den återger jag här (SPOILER ALERT!) julberättelsens budskap i kondenserad form:

Åh stackars stackars alla dessa oskyldiga men (oturligt nog) sexuellt attraktiva stackars män som nu tvingas skaka galler på grund av metoo. Och stackars alla oss som drar på oss PK-omgivningens brännmärkning sedan vi haft mage att ifrågasätta antingen metoo eller att all koldioxid härrör ur mänsklig aktivitet. Och kanske märkligast av allt i denna underliga nya tid är att man tydligen inte ens inom äktenskapets ramar längre fritt kan förfoga över den andres kropp. Förresten så kommer nog inom kort en lag som tvingar kommuner att ingripa så snart en av deras invånare känner sig lite moloken och ensam.