tisdag 19 september 2017

Michael Shermer fails in his attempt to argue that AI is not an existential threat

Why Artificial Intelligence is Not an Existential Threat is an aticle by leading science writer Michael Shermer1 in the recent issue 2/2017 of his journal Skeptic (mostly behind paywall). How I wish he had a good case for the claim contained in the title! But alas, the arguments he provides are weak, bordering on pure silliness. Shermer is certainly not the first high-profile figure to react to the theory of AI (artificial intelligence) existential risk, as developed by Eliezer Yudkowsky, Nick Bostrom and others, with an intuitive feeling that it cannot possibly be right, and the (slightly megalomaniacal) sense of being able to refute the theory, single-handedly and with very moderate intellectual effort. Previous such attempts, by Steven Pinker and by John Searle, were exposed as mistaken in my book Here Be Dragons, and the purpose of the present blog post is to do the analogous thing to Shermer's arguments.

The first half of Shermer's article is a not-very-deep-but-reasonably-competent summary of some of the main ideas of why an AI breakthrough might be an existential risk to humanity. He cites the leading thinkers of the field: Eliezer Yudkowsky, Nick Bostrom and Stuart Russell, along with famous endorsements from Elon Musk, Stephen Hawking, Bill Gates and Sam Harris.

The second half, where Shermer sets out to refute the idea of AI as an existential threat to humanity, is where things go off rails pretty much immediately. Let me point out three bad mistakes in his reasoning. The main one is (1), while (2) and (3) are included mainly as additional illustrations of the sloppiness of Shermer's thinking.
    (1) Shermer states that
      most AI doomsday prophecies are grounded in the false analogy between human nature and computer nature,
    whose falsehood lies in the fact that humans have emotions, while computers do not. It is highly doubtful whether there is a useful sense of the term emotion for which a claim like that holds generally, and in any case Shermer mangles the reasoning behind Paperclip Armageddon - an example that he discusses earlier in his article. If the superintelligent AI programmed to maximize the production of paperclips decides to wipe out humanity, it does this because it has calculated that wiping out humanity is an efficient step towards paperclip maximization. Whether to ascribe to the AI doing so an emotion like aggression seems like an unimportant (for the present purpose) matter of definition. In any case, there is nothing fundamentally impossible or mysterious in an AI taking such a step. The error in Shermer's claim that it takes aggression to wipe out humanity and that an AI cannot experience aggression is easiest to see if we apply his argument to a simpler device such as a heat-seeking missile. Typically for such a missile, if it finds something warm (such as an enemy vehicle) up ahead slightly to the left, then it will steer slightly to the left. But by Shermer's account, such steering cannot happen, because it requires aggression on the part of the heat-seeking missile, and a heat-seeking missile obviously cannot experience aggression, so wee need not worry about heat-seeking missiles (any more than we need to worry about a paperclip maximizer).2

    (2) Citing a famous passage by Pinker, Shermer writes:

      As Steven Pinker wrote in his answer to the 2015 Edge Question on what to think about machines that think, "AI dystopias project a parochial alpha-male psychology onto the concept of intelligence. They assume that superhumanly intelligent robots would develop goals like deposing their masters or taking over the world." It is equally possible, Pinker suggests, that "artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no desire to annihilate innocents or dominate the civilization." So the fear that computers will become emotionally evil are unfounded [...].
    Even if we accepted Pinker's analysis,3 Shermer's conclusion is utterly unreasonable, based as it is on the following faulty logic: If a dangerous scenario A is discussed, and we can give a scenario B that is "equally possible", then we have shown that A will not happen.

    (3) In his eagerness to establish that a dangerous AI breakthrough is unlikely and therefore not worth taking seriously, Shermer holds forth that work on AI safety is underway and will save us if the need should arise, citing the recent paper by Orseau and Armstrong as an example, but overlooking that it is because such AI risk is taken seriously that such work comes about.


1) Michael Shermer founded The Skeptics Society and serves as editor-in-chief of its journal Skeptic. He has enjoyed a strong standing in American skeptic and new atheist circuits, but his reputation may well have passed its zenith, perhaps less due to his current streak of writings showing poor judgement (besides the article discussed in the present blog post, there is, e.g., his wildly overblown endorsement of the so-called conceptual penis hoax) than to some highly disturbing stuff about him that surfaced a few years ago.

2) See p 125-126 of Here Be Dragons for my attempt to explain almost the same point using an example that interpolates between the complexity of a heat-seeking missile and that of a paperclip maximizer, namely a chess program.

3) We shouldn't. See p 117 of Here Be Dragons for a demonstration of the error in Pinker's reasoning - a demonstration that I (provoked by further such hogwash by Pinker) repeated in a 2016 blogpost.

11 kommentarer:

  1. Jag tycker att ditt/Bostroms argument för att oroa sig över AGI är bra, men undrar ändå hur du ser på frågan om "moral realism". Om det finns något som är objektivt gott borde väl en generell intelligens kunna upptäcka det och därmed dra slutsatsen att det inte är en bra idé att förvandla allt till gem. Om det inte finns något som är objektivt gott har vi väl ändå inte någon bra anledning att bry oss om AGI:n förvandlar oss till gem?

    1. Jag är lite förvånad över att du ställer dessa frågor, då jag alldeles bestämt har för mig att du läst min bok Here Be Dragons, där de behandlas i Avsnitt 4.6 och 10.1. Jag är agnostisk i frågan om moralisk realism, men som jag påpekar i Fotnot 275 på s 121 så lutar jag ändå (med stöd i Ockhams rakkniv) något åt att någon objektivt riktig moral inte existerar. Men även om en objektivt riktig moral skulle existera så är det inte uppenbart att AI:n skulle kunna upptäcka den, och även om så skulle ske så är det (som tonyf 22:48 nedan påpekar) inte uppenbart att den skulle bry sig. Och dessutom, även om den skulle såväl upptäcka den objektivt riktiga moralen som agera i enlighet med den, så är det långt ifrån uppenbart att det skulle vara ett bra utfall för oss (mänskligheten). Ett par sådana scenarier diskuteras på s 122 (liksom i en bloggpost häromåret).

      Slutligen det där med att icke-existensen av en objektiv moral skull undergräva våra moraliska ståndpunkter om gemkatastrofer och annat. Den ståndpunkten är släkt med radikalskepticismen, och jag köper den inte. Jag har massor av åsikter om vad som är bra (kärlek, solenergiutbyggnad, ...) och vad som är dåligt (könsstympning, nazism, ...) - åsikter som jag kan försvara utan att behöva grunda det i suspekta metafysiska antaganden om existensen av en objektiv moral. Se min diskussion om metaetisk kontra normativ moralisk relativism på s 227-228.

    2. Tack för svaret. Jag vet inte varför du tror att jag läst din bok då jag, mig veterligen, aldrig har pratat med dig (varken online eller irl). Men jag uppskattar din blogg och ska läsa boken när jag har tid.

    3. Aha sorry - förlåt min tråkiga ton! Det finns såklart mer än en Emil Karlsson. Jag drog lite förhastat slutsatsen att du var identisk med den Emil Karlsson som driver bloggen Debunking Denialism.

  2. Still maintaining the Idea that Pinkers stance is more nuanced that what you think... happily I will soon know :) And I still think the clip maker is a bad example. Not sure where Shermer got his fame from... he started out silly on Climate change to https://www.desmogblog.com/debating-michael-shermer-and-bjorn-lomborg-climate-risks

  3. Om det finns något objektivt gott så borde en superintelligens med stor sannolikhet komma fram till detta, och det skulle finnas betydligt mindre anledning att oroa sig. (Dock skulle viss oro fortfarande vara berättigad. För det första, även om det i så fall verkar vara en sannolik hypotes att superintelligensen skulle verka för detta objektiva goda, så är det inte helt säkert att den skulle göra det ens om den kom fram till att något sådant fanns och vad det var. T.ex. skulle den (kanske) kunna ha något annat grundläggande mål och sträva mot det även om den kommit fram till att det inte är i linje med det objektiva goda. Mer forskning behövs. Men även om den automatiskt skulle sträva mot det objektiva goda om den upptäckte att ett sådant fanns och vad det var, så skulle (kanske) en risk fortfarande finnas att den blev så kapabel redan innan den upptäckte detta att den utrotade oss innan den klarlagt allt om det objektiva goda (antag för diskussionens skull här att vår utrotning inte ligger i linje med det objektiva goda).)

    Om det å andra sidan inte finns något objektivt gott så bör ju vi eftersträva det vi subjektivt finner gott. Mänsklighetens utrotning tror jag med låg sannolikhet ligger i linje med detta, så i så fall finns anledning att bry oss.

  4. Matilda Lindvik4 november 2017 13:34


    Skulle du säga att en grupp undergångsterrorister som styr om en asteroid till att kollidera med jorden, och därmed dödar alla människor, är mindre sannolikt inom detta århundrade än en superintelligent AI som dödar hela mänskligheten? Min magkänsla säger mig att terroisterna (och liknande scenarion som inte kräver eventuellt omöjliga sci-fi-uppfinningar) är typ en miljon gånger mer sannolika. Men ändå är det en massa människor som lägger hur mycket energi som helst på AI, medan ingen verkar bry sig om terrorister i rymden etc. Kanske är AI inte en miljon gånger mer osannolikt, men intresset för AI tycks mig ändå sjukt oproportioneligt. Hur ser du på detta, alltså på det faktum att mänsklighetens undergång står och faller med så mycket mer än AI som också intuitivt tycks betydligt mer sannolikt?

    1. Såväl min bok som det nyligen avslutade gästforskarprogrammet om existentiell risk (se gärna föredragen från den workshop sin ingick i programmet) behandlar ett mycket bredare spektrum av risker än enbart AI-relaterad sådan. Och vi går längre än att bara försöka känna efter i magen.

  5. Matilda Lindvik5 november 2017 09:31

    Förlåt om jag framstod som en korkad liten tjej som kände efter med magen, men jag ska se till att läsa ditt magnum opus så att jag på allvar kan förstå dina storslagna tankar. :P Nej men seriöst, du har en hel del intressanta saker att säga. Jag snubblade in på AI genom något som kallas effektiv altruism och blev förvånad att det diskuterades där nästan lika mycket som fattigdom. Mitt intryck då var som att börja i en bokcirkel och så visar det sig att alla pratar om datorspel istället. Sedan dess har jag läst på lite mer, bland annat här, och än så länge är min "magkänsla" den samma men vi får väl se om det ändras framöver! Tack för svar.

    1. Förlåt min onödiga slutkläm i kommentaren 08:59, Matilda! Kul om du vill förkovra dig och sedan bidra till detta viktiga (och nya, växande) område. Av workshopföredragen kan jag föreställa mig att du skulle finna det av Phil Torres särskilt intressant, liksom fler av hans arbeten.

    2. Matilda Lindvik5 november 2017 16:36

      Tack! Jag kommer att kolla in det och fortsätta min resa genom allt detta. :)