Back from Paris

The so-called AI Action Summit¹ takes place today and tomorrow in Paris, but I am back home after the inaugural meeting of the International Association for Safe and Ethical AI that took place there last week. Much was said at our meeting that I would wish for the world leaders at the Summit to pick up on, but if I had to single out just one sentence, it would be the following, said by the organization's president pro tempore Stuart Russell in his closing address:

It is entirely reasonable for governments to impose safety requirements that manufacturers cannot meet.

Read it, and read it again, and upon a moment's thought you will find it utterly obvious. Safety requirements are safety requirements. Yet, so much of contemporary AI governance discussion seems to implicitly rest on its negation.

Stuart Russell's talk can be found here, beginning 03:35:50 into the video. Other notable talks were given by Yoshua Bengio, Anca Dragan, Geoffrey Hinton, Maria Ressa, Joseph Stiglitz and Max Tegmark. These and many others are available in the videos collected here. I especially recommend Bengio's talk, beginning 17:00 into this video.

Footnote

1) The name change, compared to the 2023 AI Safety Summit led by Rishi Sunak at Bletchley Park in the UK, is unfortunate. You can still protest!

Meningsutbyte med Ulf Danielsson och Torbjörn Tännsjö i DN om AI-risk

Med fysikern Ulf Danielsson har jag, som trogna läsare av denna blogg redan vet, haft många spännande diskussioner genom åren (se t.ex. här och här). Utifrån en gemensam uppslutning kring en naturvetenskaplig världsbild har det gång på gång visat sig att våra respektive intuitioner likväl går isär när det gäller kniviga frågor om exempelvis metafysik, begreppet information, medvetande och AI.

I dagarna har vi på Dagens Nyheters kultursidor haft en diskussion om AI, och mer specifikt om AI-risk. Här är våra inlägg:

• Ulf Danielsson: Släpp förmänskligandet av tekniken och se AI för vad det är, DN, 2 maj 2023.
• Olle Häggström: Vad händer om en överlägsen intelligens är likgiltig inför andra varelser?, DN, 9 maj 2023.
• Ulf Danielsson: Dags att jaga bort demonerna i debatten om AI och framtiden, DN, 11 maj 2023.

Istället för att grotta ned mig i Ulfs slutreplik och exempelvis gå i polemik mot hans inte-så-subtila antydan att jag skulle ha föreställningar om att "de maskiner vi konstruerar på ett mystiskt sätt blir besatta av onda andar", nöjer jag mig här med ett par klargöranden om mitt bidrag den 9 maj.

För det första vill jag i efterhand beklaga att jag lät mig provoceras av Ulf att ge mig in i frågan den eventuella möjligheten till AI-medvetande. Jag borde ha undvikit det, eftersom alltför mycket kraft lagd på den frågan kan ge den oinitierade läsaren intrycket att all eventuell risk för AI-apokalyps förutsätter att AI uppnår medvetande, något som emellertid inte är fallet, eftersom sådan AI-risk är en fråga om vad AI:n gör medan medvetandet är en fråga om huruvida den har subjektiva upplevelser - två kategorier som inte bör förväxlas. Stuart Russell förklarar saken koncist i sin bok Human Compatible: Artificial Intelligence and the Problem of Control:

Suppose I give you a program and ask, `Does this present a threat to humanity?'. You analyze the code and indeed, when run, the code will form and carry out a plan whose result is the destruction of the human race, just as a chess program will form and carry out a plan whose result will be the defeat of any human who faces it. Now suppose I tell you that the code, when run, also creates a form of machine consciousness. Will that change your predictions? Not at all. It makes absolutely no difference.

För det andra har jag ett sensationellt avslöjande: min DN-text är till allra största delen författad tillsammans med filosofen Torbjörn Tännsjö!

Ändå har den publicerade texten enbart mig som undertecknare. Hur kunde det bli så konstigt? Well, när DN Kultur tog emot texten tackade de glatt ja, men med villkoret att författarlistan bara skulle bestå av ett enda namn, vilket de motiverade med att det annars skulle kunna uppstå förvirring hos läsare om vem som egentligen stod för vad i texten. Ett konstigt och (kände jag först) oacceptabelt villkor, men sedan DN-redaktionen visat sig hårdnackad i frågan samtidigt som Torbjörn generöst erbjudit sig att stiga åt sidan gick jag till slut med på att skriva om texten i första person singularis och göra en lite större omskrivning av det avslutande stycket.

Lite synd, eftersom jag nu får fortsätta vänta på äran att även officiellt stå som medförfattare med Torbjörn på någon text, och då jag tycker att ursprungsversionens avslutning var betydligt spänstigare:

Vad gäller sådan AI och utsikten att den kan ta över världen har författarna till denna artikel olika syn på saken. Den ene av oss (Tännsjö) ser det som hoppfullt. Det vore av godo om tänkande maskiner ersatte oss människor, gjorde bättre moraliska bedömningar än vi, levde i samverkan och uppnådde lycka i livet. Den andre (Häggström) är här mer bekymrad. Vad händer om en överlägsen intelligens rätt och slätt är likgiltig för andra varelsers väl och ve? Tänk om den tömmer atmosfären på syre som led i något experiment? Då är det ute med oss. I sin ordning säger Tännsjö. Beklagligt säger Häggström. Men vem man än håller med, kan man inte rimligen vara likgiltig för frågeställningen.

Some notes on Pinker's response to Phil Torres

The day before yesterday I published my blog post Steven Pinker misleads systematically about existential risk, whose main purpose was to direct the reader to my friend and collaborator Phil Torres' essay Steven Pinker's fake enlightenment. Pinker has now written a response to Phil's essay, and had it published on Jerry Coyne's blog Why Evolution is True. The response is feeble. Let me expand a little bit on that.

After a highly undignified opening paragraph with an uncharitable and unfounded speculation about Phil's motives for writing the essay,¹ Pinker goes on throughout most of his response to explain, regarding all of the quotes that he exibits in his book Enlightenment Now and that Phil points out are taken out of context and misrepresent the various authors' intentions, that... well, that it doesn't matter that they are misrepresentations, because what he (Pinker) needed was words to illustrate his ideas, and for that it doesn't matter what the original authors meant. He suggests that "Torres misunderstands the nature of quotation". So why, then, doesn't Pinker use his own words (he is, after all, one of the most eloquent science writers of our time)? Why does he take this cumbersome detour via other authors? If he doesn't actually care what these authors mean, then the only reason I can see for including all these quotes and citations is that Pinker wants to convey to his readers the misleading impression that he is familiar with the existential risk literature and that this literature gives support to his views.

The most interesting case discussed in Phil's essay and Pinker's response concerns AI researcher Stuart Russell. In Enlightenment Now, Pinker places Russell in the category of "AI experts who are publicly skeptical" that "high-level AI pose[s] the threat of 'an existential catastrophe'." Everyone who has actually read Russell knows that this characterization is plain wrong, and that he in fact takes the risk for an existential catastrophe caused by an AI breakthrough extremely seriously. Phil points this out in his essay, but Pinker insists. In his response, Pinker quotes Russell as saying that "there are reasons for optimism", as if that quote were a demonstration of Russell's skepticism. The quote is taken from Russell's answer to the 2015 Edge question - an eight-paragraph answer that, if one reads it from the beginning to the end rather than merely zooming in on the phrase "there are reasons for optimism", makes it abundantly clear that to Russell, existential AI risk is a real concern. What, then, does "there are reasons for optimism" mean? It introduces a list of ideas for things we could do to avert the existential risk that AI poses. Proposing such ideas is not the same thing as denying the risk.

It seems to me that this discussion is driven by two fundamental misunderstandings on Pinker's part. First, he has this straw man image in his head of an existential risk researcher as someone proclaiming "we're doomed", whereas in fact what existential risk researchers say is nearly always more along the lines of "there are risks, and we need to work out ways to avoid them". When Pinker actually notices that Russell says something in line with the latter, it does not fit the straw man, leading him to the erroneous conclusion that Russell is "publicly skeptical" about existential AI risk.

Second, by shielding himself from the AI risk literature, Pinker is able to stick to his intuition that avoiding the type of catastrophe illustrated by Paperclip Armageddon is easy. In his response to Phil, he says that

if we built a system that was designed only to make paperclips without taking into account that people don’t want to be turned into paperclips, it might wreak havoc, but that’s exactly why no one would ever implement a machine with the single goal of making paperclips,

continuing his light-hearted discourse from our encounter in Brussells 2017 where he said (as quoted on p 24 of the proceedings from the meeting) that

the way to avoid this is: don’t build such stupid systems!

The literature on AI risk suggests that, on the contrary, the project of aligning the AI's goals with ours to an extent that suffices to avoid catastrophe is a difficult task, filled with subtle obstacles and traps. I could direct Pinker to some basic references such as Yudkowsky (2008, 2011), Bostrom (2014) or Häggström (2016), but given his plateau-shaped learning curve on this topic since 2014, I fear that he would either just ignore the references, or see them as sources to mine for misleading quotes.

Footnote

1) Borrowing from the standard climate denialist's discourse about what actually drives climate scientists, Pinker says this:

Phil Torres is trying to make a career out of warning people about the existential threat that AI poses to humanity. Since [Enlightenment Now] evaluates and dismisses that threat, it poses an existential threat to Phil Torres’s career. Perhaps not surprisingly, Torres is obsessed with trying to discredit the book [...].

Killer robots and the meaning of sensationalism

When I give talks on AI (artificial intelligence) futurology, I usually point out autonomous weapons development as the most pressingly urgent problem we need to deal with. The open letter on autonomous weapons that I co-signed (among thousands of other scientists) in 2015 phrases the problem well, and I often quote the following passage:

If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.

Some of these points were made extremely vividly in a video (featuring Stuart Russell) released a couple of weeks ago by the Campaign to Stop Killer Robots. The video is very scary, but I encourage you to watch it nevertheless:

In an op-ed last Wednesday in The Guardian that has gained much attention, computer scientist Subbarao Kambhampati criticizes the video and the campaign. Kambhampati does have have some important points, in particular his main concern, which is that a UN ban on killer robots is unlikely to be successful. There is much to say about this, but here I'd just like to comment on a much narrower issue,¹ namely Kambhampati's use of the term sensationalism. He repeatedly calls the video sensationalist, and adds that it is "more an exercise at inflaming rather than informing public opinion". While it is true that the content of the video is sensational, the term sensationalism also signals the claim that the video's message is unwarranted, exaggerated and overblown. But it is not, or at least Kambhampati does not provide any evidence that it is; in fact, his main concern in the op-ed about the implausibility of a weapons ban being effective just adds to the plausibility of the nightmarish scenario depicted in the video becoming reality. The severe badness of a future scenario does not in itself warrant calling warnings about such a scenario sensationalism.² For that, one would need the scenario to be farfetched and improbable. Kambhampati's dichotomy between "inflaming" and "informing" is also unwarranted. The video is highly informative, and if the severe danger that it informs about makes people agitated, then that is as it should be.

Footnotes

1) I can't resist, however, commenting on one more thing about Kambhampati's op-ed, namely his full disclosure at the end, containing the passage "However, my research funding sources have no impact on my personal views". This, in my opinion, is almost synonymous to saying "I am incredibly naive, and I expect my readers to be so as well".

2) Thus, Kambhampati's use of the term sensationalism is analogous to how climate denialists have for a long term routinely used the term alarmism whenever results from climate science indicate that global warming may turn out to have severe conequences.

Michael Shermer fails in his attempt to argue that AI is not an existential threat

Why Artificial Intelligence is Not an Existential Threat is an aticle by leading science writer Michael Shermer¹ in the recent issue 2/2017 of his journal Skeptic (mostly behind paywall). How I wish he had a good case for the claim contained in the title! But alas, the arguments he provides are weak, bordering on pure silliness. Shermer is certainly not the first high-profile figure to react to the theory of AI (artificial intelligence) existential risk, as developed by Eliezer Yudkowsky, Nick Bostrom and others, with an intuitive feeling that it cannot possibly be right, and the (slightly megalomaniacal) sense of being able to refute the theory, single-handedly and with very moderate intellectual effort. Previous such attempts, by Steven Pinker and by John Searle, were exposed as mistaken in my book Here Be Dragons, and the purpose of the present blog post is to do the analogous thing to Shermer's arguments.

The first half of Shermer's article is a not-very-deep-but-reasonably-competent summary of some of the main ideas of why an AI breakthrough might be an existential risk to humanity. He cites the leading thinkers of the field: Eliezer Yudkowsky, Nick Bostrom and Stuart Russell, along with famous endorsements from Elon Musk, Stephen Hawking, Bill Gates and Sam Harris.

The second half, where Shermer sets out to refute the idea of AI as an existential threat to humanity, is where things go off rails pretty much immediately. Let me point out three bad mistakes in his reasoning. The main one is (1), while (2) and (3) are included mainly as additional illustrations of the sloppiness of Shermer's thinking.

(1) Shermer states that
most AI doomsday prophecies are grounded in the false analogy between human nature and computer nature,
whose falsehood lies in the fact that humans have emotions, while computers do not. It is highly doubtful whether there is a useful sense of the term emotion for which a claim like that holds generally, and in any case Shermer mangles the reasoning behind Paperclip Armageddon - an example that he discusses earlier in his article. If the superintelligent AI programmed to maximize the production of paperclips decides to wipe out humanity, it does this because it has calculated that wiping out humanity is an efficient step towards paperclip maximization. Whether to ascribe to the AI doing so an emotion like aggression seems like an unimportant (for the present purpose) matter of definition. In any case, there is nothing fundamentally impossible or mysterious in an AI taking such a step. The error in Shermer's claim that it takes aggression to wipe out humanity and that an AI cannot experience aggression is easiest to see if we apply his argument to a simpler device such as a heat-seeking missile. Typically for such a missile, if it finds something warm (such as an enemy vehicle) up ahead slightly to the left, then it will steer slightly to the left. But by Shermer's account, such steering cannot happen, because it requires aggression on the part of the heat-seeking missile, and a heat-seeking missile obviously cannot experience aggression, so wee need not worry about heat-seeking missiles (any more than we need to worry about a paperclip maximizer).²

(2) Citing a famous passage by Pinker, Shermer writes:

As Steven Pinker wrote in his answer to the 2015 Edge Question on what to think about machines that think, "AI dystopias project a parochial alpha-male psychology onto the concept of intelligence. They assume that superhumanly intelligent robots would develop goals like deposing their masters or taking over the world." It is equally possible, Pinker suggests, that "artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no desire to annihilate innocents or dominate the civilization." So the fear that computers will become emotionally evil are unfounded [...].
Even if we accepted Pinker's analysis,³ Shermer's conclusion is utterly unreasonable, based as it is on the following faulty logic: If a dangerous scenario A is discussed, and we can give a scenario B that is "equally possible", then we have shown that A will not happen.

(3) In his eagerness to establish that a dangerous AI breakthrough is unlikely and therefore not worth taking seriously, Shermer holds forth that work on AI safety is underway and will save us if the need should arise, citing the recent paper by Orseau and Armstrong as an example, but overlooking that it is because such AI risk is taken seriously that such work comes about.

Footnotes

1) Michael Shermer founded The Skeptics Society and serves as editor-in-chief of its journal Skeptic. He has enjoyed a strong standing in American skeptic and new atheist circuits, but his reputation may well have passed its zenith, perhaps less due to his current streak of writings showing poor judgement (besides the article discussed in the present blog post, there is, e.g., his wildly overblown endorsement of the so-called conceptual penis hoax) than to some highly disturbing stuff about him that surfaced a few years ago.

2) See p 125-126 of Here Be Dragons for my attempt to explain almost the same point using an example that interpolates between the complexity of a heat-seeking missile and that of a paperclip maximizer, namely a chess program.

3) We shouldn't. See p 117 of Here Be Dragons for a demonstration of the error in Pinker's reasoning - a demonstration that I (provoked by further such hogwash by Pinker) repeated in a 2016 blogpost.

Rekommenderas varmt: Sam Harris podcast

I minst ett år har jag haft tillräckligt många vänner (med intellektuell smak tillräckligt i linje med min egen) som varmt rekommenderar den amerikanske neurovetaren och samhällsdebattören Sam Harris podcast Waking Up för att inse att den är riktigt bra. I förra veckan gjorde jag äntligen slag i saken och började lyssna, så nu tillhör jag de frälsta, och skriver denna bloggpost i avsikt att rekrytera fler själar åt Harris.

Sam Harris har ett brinnande samhällsengagemang och en uppsättning filosofiska och vetenskapliga intressen som uppvisar ett påtagligt överlapp med mina. Han är synnerligen analytiskt lagd, han gillar att se svåra frågor belysta från olika håll, och han utmanar gärna sig själv genom att på stort allvar ta del av meningsmotståndares argument. Ofta, men långtifrån alltid, landar han i ungefär samma ståndpunkter som jag. Om hans analyser leder honom mot kontroversiella och impopulära ståndpunkter så väjer han inte för det.

Ett typiskt avsnitt av Waking Up utgörs av ett samtal mellan Harris och någon annan person vars tankar han intresserar sig för. Dessa samtal är vanligtvis cirka två timmar långa, vilket medger befriande fördjupning i en tid som i allt högre grad kommit att domineras av tweets och andra ytliga snapshots (men det bidrog nog också till att det dröjde så länge som det gjorde innan jag började lyssna på podcasten). Jag har nu på mindre än en vecka hunnit höra Sam Harris samtala med följande nio personer, och jag tycker mig ha hört tillräckligt för att våga påstå att den som gillar min blogg sannolikt kommer att älska Waking Up.

• Charles Murray. Det här är det senaste avsnittet av Waking Up, och det som (via påstötningar från Patrik Lindenfors och Anders Emretsson) fick mig att till slut börja lyssna på podcasten. De läsare som känner till statsvetaren Charles Murray gör det nog från hans och den sedemera framlidne Richard Herrnsteins bok The Bell Curve: Intelligence and Class Structure in American Life från 1994, eller - troligare - från den långdragna och mycket aggressiva debatt som följde på boken. I denna debatt (som ännu inte svalnat; hans framträdanden kan fortfarande mötas med upplopp) framställdes Murray som rasist och värre saker än så, och jag tycker faktiskt att vi som i ett par decennier burit på det intrycket är skyldiga honom den lilla tjänsten att ta del av detta podcastavsnitt och få reda på vilken klok och sansad person han faktiskt är, och vilket starkt engagemang för social rättvisa han (trots att han politiskt drar åt höger) har.

• Paul Bloom. Jag tvekar inte att karaktärisera detta samtal med psykologen Paul Bloom som ett ustökt och rentav virtuost samspel mellan två intelligenta herrar med viktiga saker på hjärtat. I centrum för diskussionen står (den för mig tidigare okända men troligvis väldigt viktiga) distinktionen mellan empati och medkänsla, och jag får snart hem Blooms aktuella bok med den provokativa titeln Against Empathy: The Case for Rational Compassion.

• David Chalmers. Det finns få (om ens någon) nutida forskare inom medvetandefilosofi som är mer framstående än David Chalmers. Detta samtal tror jag kan fungera ypperligt som nybörjarintroduktion till området. (För mig, som alltid intresserat mig för medvetandefilosofi, och dessutom läst flitigt om det de senaste 15 åren, blev det dock mest skåpmat, om än välformulerad sådan.)

• Stuart Russell. Här kan jag använda copy-and-paste ganska effektivt: Det finns få (om ens någon) nutida forskare inom artificiell intelligens (AI) som är mer framstående än Stuart Russell. Detta samtal tror jag kan fungera ypperligt som nybörjarintroduktion till AI-risk. (För mig, som intresserat mig för och dessutom läst flitigt om saken de senaste 8-9 åren, blev det dock mest skåpmat, om än välformulerad sådan.)

• Daniel Dennett. Frågan om människans fria vilja och huruvida sådan är möjlig i ett materiellt universum hör till dem som tidigare intresserat mig men som jag senare tröttnat på, och det skall villigt erkännas att jag började lyssna på detta podcastavsnitt mer av nyfikenhet på hur Harris och Dennett socialt skulle hantera den situation de skapat genom den extremt arga debatt de haft med varandra i frågan några år tidigare. Det visar sig att de helt klart är on speaking terms, men att en viss odör av gammal surdeg likväl kans skönjas. I sakfrågan har de inte flyttat sig nämnvärt: att de ger olika svar på frågan om huruvida fri vilja existerar beror enbart på att de har olika uppfattning om vad som är en relevant definition av fri vilja, och inte alls på någon eventuell skillnad i uppfattning om hur världen är beskaffad (men det visste vi redan).

• Gary Kasparov. I min ungdom hörde Kasparov - schackgeni och så småningom världsmästare, och möjligen rentav den störste schackspelaren genom alla tider - till mina allra största idoler. Hans roll efter avslutad schackkarriär som ledande rysk oppositionell och antiputinist är beundransvärd. I samtalet med Sam Harris är det delarna om Putin, Trump och internationell storpolitik som är värda att lyssna på. I diskussionen om artificiell intelligens (något Kasparov ofta tillfrågas om i kraft av sin historiska roll som den förste schackvärldsmästare som tvingats se sig besegrad av ett datorprogram) har han däremot väldigt lite av värde att tillföra.

• Anne Applebaum. Författaren och journalisten Anne Applebaum har sällsynt god nutidshistorisk överblick över sovjetisk/rysk, europeisk och amerikansk politik. Liksom Harris samtal med Kasparov kretsar det med Applebaum i hög grad kring Trump, Putin, realpolitik och diktaturens mekanismer, men är avgjort intressantare.

• Lawrence Krauss. Harris diskussion med fysikern Lawrence Krauss spänner, liksom så många andra av hans samtal, över många områden. Här är det delarna om kärnvapenhotet som är intressantast, medan den om tolkningar av kvantmakanik känns som om jag hört den hundra gånger förut, och käbblet om vilket som är farligast av kristen och islamsk fundamentalism snabbt blir tjatigt.

• William MacAskill. Filosofiämnet anklagas ofta för att vara fast positionerat så högt upp i elfenbenstornet att det aldrig någonsin får någon praktisk betydelse. Men anklagelsen är felaktig, och den 30-årige (29 vid tiden för programmets inspelning) Oxfordfilosofen William MacAskills verksamhet är ett strålande motexempel. Han är frontfigur (såväl intellektuellt som entreprenöriellt) för den nya och snabbt växande effektiv altruism-rörelsen, som jag känner stor sympati med, och samtalet behandlar väldigt nyanserat frågan om hur vi bäst kan göra världen bättre. Vissa psykologiska aspekter har starka beröringspunkter med ovan nämnda avsnitt med Paul Bloom. Jag har beställt MacAskills bok Doing Good Better och ser fram emot att läsa den.

Pinker yttrar sig om AI-risk men vet inte vad han talar om

Som jag påpekat tidigare: kognitionsvetaren Steven Pinker är utan tvekan en av vår tids främsta populärvetenskapsförfattare och public intellectuals. Hans utspel är dock ofta kontroversiella, och när jag värderar dem blir det ömsom vin, ömsom vatten. Nu skall jag bjuda på lite av det senare, sedan jag häromdagen blivit uppmärksammad på en videosnutt som nyligen publicerats på sajten Big Think, där Pinker förklarar hur löjligt det är att oroa sig över risken för en framtida AI-apokalyps. Pinkers anförande ges rubriken AI Won't Takeover the World, and What Our Fears of the Robopocalypse Reveal.

Det Pinker här går till angrepp mot är emellertid inget mer än en till oigenkännlighet förvriden nidbild av den syn på AI-risk och superintelligens som ledande tänkare på området - sådana som Nick Bostrom, Eliezer Yudkowsky, Stuart Russell, Max Tegmark och Stuart Armstrong - representerar. Och han gör narr av att de inte skulle ha kommit på den enkla lösningen att vi kan "build in safeguards" i avancerade AI-system för att försäkra oss om att de inte går överstyr - uppenbarligen helt okunnig om att en central del av dessa tänkares budskap är att vi bör göra just det, men att det är ett mycket svårt projekt, varför vi gör klokast i att börja utarbeta säkerhetslösningar i så god tid som möjligt, dvs nu.

Det här är inte första gången Pinker häver ur sig dessa dumheter. 2014 skrev han ett svar på en artikel av Jaron Lanier där han torgförde väsentligen samma synpunkter - ett svar varur jag på sidan 116 i min bok Here Be Dragons citerade följande passage:

[A] problem with AI dystopias is that they project a parochial alpha-male psychology onto the concept of intelligence. Even if we did have superhumanly intelligent robots, why would they want to depose their masters, massacre bystanders, or take over the world? Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something. History does turn up the occasional megalomaniacal despot or psychopathic serial killer, but these are products of a history of natural selection shaping testosterone-sensitive circuits in a certain species of primate, not an inevitable feature of intelligent systems. It's telling that many of our techno-prophets can't entertain the possibility that artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no burning desire to annihilate innocents or dominate the civilization.

Of course we can imagine an evil genius who deliberately designed, built, and released a battalion of robots to sow mass destruction. [...] In theory it could happen, but I think we have more pressing things to worry about.

Detta kommenterade jag i Here Be Dragons med följande ord (inklusive fotnoter, men med länkar tillfogade här och nu):

This is poor scholarship. Why doesn't Pinker bother, before going public on the issue, to find out what the actual arguments are that make writers like Bostrom and Yudkowsky talk about an existential threat to humanity? Instead, he seems to simply assume that their worries are motivated by having watched too many Terminator movies, or something along those lines. It is striking, however, that his complaints actually contain an embryo towards rediscovering the Omohundro-Bostrom theory:²⁶⁶ "Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something." This comes very close to stating Bostrom's orthogonality thesis about the compatibility between essentially any final goal and any level of intelligence, and if Pinker had pushed his thoughts about "novel means to attain a goal" just a bit further with some concrete example in mind, he might have rediscovered Bostrom's paperclip catastrophe (with paperclips replaced by whatever his concrete example involved). The main reason to fear a superintelligent AGI Armageddon is not that the AGI would exhibit the psychology of an "alpha-male"²⁶⁷ or a "megalomaniacal despot" or a "psychopathic serial killer", but simply that for a very wide range of (often deceptively harmless-seeming) goals, the most efficient way to attain it involves wiping out humanity.

Contra Pinker, I believe it is incredibly important, for the safety of humanity, that we make sure that a future superintelligence will have goals and values that are in line with our own, and in particular that it values human welfare.

266) I owe this observation to Muehlhauser (2014).

267) I suspect that the male-female dimension is just an irrelevant distraction when moving from the relatively familiar field of human and animal psychology to the potentially very different world of machine minds.

Det är lite dystert att se, i den ovan länkade videon, att Pinker (trots den tid han haft på sig att tänka om och trots tillrättalägganden från bland andra Luke Muehlhauser och mig) fortsätter att torgföra sina förvirrade vanföreställningar om AI-futurologi.

Stuart Russell om riskerna med ett AI-genombrott

Ett ofta anfört argument avsett att tona ned talet om katastrofrisker i samband med ett genombrott inom AI (artificiell intelligens) är att de forskare som lyfter fram dessa risker i regel kommer från andra områden än AI och datalogi, och därför (så lyder argumentationen) saknar den expertkompetens som behövs för att kunna göra sådana bedömningar. Så t.ex. är Max Tegmark och Stephen Hawking båda fysiker, medan Nick Bostrom är filosof, och jag själv är matematisk statistiker.¹ Jag finner argumentet olyckligt av flera skäl. Ett är att det som vanligen avses med AI-forskning, nämligen forskning som syftar till att skapa högpresterande AI, inte alltid självklart är det mest relevanta kompetensområdet när det gäller att värdera futurologiska AI-scenarier. Ett annat är att jag tycker mig ha noterat att en viss benägenhet (mer eller mindre omedveten) att inte vilja se riskerna med teknisk utveckling inom det egna forskningsområdet är vanligt förekommande, både bland AI-forskare och på andra områden.

Hur som helst tycker jag att det är bra att kraften i det anförda argumentet punkteras en smula av att en av världens mest respekterade AI-forskare, Stuart Russell vid UC Berkeley, träder fram i en färsk intervju i tidskriften Quanta Magazine och förklarar varför han anser att katastrofscenarierna förtjänar att tas på största allvar.² Läs intervjun här!

Fotnot

1) För att inte tala om hur en av mina absoluta favorittänkare på detta område, Eliezer Yudkowsky, ofta avfärdas med att han är autodidakt utan någon akademisk examen överhuvudtaget.

2) Ett annat framträdande motexempel är datalogen Roman Yampolskiy.

Transcendence trailer

Hollywoodfilmen Transcendence med Johnny Depp i huvudrollen hade premiär i USA för några veckor sedan, den 10 april. Här i Sverige får vi vänta till den 21 juni innan den går upp på svenska biografer. Tills dess får vi nöja oss med den officiella trailern:

Filmen har fått mestadels negativa recensioner, men jag tänker ändå se den, då den ju (om vi får tro trailer och recensenter) tar upp återkommande ämnen här på bloggen som Singulariteten och uppladdning av mänskligt medvetande (oavsett filmens eventuella kvaliteter och brister vill jag gärna hålla mig à jour med hur dessa ämnen presenteras för bred publik). Det dramatiska inslaget att Depps AI-forskare tidigt i filmen blir skjuten av en neo-ludditisk terrorist är lånat inte bara från James Camerons mästerverk Terminator 2 från 1991, utan också från verkligheten.

Fysikern Stephen Hawking tog i en artikel häromdagen i The Independent,¹ tillsammans med AI-forskaren Stuart Russell och fysikerkollegorna Max Tegmark och Frank Wilczek, filmen som förevändning och avstamp för att skriva om Singulariteten:

With the Hollywood blockbuster Transcendence playing in cinemas, with Johnny Depp and Morgan Freeman showcasing clashing visions for the future of humanity, it's tempting to dismiss the notion of highly intelligent machines as mere science fiction. But this would be a mistake, and potentially our worst mistake in history.

Efter att ha ordat kort om dagens AI-utveckling och vad den i förlängningen kan komma att ge oss - "everything that civilisation has to offer is a product of human intelligence; we cannot predict what we might achieve when this intelligence is magnified by the tools that AI may provide, but the eradication of war, disease, and poverty would be high on anyone's list" - kommer de fyra forskarna över på de risker som också finns:

In the near term, world militaries are considering autonomous-weapon systems that can choose and eliminate targets; the UN and Human Rights Watch have advocated a treaty banning such weapons. In the medium term, as emphasised by Erik Brynjolfsson and Andrew McAfee in The Second Machine Age, AI may transform our economy to bring both great wealth and great dislocation.

Looking further ahead, there are no fundamental limits to what can be achieved: there is no physical law precluding particles from being organised in ways that perform even more advanced computations than the arrangements of particles in human brains. An explosive transition is possible, although it might play out differently from in the movie: as Irving Good realised in 1965, machines with superhuman intelligence could repeatedly improve their design even further, triggering what Vernor Vinge called a "singularity" and Johnny Depp's movie character calls "transcendence".

One can imagine such technology outsmarting financial markets, out-inventing human researchers, out-manipulating human leaders, and developing weapons we cannot even understand. Whereas the short-term impact of AI depends on who controls it, the long-term impact depends on whether it can be controlled at all.

Hawking, Russell, Tegmark och Wilczek avslutar med väsetligen samma budskap som denna bloggs läsekrets vid det här laget har vant sig vid att jag själv predikar, nämligen vikten av att ta frågan om radikala framtida AI-scenanrier på allvar, och att göra vårt bästa för att utröna hur vi kan förbättra chanserna för ett gynnsamt utfall:

So, facing possible futures of incalculable benefits and risks, the experts are surely doing everything possible to ensure the best outcome, right? Wrong. [...] Although we are facing potentially the best or worst thing to happen to humanity in history, little serious research is devoted to these issues outside non-profit institutes such as the Cambridge Centre for the Study of Existential Risk, the Future of Humanity Institute, the Machine Intelligence Research Institute, and the Future Life Institute. All of us should ask ourselves what we can do now to improve the chances of reaping the benefits and avoiding the risks.

Fotnot

1) Artikeln är misstänkt lik en bloggpost på The Huffington Post av samma namnkunniga kvartett den 19 april.