söndag 31 januari 2016

Ludditer med tråkigt tonfall?

I P1:s myspysprogram Spanarna i fredags kunde vi höra Per Naroskin kåsera kring frågor om framtida utveckling inom artificiell intelligens. Hans inslag (som börjar cirka 30:45 in i programmet) bjuder inte på några djupare insikter, men är ändå värt att lyssna på. Som utgångspunkt tar han det Luddit-pris som en tankesmedja vid namn Information Technology & Innovation Foundation (ITIF) givit till Elon Musk och Stephen Hawking med flera, för att dessa uttryckt oro över en tänkbar utveckling där ett genombrott inom artificiell intelligens leder till katastrof och i värsta fall mänsklighetens undergång. För den som känner till vad ordet luddit1 betyder kan det synas mäkta underligt att förknippa Elon Musk (mannen bakom bl.a. SpaceX, PayPal och Tesla Motors) med den sortens teknikfientlighet. Jag känner mig personligen en smula upprörd över priset, eftersom jag i min nya bok Here Be Dragons fäster stor vikt vid samma slags scenarier som Musk och Hawking tar upp, samtidigt som jag ogärna vill förknippas med luddism.2

I CNET:s rapportering om priset medger ITIF:s talesperson Rob Atkinson att det kan se en smula underligt ut att ge ett sådant pris till Musk, då denne är "the antithesis of a Luddite", men han menar att Musk ändå "is giving aid and comfort to the Luddite community". Underligast av allt är emellertid att Atkinson, att döma av CNET:s rapportering, hävdar att det är en fråga om tonfall:
    "It's not inappropriate to raise the issue that AI be developed in a safe and responsible way," said Atkinson. "The problem is their tone scares people."
Med andra ord: varna gärna för en eventuell kommande AI-katastrof i vilken mänskligheten går under, men se till att göra det i ett tonfall som säkerställer att folk inte blir rädda!

Fotnot

1) Wikipedia sammanfattar:
    Ludditerna eller maskinstormarna var en samhällsrörelse bland engelska arbetare som under det tidiga 1800-talet protesterade, ofta genom att förstöra textilmaskiner, mot den industriella revolutionens förändringar, som de kände hotade deras arbeten. Rörelsen, som startade 1811, var uppkallad efter en troligtvis fiktiv ledare, Ned Ludd. [...]

    På senare tid används termerna luddism och luddit eller neo-luddism och neo-luddit synonymt med någon som motsätter sig teknikens och teknologins utveckling på grund av de kulturella förändringar utvecklingen för med sig.

2) Därför är jag naturligtvis extra glad åt hur Jonathon Keats, i sin recension i New Scientist av min bok, skriver att min "sense of caution is profound, heartfelt and free of Luddite polemic: it’s a stimulating attempt to balance the pursuit of breakthroughs with old-fashioned humility".

torsdag 28 januari 2016

Guest blogger at the OUPblog

The publisher of my newly released book Here Be Dragons: Science, Technology and the Future of Humanity is Oxford University Press. As part of the marketing their books, they also run the OUPblog, where their authors are given the opportunity to contribute blog posts on topics related to the books. Today, the last in a series of three blog posts of mine was published at OUPblog. These are my three posts: While the last two posts, on the phenomenon of robot consciouness and what it entails (and does not entail) for us humans, are closer related to each other than to the first, all three can be read independently. The first post summarizes the main message of my book concerning the extreme dangers that may be involved in future technologies and the importance of acting with foresight. Readers who understand both English and Swedish may compare that post to my recent op-ed in the Swedish newspaper Svenska Dagbladet, and will then find how closely the two texts follow each other.

tisdag 26 januari 2016

Reaktioner på Here Be Dragons

Följande är några av de tidiga reaktionerna på min nyutkomna bok Here Be Dragons: Science, Technology and the Future of Humanity. Ingen av recensenterna i kategorin Tidningar och tidskrifter är personer jag sedan tidigare känner till, medan däremot skribenterna i de båda andra kategorierna Bloggar och Övriga fora samtliga befinner sig någonstans på skalan mellan goda vänner och flyktigt bekanta, vilket såklart kan ha påverkat deras bedömningar.

Tidningar och tidskrifter
  • New Scientists Jonathon Keats avrundar (som tidigare meddelats) sin positiva recension med att kalla boken "an essential provocation".

  • Financial Times Stephen Cave framhåller att jag inte gör några tvärsäkra uttalanden om hur framtiden kommer att gestalta sig:
      Häggström is not trying to tell us that things will definitely work out one way or another. Rather, he is reminding us that the future is an uncharted land in which there might be monsters. We need these gloomy forecasts, just as we need glimpses of a solar-powered utopia. There are some predictions that we make in the hope that they will prove wrong, and others that we very much hope will come true. The better we envision them — whether through sober statistics or the all-action sci-fi of my comic-reading boyhood — the better chance we have of steering the ship of fate along the happier course.

  • L'Express de Toronto meddelar (på franska) att min bok inte lämpar sig att läsas nattetid.

  • Engineering and Technology Magazines recensent Dominic Lenton framhåller
      the crux of Häggström’s case that we’re forgetting how scientific progress has the potential both to cause humanity great harm and to bring it great benefit. “To completely ignore this aspect of science seems like negligence bordering on insanity,” he says.

      Some will dismiss his attitude as alarmism, but simply saying we need to know more before we can properly address these issues just puts off the problem for future generations to deal with.

      As Häggström concludes, not making a decision is in itself a decision.

Bloggar
  • Björn Bengtsson fördjupar sig (som tidigare meddelats) på sin blogg Jag är här i det jag i boken döper till Bullerbyscenariot.

  • Robin Hanson uttrycker, på sin blogg Overcoming Bias, ett (delvis berättigat) missnöje över hur jag framställer hans ekonomiska analyser av en framtida värld där personer kan kopieras lika billigt och enkelt som vi idag kopierar musikfiler.

  • Devdatt Dubhashi skriver, på bloggen The Future of Intelligence, en utförlig recension där han visserligen har en del kritiska synpunkter på enskildheter, men ändå en positiv grundton, och följande får mig nästan att rodna:
      Many of us have known Olle Häggström as a world famous probabilist working in the arcane area of percolation theory, but the author of this book [...] seems to be somebody altogether different. Indeed, Olle has run a hyperactive blog for a number of years, engaging in a number of polemics (sometimes bad–tempered) on issues ranging from religion and rationality in the early years, to climate change and most recently, artificial intelligence (AI) and its consequences. This book could be seen as the culmination of this effort.

      Personally, I welcome this metamorphosis.

Övriga fora
  • I en kundrecension på Amazon ger David Aldous boken fem stjärnor av fem möjliga, och kryddar i följande passage med det smickrande (men för mig tidigare obekanta) engelska ordet "erudite":
      The book under review [...] has the timely theme of risks to human civilization from technology, although it does not pretend to be a comprehensive survey. Instead it contains a detailed discussion of a few such risks, together with wide-ranging comments on the politics, ethics and philosophy of science underlying what actions human society might take. Though not presuming any specialized knowledge of science or technology, the writing style is not breezy “popular science”, but a kind of erudite blog, allowing a broader audience a glimpse of debates previously discussed in more specialist forums, outlining the views of other individuals and adding his own, in careful academic style with footnoted references and clarifications.

lördag 23 januari 2016

Dragons in New York!

My book Here Be Dragons: Science, Technology and the Future of Humanity is finally out this week! Here in Europe, that is. The publisher has a routine according to which buyers and readers in North America have to wait a couple of more months after the Old World release (which explains the release dates in March given, e.g., by Amazon.com and on Luke Muehlhauser's "books I'm looking forward to" list). Why this needs to be so, in the globalized time of 2016, is unclear to me.

But there have been leaks across the Atlantic. Exactly how many copies there are of Here Be Dragons currently circulating in North America, I do not know, but there are examples that I am aware of. Here is picture proof from a reader who is halfway through the book, having reached Section 5.2 on Atomically precise manufacturing.

    Pages 128-129 of my book. In the background we find the famous Flatiron Building in Midtown Manhattan. A close inspection of the image will reveal that not a snowflake is in sight, so we may conclude that it is taken prior to the arrival in New York of the current snowstorm. Photo by Matilda Palm.

torsdag 21 januari 2016

Huvudbudskapet i Here Be Dragons idag även i Svenska Dagbladet

Idag är officiell utgivningsdag för min bok Here Be Dragons: Science, Technology and the Future of Humanity. Dagen till ära passar jag på att, under rubriken Ny teknik kan bli vår undergång,1 sammanfatta bokens huvudbudskap även i Svenska Dagbladet. Så här börjar min aritkel:
    Det finns en utbredd föreställning om att vetenskapliga och tekniska framsteg utgör vår frälsning, och ju mer sådana framsteg desto bättre. I forskarsamhället dominerar den närmast totalt, inklusive universitetsledningar och forskningsråd, och hela vägen upp till regerings- och EU-nivå. Enligt min mening är denna föreställning förhastad och livsfarlig.

    Givetvis har vetenskapliga och tekniska framsteg gjort fantastiskt mycket för vår ekonomi och vår välfärd. Det skall inte heller förnekas att sådana framsteg har enorm potential att göra oss ännu rikare, och våra liv ännu friskare och bättre. Men det finns en baksida: vissa genombrott kan komma att göra våra liv sämre, eller rentav (i extrema fall) orsaka mänsklighetens undergång.

    Tänk på hur världen och våra liv tedde sig i början av 1900-talet, och på den enorma skillnaden mot dagens värld. Mycket av denna skillnad kommer ur just vetenskapliga och tekniska framsteg. Hans Rosling brukar nämna (som ett exempel bland många) hur tvättmaskinen revolutionerat vår vardag. Med tanke på hur mobiltelefoner och Internet förändrat våra liv de senaste 20 åren kan man knappast tala om någon inbromsning i förändringstakten. Innevarande århundrade kommer troligen att bjuda på ännu mer radikala förändringar än 1900-talet, genom framsteg inom bland annat syntetisk biologi, nanoteknologi, artificiell intelligens (AI) och robotik. Samt, icke att förglömma, diverse sätt att förbättra våra kognitiva förmågor och modifiera den mänskliga naturen, på t.ex. genetisk och farmakologisk väg, eller med elektroniska implantat i våra huvuden.

    De potentiella vinsterna från dessa teknologier är praktiskt taget obegränsade, men detsamma gäller riskerna. En rapport från McKinsey häromåret uppskattar att framsteg inom AI och robotik kommer att generera ett värde om 50 000 miljarder dollar under den närmaste tioårsperioden. Samtidigt börjar en välgrundad oro att växa fram om vad robotiken kommer göra med arbetsmarknaden. På längre sikt finns anledning att fundera över om mänskligheten kommer att kunna behålla herraväldet när AI-teknologin nått så långt att vi inte längre är planetens intelligentaste varelser.

Läs hela artikeln här!

Fotnot

1) Jag fick inte själv välja rubrik. Om jag hade fått göra det så hade jag valt något mer nyanserat, för att på så vis minska risken att jag framstår som generellt teknikfientlig.

måndag 18 januari 2016

My seminar in Oxford

Tomorrow I give a talk entitled Dragons, science policy and thinking machines at the Future of Humanity Institute, University of Oxford. The talk, which will center around my book Here Be Dragons: Science, Technology and the Future of Humanity, will be videotaped, and my hosts have promised that live streaming will be available both via YouTube and via Google+. It begins tomorrow (Tuesday, January 19) at 16.00 GMT (which is 17.00 in Sweden).

fredag 15 januari 2016

The Bullerby scenario

My book Here Be Dragons: Science, Technology and the Future of Humanity is about to be officially released by Oxford University Press next week. The book treats a broad variety of topics, but here I want to highlight a key passage on p 212, where I discuss something I decided to call the Bullerby scenario. The context is the so-called Great Filter formalism - a kind of cosmological perspective for trying to understand the long-term prospects of the survival of humanity - introduced in a seminal 1998 paper by Robin Hanson. A key quantity in this formalism is the probability q that a typical civilization on the level of present-day humanity goes on to a level where its presence becomes visible throughout the observable universe. After briefly mentioning some highly speculative possibilities for how we might have a glorious future without such a visible impact (we might, e.g., emigrate into black holes or hidden dimensions), I arrive at the Bullerby scenario:
    Another, less dramatic and in a sense diametrically opposite, scenario in which humanity might prosper despite a small value of q is what we may call the Bullerby Scenario (after Astrid Lindgren's children's stories about the idyllic life in rural Sweden in the late 1940s). Here, humanity settles down into a peaceful and quiet steady state based on green energy, sustainable agriculture, and so on, and refrains from colonization of space and other radical technologies that might lead in that direction. I mention this possibility because it seems to be an implicit and unreflected assumption underlying much of current sustainability discourse, not because I consider it particularly plausible. In fact, given the Darwinian-style arguments discussed above, plus the paradigm of neverending growth that has come to reign both in the economy and in knowledge production (the scientific community), it seems very hard to imagine how such a steady state might come about, except possibly through the strict rule of a totalitarian global government (which I tend to consider incompatible with human flourishing).
I am expecting and hoping for this passage to generate controversy. My friend Björn Bengtsson has already commented upon it at some length, in his blog post The Bullerby Beef - highly recommended!

onsdag 13 januari 2016

Om olika livsmedels klimatpåverkan

Människan behöver många olika näringsämnen för att må bra. Olika livsmedel innehåller olika näringsämnen i olika proportioner, och det är därför vi behöver en mångsidig kost.

Denna självklarhet innebär också att det finns ett fiffigt universalknep för den som önskar racka ned på något livsmedel X som hen inte gillar: att beakta dess klimatutsläpp räknat per enhet näringsämne Y, där man valt ut Y som något som X knappt ens innehåller alls. Det är på det viset man kan få till groteska nyhetsankor, som den som dök upp i förra månaden om att sallad skulle vara mindre klimatvänligt än bacon (här är originalstudien). Vem äter sallad för att fylla sitt kaloribehov? (Retorisk fråga.) Ett annat exempel på samma fiffiga knep är den uppmärksammade insändare i DN i september där en av allt att döma skogstokig herre vid namn Björn Hammarskjöld dömer ut vegetarianism baserat på någon beräkning som bygger på att vegetarianer får hela sin näringsförsörjning enbart från gurka.1

För en mer sansad och vederhäftig syn på kosthållning och klimat hänvisar jag gärna till mina kunniga Chalmerskollegor på avdelningen för fysisk resursteori; se t.ex. det här mediaframträdandet och den här artikeln. En vettig lista över olika livsmedels västhusgasutsläpp finns i den här rapporten (Tabell 2 s 9-10) från Sveriges Lantbruksuniversitet.

Fotnot

1) Hammarskjöld, som håller sig med den förrädiskt akademiskt klingande titeln "assisterande professor i pediatrik", gillar att torgföra allehanda tokstollerier.

torsdag 7 januari 2016

Ohederlig nyårsbetraktelse

I det Göran Lambertz kallar sin Nyårsbetraktelse 2016 [WebCite] återkommer han, trots sin tidigare utfästelse om att sluta debattera Quickärendet, ännu en gång till sagda Quickärende. Bland annat hävdar han nu följande:
    Jag själv skrev en bok, ”Quickologi”, som kom ut i april 2015. Där gick jag igenom den viktigaste bevisningen och försåg den med sannolikhetsvärden. Så kan man göra om man vill få en strukturerad och samlad bild av den bevisning som talar för respektive mot den åtalades skuld. Och det visade sig att sannolikheten för att Sture Bergwall numera talar osanning beträffande åtminstone ett av morden kan beräknas till åtminstone 0,999991, där 1,0 är lika med full visshet. Sannolikheten för motsatsen, alltså att Sture Bergwall inte begick något av de åtta morden och alltså talar sanning i dag, är då utifrån bevisningen 0,000009. Det är alltså så sannolikt att det gränsar mycket nära till full visshet att han är skyldig till åtminstone ett av de åtta morden. Utifrån detta kan man själv bedöma sannolikheten för att Bergwall talar sanning om övriga mord. En sannolikhetsbedömning beträffande vart och ett av dessa utifrån tillgänglig bevisning ger för övrigt ett mycket högt bevisvärde.

    Ingen har såvitt jag vet gått i clinch med dessa beräkningar och nått en annan slutsats.

Då jag uppmärksammades på denna passage satte jag kaffet i vrångstrupen, hostade och yttrade något i stil med "Vaihelvete?". Jag hade ju själv, i en bloggpost den 16 maj 2015, gjort just detta: gått i clinch med Lambertz sannolikhetsberäkningar i Quickologi, och nått slutsatsen att dessa var helt bort i tok felaktiga - något som Lambertz själv är synnerligen väl medveten om. Sedan jag hämtat mig en smula översände jag följande ebrev till Lambertz, daterat 4 januari 2016 kl 15:20:
    Men vad i hela fridens namn, Göran, menar du i din nyårskrönika med att "ingen gått i clinch" med dina sannolikhetsberäkningar i Quickologi? Har du förträngt att jag gjorde exakt just det, och därvid visade att beräkningarna var blaj?

    Olle

Lambertz svarade föredömligt snabbt med följande ebrev, daterat 4 januari 2016 kl 16:09:
    Hej Olle

    Du behöver lära dig att läsa. Vad jag skrev var: "Ingen har såvitt jag vet gått i clinch med dessa beräkningar och nått en annan slutsats." Dels avser jag (som framgår) de beräkningar som jag har gjort sedan du skrev det du först skrev, dessa har du såvitt jag vet inte sagt något annat om än att du inte tycker att multiplikationsformeln håller. Dels har du såvitt jag vet inte nått någon annan slutsats. Det är lätt att säga att man tycker något är blaj. Den dag du försöker vara konstruktiv är jag idel öra.

    Göran

Här finner jag Lambertz snäsiga sarkasm om läskunnighet en smula omotiverad. Vad jag gjort är att jag i det ovan citerade stycket från hans nyårskrönika läst innantill och konstaterat att det är beräkningarna i Quickologi han syftar på (siffrorna stämmer i och för sig inte överens, men siffror stämmer ju i princip aldrig i Lambertz skriverier). Men i sitt ebrev hävdar han att det handlar om helt andra beräkningar, utförda senare. Jag kunde snabbt rekonstruera att de beräkningar Lambertz här avser är de han utförde i en reviderad text på sin webbsajt i augusti 2015, vilka jag i ett tillägg den 8 augusti 2015 till en fyra dagar äldre bloggpost kommenterade med följande ord:
    I den nya revisionen har Lambertz återgått (om än inte helt konsekvent) i sin terminologi från "bevisvärde" till sannolikhet. Han har övergivit sitt additionsförfarande, till förmån för ett multiplikationsförfarande som han tycker är så förträffligt att han ser sig föranledd att proklamera att han genomfört sin analys "på ett matematiskt i huvudsak korrekt sätt", men dessa stolta ord är dessvärre alldeles ogrundade. Lambertz tycks mena att om A är händelsen att Quick är skyldig, och om Ei och Ej är två olika bevisomständigheter, så gäller det multiplikativa sambandet
      P(A|Ei, Ej) = 1-(1-P(A|Ei))(1-P(A|Ej))
    förutsatt att Ei och Ej uppfyller något visst oberoendevillkor L som han dock dessvärre inte preciserar ordentligt. Jag går bet på att lista ut vilket detta villkor L skulle vara; såväl vanligt obetingat oberoende som betingat oberoende givet A eller betingat oberoende givet Quicks oskuld ¬A visar sig vara otillräckligt för att garantera den önskade multiplikativiteten. Saken blir inte bättre av hans besynnerliga ad hoc-hantering av de negativa "sannolikheter" som redan från början är mäkta besynnerliga, och texten innehåller därtill en del ytterligare underligheter.
Även mot Lambertz reviderade kalkyl har jag alltså gått i clinch. En möjlig kritik mot min redovisning härav den 8 augusti 2015 är att jag inte, som med min kritik den 16 maj 2015 av Lambertz egenpåhittade additionsformel för betingade sannolikheter, bjöd på någon pedagogisk exemplifiering av varför hans motsvarande multiplikationsformel är helt åt skogen. Till mitt försvar skall dock sägas att jag i ett ebrev dagen efter till Lambertz erbjöd mig att närmare förklara sammanhangen, något som denne dock avböjde.1

Låt mig slutligen kommentera den avslutande passagen...
    Dels har du såvitt jag vet inte nått någon annan slutsats. Det är lätt att säga att man tycker något är blaj. Den dag du försöker vara konstruktiv är jag idel öra.
...i det ovan citerade ebrevet från Lambertz den 4 januari 2016 kl 16:09. Lambertz menar här att så länge jag inte själv utför någon egen beräkning och når fram till någon siffra för sannolikheten att Sture Bergwall är skyldig till mord, så är han i sin fulla rätt att ignorera att jag påvisat att hans beräkningar och argumentation är ogiltiga, och med formuleringar som "Ingen har såvitt jag vet gått i clinch..." antyda att dessa överhuvudtaget inte ifrågasatts. Jag finner hans attityd ohederlig och djupt beklämmande.

Fotnot

1) I ett ebrev den 9 augusti 2015 kl 12:48 skrev jag följande.
    Hej Göran

    Jag känner ett styng av dåligt samvete när du skriver "Det är du och dina kolleger som är min experthjälp". Men faktum kvarstår att jag inte har den tid som skulle krävas för att på allvar hjälpa dig komma framåt. Men ett par timmar kan jag självklart avvara, och då vår skritliga kommunikation (hittills) inte fungerat som man hade kunnat hoppas är det naturligt att istället försöka med muntlig kommunikation, och jag känner därför en impuls att bjuda in dig, någon gång då du har vägarna förbi Göteborg, att komma upp till mig på Chalmers och så sitter vi ned en timme eller två och pratar om begrepp som sannolikhet, betingning, oberoende, bevisvärde och hur dessa saker hänger ihop, liksom hur du hamnat i the fallacy of the transposed conditional.

    Jag känner samtidigt en mycket stor tvekan inför att göra detta, då jag från din sida upplever en mycket stark önskan att få sätta siffror och formler på din övertygelse om Quicks skuld - en så stark övertygelse att att du lätt drar iväg i önsketänkande, och att du så gärna så gärna vill att det jag säger (och det jag inte säger) skall innebära att jag välsignar ditt tillvägagångssätt. En tydlig tendens i den riktningen i följande stycke i din nya revision av "Bevisvärderingen i siffror":

    "I den första versionen av texten hade jag också, i samma syfte, adderat sannolikhetsvärdena. För detta fick jag kritik av matematiker, som framhöll att sannolikhetsvärden inte kan adderas på det sätt som jag hade gjort. Däremot kan de, som jag har uppfattat det, multipliceras enligt formeln 1 – (1-pa)(1-pb), där pa och pb är sannolikheten för vart och ett av två oberoende bevis. Det framhålls att bevisen måste vara just oberoende av varandra för att formeln ska ge ett rättvisande resultat."

    Här får jag för mig att du med "matematiker" (i pluralis) räknar in mig personligen, och att du av dessa matematiker, inklusive mig, anser dig ha erhållit välsignelse att tillämpa formeln 1 – (1-pa)(1-pb) på det sätt som du nu gör. Men någon sådan välsignelse har jag inte givit, och ditt nya tillvägagångssätt är i själva verket tokfel, även om vi skulle anta att de ingående händelserna är exakt oberoende. Jag är glad att mitt namn inte nämns i stycket, och passivformen "det framhålls" är välgörande diffus. Tack vare denna din återhållsamhet känner jag mig inte skandaliserad, men om du bara hade gått et litet snäpp längre i att peka ut mig så hade jag uppelvt det som mycket illa.

    Så en förutsättning för att jag skall gå med på ett möte är att du uppriktigt uttalar en ambition om att ha en mer ödmjuk attityd inför sannolikhetsteorins och den tillämpade matematikens svårighetsgrad än du hittills visat med dina upprepade sifferexerciser, och jag vill också att du dyrt och heligt lovar att inte hänvisa till mig som stöd för fortsatta äventyrligheter i siffrornas värld utan att jag explicit har godkänt det.

    Jag kan slutligen säga att även om jag tror att det i princip finns en väg framåt mot matematisk kvantifiering av evidensläget, så ser jag ingen som helst möjlighet att ett en- eller tvåtimmarsmöte av det slag jag här skisserar skulle räcka för att förstätta dig i ett kunskapsläge där du är rustad att på egen hand anträda denna väg framåt.

    Mvh
    Olle

Lambertz svarade såhär, i ett ebrev daterat 9 augusti 2015 kl 13:10:
    Hej Olle

    Tack för erbjudandet. Det har dykt upp ett par personer som säger sig villiga att hjälpa mig långsamt framåt, så jag nöjer mig tills vidare med det, den bok som du tipsade om och ett par andra lästips.

    Allt gott
    Göran

måndag 4 januari 2016

Asimovs tre robotlagar, permuterade

Med superintelligens menar Nick Bostrom, i sin bok Superintelligence: Paths, Dangers, Strategies från 2014, på ett ungefär en intelligens som vida överskrider den mänskliga i alla väsentliga avseenden. Han menar att det är troligt att vi så småningom lyckas skapa en superintelligent maskin, och att det långt ifrån kan uteslutas att detta händer inom något eller några få decennier. Jag instämmer i min nya bok Here Be Dragons: Science, Technology and the Future of Humanity. Både Bostrom och jag ägnar stort utrymme i våra respektive böcker åt Eliezer Yudkowskys begrepp Friendly AI, vilket går ut på att den allra första superintelligenta maskinen i förväg behöver ha försetts med värderingar och mål som leder fram till att den i senare skeden prioriterar mänsklig välfärd, ty i annat fall kan det gå riktigt illa för oss människor. I sin inflytelserika och läsvärda uppsats Artificial Intelligence as a Positive and Negative Factor in Global Risk från 2008 skisserar Yudkowsky vikten av och svårigheterna i att lyckas med Friendly AI. Han nämner också en primitiv föregångare i form av Asimovs tre robotlagar, vilka i den på Wikipedia redovisade svenska översättningen lyder som följer:
    1. En robot får aldrig skada en människa eller, genom att inte ingripa, tillåta att en människa kommer till skada.

    2. En robot måste lyda order från en människa, förutom om sådana order kommer i konflikt med första lagen.

    3. En robot måste skydda sin egen existens, såvida detta inte kommer i konflikt med första eller andra lagen.

Dessa utgör en grundpremiss för många av Isaac Asimovs science fiction-berättelser från 1940-talet och framåt. De kan vid första påseende förefalla utgöra en enkel lösning på Friendly AI-problematiken, men skenet bedrar, och ett ständigt återkommande tema i Asimovs författarskap är hur lätt det kan gå snett på så vis att lagarna ger upphov till det som AI-forskare och futurologer idag kallar pervers insantiering.

Webbserien xkcd tog i förra månaden upp frågan om vad som händer om man kastar om prioritetsordningen mellan de tre lagarna:

Som en första rudimentär övning i att analysera konsekvenserna av en given formaliserad robotetik tycker jag detta är utmärkt. Dock undrar jag om inte en minst lika trolig konsekvens av den femte permutationen är ännu ett fall av killbot hellscape, om maskinerna kommer fram till att människorna, i deras allmänna nyckfullhet, utgör en säkerhetsrisk gentemot maskinerna, och därför bedömer att det är nödvändigt att i förebyggande syfte avskaffa mänskligheten.