Slaughterbots and Diplomacy

The most vivid and pedagogically useful explanation of the near-term dangers implied by the development of AI technology for military drones that I know of has been the famous Slaughterbots video, produced in 2017 by the Future of Life Institute and featuring leading AI safety researcher Stuart Russell. I've been showing it to my students every year since 2018, along with proclamations such as ''Potential dangers in AI lurk everywhere, but if I were to single out one application area as the absolutely most reckless one as a playground for development of cutting-edge AI technology, I'd say killer robots''.

Just this week, two event have come to my attention that cause me to update on this and perhaps modify my lectures slightly:

1. A large part of the Slaughterbots video is a fictional promotion event for a new autonomous killer drone product. But why stick to fiction when we can have the real thing? The Israeli defense electronics company Elbit Systems has released a promotion video for their latest lethal AI product. Their tone and content are reminiscent the Slaughterbots video but without any hint of irony or admission that AI technology for killing people could be dangerous or bad. Here's what we get when reality imitates fiction:

2. Facebook's (or Meta as they now call themselves) AI lab just announced how they built an AI that performs on (at least) human level at the game of Diplomacy. Given the role of Bostrom's treacherous turn concept and related deception problems (as outlined in the recent very important report by Ajeya Cotra) in exacerbating AI existential risk, I should perhaps consider modifying the proclamation above to something like ''Potential dangers in AI lurk everywhere, but if I were to single out one application area as the absolutely most reckless one as a playground for development of cutting-edge AI technology, I'd say games where the winning moves consist of manipulating human opponents into acting in your interest and then stabbing their back''.

Befängt möte i SVT om AI-futurologi

SVT:s programserie Mötet går ut på att i 15 minuter långa avsnitt tussa ihop två personer med radikalt olika åsikt i någon fråga. I det senaste avsnitt som nu är tillgängligt på SVT Play möts Anders Hedman (docent i människa-datorinteraktion vid KTH) och Fredrik Löfgren (robotutvecklare vid Linköpings universitet) för att diskutera vår framtid med robotar och AI. Deras samtal är i stort sett från början till slut befängt, och båda två företräder ståndpunkter som (fastän helt olika) får mig att slita mitt hår över vilken närmast bottenlös naivitet som förekommer bland forskare på området.

Hedman, å ena sidan, ser datorer och robotar som själlösa skal, och är av någon anledning bombsäker på att inte bara de robotar vi har idag, utan även varje tänkbar framtida robot, saknar medvetande. Någon antydan till förklaring till varför så skulle vara fallet ges inte, och angående datorkreativitet¹ avfärdar han de exempel på detta vi ser redan idag med hänvisning till att maskinen ju innerst inne ingenting förstår. Han verkar sitta så hårt fast i det jag kallar neurochauvinism² att varje tanke på sociala relationer mellan människa och maskin fyller honom med avsky, och hans biologiska hjärna verkar rätt och slätt stängd för tanken att något annat än just biologiska hjärnor skulle kunna vara säten för kännande subjekt. I slutändan kan det för all del komma att visa sig att Hedmans medvetandemetafysik är korrekt, ty frågan om medvetandets plats i universum och vilka slags entiteter som är medvetna är alltjämt vidöppen,³ men just den saken gör hans tvärsäkerhet i frågan epistemiskt djupt omdömeslös.

Löfgren, å andra sidan, drar åt motsatt uppfattning i frågan om robotmedvetande, om än kanske inte med fullt lika hög grad av dogmatism som sin samtalspartner. Det som verkligen provocerar mig hos Löfgren är istället hans äppelkäckt bekymmersfria syn på framtida AI-utveckling. Han medger visserligen på något ställe i programmet att visst finns det risker, men detta verkar mest vara en läpparnas bekännelse, och till och med tanken på att mänskligheten skulle kunna tänkas gå under och ersättas av en population av superintelligenta robotar får honom att rycka på axlarna och säga att det är väl helt i sin ordning - evolutionens gång helt enkelt. Den sammanblandning han här gör mellan intelligensnivå och moraliskt värde gör att jag nästan känner förståelse för Hedman när denne anklagar Löfgren för fascism (fastän han gör det på ogenomtänkta grunder). Att världen skulle kunna gå mot en ljus framtid ifall robotar ersätter människor är som jag ser det inte alls otänkbart, men att så automatiskt skulle bli fallet är naivt att ta för givet, och man kan undra hur Löfgren ser på något så groteskt motbjudande och meningslöst som en gemapokalyps.⁴

En riktigt dålig diskussion blev det hur som helst, och på sätt och vis är jag medskyldig till detta. I våras var jag nämligen indragen i långt gångna underhandlingar om att medverka som motpart åt Fredrik Löfgren i detta program. Jag vill gärna tänka mig att en sådan konfrontation hade kunnat bli betydligt vettigare än det som nu blev. Säker kan jag dock inte vara, bland annat med tanke på att det handlar om flera timmars inspelning som brutalt klipps ned till 15 minuter, och klippning kan ju göras illasinnat. (Av samma skäl kan det i princip vara så att både Hedman och Löfgren är betydligt mindre flänga än de framstår i programmet, och därför bör denna bloggpost för säkerhets skulle läsas som att den inte handlar om Hedman och Löfgren själva utan bara om de nidbilder av dem som SVT presenterat.)

Tacksam känner jag mig hur som helst över att jag drog mig ur, vilket jag tog chansen att göra när någon programassistent jag inte minns namnet på för tredje gången ville flytta på det inspelningstillfälle jag med stor möda gjort plats för i min kalender. Vid det laget hade jag hunnit se det bisarra och snudd på lyteskomiska avsnitt i vilket min gode vän Christer Sturmark konfronteras med en galen spiritist, vilket gav mig kalla fötter. Det beryktade Saltkråkan-avsnittet, som om möjligt är ännu värre, såg jag först senare, och jag gratulerade mig själv ännu en gång till att ha sluppit undan medverkan i ett sådant spektakel.

Fotnoter

1) Se s 40-43 i min bok Tänkande maskiner.

2) Tänkande maskiner, s 236.

3) Tänkande maskiner, s 223-241.

4) Tänkande maskiner, s 103-111.

Framtidsspaning på Göteborgspodden

Göteborgpodden med Linda Larsson har sitt huvudfokus på det lokala näringslivet, men är inte främmande för andra inslag, som att någon gång släppa in en tvättäkta akademiker som mig. I det timslånga avsnitt som släpptes idag kan ni höra mig tillsammans med Linda och med Chalmersstudenten Anna Wisakanto föra ett vindlande samtal om teknikutveckling, AI, humanoida robotar, sex, etik, ekonomi, politik och allehanda framtidsscenarier.

Två Göteborgsframträdanden den närmaste veckan

Tillåt mig flagga för ett par framträdanden jag gör i hemstaden Göteborg den närmaste veckan, med fokus på olika aspekter av den snabbt framväxande digitala tekniken:

• I morgon fredag den 17 maj håller jag en kort föredragning rubricerad AI: sociala konsekvenser och etiska aspekter på Chalmersmötet Kompetensförsörjning för näringslivets digitala omtällning som äger rum 13.00-15.00 med medverkan av ministern för högre utbildning och forskning, Matilda Ernkrans. Anmälningstiden har dessvärre passerat, men en livesändning av mötet är utlovad.

• På torsdag den 23 maj med start 18.00 deltar jag som panelist i ett TEDx Göteborg-event med rubriken Let's Talk About: Sex & Tech. Deltagande är gratis, men föranmälan krävs.

A draft on ethical guidlines from the European Commission's High-Level Expert Group on Artificial Intelligence

On December 18 last year, the European Commission's High-Level Expert Group on Artificial Intelligence released a draft for their Ethics Guidlines for Trustworthy AI. They are now inviting stakeholders to submit comments on the draft, with a deadline on January 18. As a world citizen and a human being, I consider myself very much a stakeholder (and perhaps one or two of the readers of this blog will feel the same?), so I took the time to submit some comments (see this pdf) on a few of the central sections of the report.

Jag är emot mördarrobotar och hoppas att Sveriges riksdag instämmer

Sommaren 2015 anslöt jag mig till tusentals andra forskare i undertecknandet av ett öppet brev som uppmanade till moratorium mot utveckling av AI-teknologi för så kallade autonoma vapen - eller mördarrobotar som de med en inte fullt lika artig term också benämns. Frågans tyngd framgår av följande passage ur brevet:

If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.

I morgon torsdag har Sveriges riksdag möjlighet att göra motsvarande ställningstagande genom att bifalla en motion från den miljöpartistiske riksdagsmannen Carl Schlyter om att Sverige skall verka för ett internationellt förbud mot mördarrobotar. I en debattartikel i dagens nummer av Dagens Samhälle tillsammans med Anders Sandberg, Carin Ism, Max Tegmark och Markus Anderljung uttrycker vi en förhoppning om att riksdagen tar detta lilla steg på vägen mot en säkrare och bättre värld.

Killer robots and the meaning of sensationalism

When I give talks on AI (artificial intelligence) futurology, I usually point out autonomous weapons development as the most pressingly urgent problem we need to deal with. The open letter on autonomous weapons that I co-signed (among thousands of other scientists) in 2015 phrases the problem well, and I often quote the following passage:

If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.

Some of these points were made extremely vividly in a video (featuring Stuart Russell) released a couple of weeks ago by the Campaign to Stop Killer Robots. The video is very scary, but I encourage you to watch it nevertheless:

In an op-ed last Wednesday in The Guardian that has gained much attention, computer scientist Subbarao Kambhampati criticizes the video and the campaign. Kambhampati does have have some important points, in particular his main concern, which is that a UN ban on killer robots is unlikely to be successful. There is much to say about this, but here I'd just like to comment on a much narrower issue,¹ namely Kambhampati's use of the term sensationalism. He repeatedly calls the video sensationalist, and adds that it is "more an exercise at inflaming rather than informing public opinion". While it is true that the content of the video is sensational, the term sensationalism also signals the claim that the video's message is unwarranted, exaggerated and overblown. But it is not, or at least Kambhampati does not provide any evidence that it is; in fact, his main concern in the op-ed about the implausibility of a weapons ban being effective just adds to the plausibility of the nightmarish scenario depicted in the video becoming reality. The severe badness of a future scenario does not in itself warrant calling warnings about such a scenario sensationalism.² For that, one would need the scenario to be farfetched and improbable. Kambhampati's dichotomy between "inflaming" and "informing" is also unwarranted. The video is highly informative, and if the severe danger that it informs about makes people agitated, then that is as it should be.

Footnotes

1) I can't resist, however, commenting on one more thing about Kambhampati's op-ed, namely his full disclosure at the end, containing the passage "However, my research funding sources have no impact on my personal views". This, in my opinion, is almost synonymous to saying "I am incredibly naive, and I expect my readers to be so as well".

2) Thus, Kambhampati's use of the term sensationalism is analogous to how climate denialists have for a long term routinely used the term alarmism whenever results from climate science indicate that global warming may turn out to have severe conequences.

Föredrag i Stockholm och Borås

Låt mig flagga för ett par föredragsframträdanden jag kommer att göra de närmaste veckorna - ett i Stockholm, och ett i Borås.

• Onsdagen den 22 februari kl 13.00 håller jag ett seminarium på Statistiska institutionen, Stockholms universitet med rubriken Fundamentals of Bayesian reasoning and the choice of prior, och följande sammanfattning:
  Bayesian reasoning goes far beyond just Bayesian statistics, and is influential, e.g., in economics and in computer science. There is a beautiful body of work, going back to 20th century thinkers including Ramsey, de Finetti, von Neumann, Morgenstern and Savage, that is often taken as an indication that rationality implies Bayesian reasoning. In a recent Ph.D. course we centered around the question of how convincing this conclusion is, and arrived tentatively at an answer along the lines of "well, maybe sort of...". In this talk I will recap some of these discussions, and also address the issue of whether a prior can be chosen in a way that avoids arbitrariness and subjectivity.
• Veckan efter, tisdagen den 28 februari kl 18.00, framträder jag på Borås Kulturhus (i ett arrangemang av Folkuniversitetet) med ett föredrag rubricerat I väntan på de intelligenta robotarna, och med följande sammanfattning:
  Vi ser idag stora framsteg inom artificiell intelligens. Det är någorlunda troligt (men inte alls säkert) att ytterligare framsteg på det området någon gång inom de närmaste 100 åren kommer att leda till en situation där vi människor inte längre är de intelligentaste varelserna på vår planet.

  Hur hanterar vi det? Kommer vi att kunna behålla kontrollen?

  Ett möjligt förhållningssätt är att säga "låt oss vänta och se, och hantera situationen först när den väl inträffat". Med utgångspunkt delvis från sin bok Here Be Dragons: Science, Technology and the Future of Humanity (Oxford University Press, 2016) förklarar Olle Häggström varför han anser att det är en dålig idé, och varför vi istället bör börja förbereda oss redan nu.

Välkomna!

Om robotar och artificiell intelligens på Katharinastiftelsen

I onsdags gick jag omkring i snökaoset i Stockholm med en känsla av overklighet och fasa, sedan jag tidigt på morgonen fått utfallet i det amerikanska presidentvalet klart för mig. Att fundamentala värden som demokrati och fred inte längre kan tas för givna är en svårsmält tanke vars aktualitet sakta smugit sig på oss på senare år, men i onsdags tog den ett jättekliv framåt, vilket gör ont.

Men dagen slutade ändå i ett bättre stämningsläge, tack vare ett spännande samtal med två professorskollegor: filosofen Åsa Wikforss och religionsvetaren Carl Reinhold Bråkenhielm. Rubriken för vår paneldiskssion var "Robotar och artificiell intelligens - hot eller möjlighet?", och det var (som jag tidigare annonserat) ett arrangemang av Katharinastiftelsen. Hela det 90 minuter långa samtalet videofilmades:

Några framträdanden den närmaste månaden

Här är tre framträdanden som jag medverkar i den närmaste månaden och som eventuellt kan intressera en eller annan läsare med vägarna förbi Göteborg och/eller Stockholm:

• Torsdagen den 27 oktober 2016 ordnar Chalmers så kallade Styrkeområde Transport ett heldagsseminarium rubricerat Autonomous transport systems - the good, the bad and the unknown, där jag bidrar som så kallad keynote speaker med ett föredrag rubricerat Digitalization and dragons.

• Onsdagen den 9 november 2016 kl 19.00 anordnar Katharinastiftelsen i Stockholm en paneldiskussion med Åsa Wikforss, Carl Reinhold Bråkenhielm och yours truly, om ämnet Robotar och artificiell intelligens - hot eller möjlighet?

• Onsdagen den 16 november 2016 arrangerar Naturvetenskapliga fakulteten vid Göteborgs universitet sin så kallade Faculty of Science Day, där jag medverkar i en paneldiskussion på temat Science, Ethics and Social Responsibility.

Robotar som sköter vår tvätt

En färsk teckning från SMBC (Saturday Morning Breakfast Cereal) illustrerar en del av de bekymmersamma aspekter på framtida genombrott inom artificiell intelligens som jag ofta återkommit till här på bloggen och i min bok Here Be Dragons.

Rubriken är givetvis skruvad (det är varken välgrundat eller särskilt konstruktivt att hävda att mänskligheten är dömd till undergång), och det är mycket troligt att det går att skapa även ganska avancerade hushållsrobotar utan att därmed sätta igång den självförbättringsspiral som benämns intelligensexplosion eller Singulariteten. Men välvilligt och lagom metaforiskt kan vi förstå den andra punkten i diagrammet som en varning för svårbemästrade fenomen som wireheading och pervers instantiering.

The Simone de Beauvoir Chronicles

Den senaste episoden av Existential Comics, rubricerad Terminator: The Simone de Beauvoir Chronicles, är något alldeles extra (men se för all del även min bloggpost från den 26 november förra året för en lista över några av mina tidigare favoriter).

Jag gillar den nya episoden för dess remarkabla förening av ett antal av mina intressen - tillfälliga såväl som mer långvariga. Först och främst har vi Simone de Beauvoir själv - en av centralfigurerna i 1900-talets franska existentialism, liksom i Sarah Bakewells aktuella bok At the Existentialist Café som jag för närvarande läser med stort intresse. Mitt intresse för filosofi har alltid dragit mer åt det anglosaxiska och analytiska hållet, och jag har därför i hög grad försummat existentialismen, men jag har (mycket tack vare Existential Comics) kommit att ana att den har viktiga saker att säga om vad det innebär att vara människa. Bakewells bok känns som en utmärkt och engagerande introduktion till ledande existentialistiska tänkare som de Beauvoir, Jean-Paul Sartre, Albert Camus och Martin Heidegger, för att nämna några av bokens huvudpersoner.

Jag roas också av hur de Beauvoir i Existential Comics-episoden avbildas på Terminator-hjälten Sarah Connor. Jag har ju, en smula populistiskt, använt mig flitigt av Terminator-filmerna som avstamp för diskussioner om en eventuell robotapokalyps i verkligheten, bland annat i ett framträdande i svensk TV förra sommaren.

Den nya episoden behandlar ett centralt moralfilosofiskt problem i samband med ett eventuellt genombrott i artificiell intelligens som leder till övermänskligt intelligenta maskiner: vilka värderingar vill vi att dessa maskiner skall ha? Denna frågeställning leder snabbt till stora svårigheter, vilka bl.a. behandlas i Avsnitt 4.6 av min bok Here Be Dragons, och mer utförligt i Nick Bostroms Superintelligence.

Till slut får vi i Terminator: The Simone de Beauvoir Chronicles nosa lite på den förtjusande inriktning av modern moralfilosofi som benämns trolleyologi, och vi får klart för oss bakgrunden till att de Beauvoir/Connor är en sådan "badass motherfucker". Läs den!

Om robotisering i Almedalen

Inom ramen för årets Almedalsvecka i Visby arrangerar Sveriges Radio onsdagen den 6 juli kl 10.30-12.00 en programpunkt rubricerad "När tar robotarna över politik och media?". En av de medverkande är yours truly. Enligt de uppgifter jag fått kommer det inte att bli någon direktsändning, men däremot en inspelning som skall gå att ta del av på webben i efterhand. Återkommer när jag vet mer.

* * *

Edit 7 juli 2016: Nu är seminariet genomfört, och går att ta del av via webben!

Förvärrad trafikstockning på mitt nattduksbord

Jag har (som jag tidigare förklarat) för vana att parallelläsa böcker på ett osystematiskt och närmast kaotiskt vis. På mitt nattduksbord finns för närvarande cirka halvdussinet böcker som är att betrakta som pågående läsning, och ytterligare ungefär lika många som är halvlästa och som jag mer eller mindre givit upp hoppet om att fullfölja men inte kommit till skott med att rensa undan. Till denna litterära trafikstockning nödgas jag nu foga ytterligare två böcker, som jag just fått dedicerade exemplar av från respektive författare, vilkas namn båda torde vara välbekanta för trogna läsare av denna blogg. Det rör sig om följande titlar vilka båda omedelbart erhåller hög prioritet på min nuvarande läslista, och jag räknar med att återkomma med en fylligare diskussion av åtminstone en av dem - eller kanske båda - sedan jag läst dem.

• The Age of Em: Work, Love, and Life When Robots Rule the Earth av Robin Hanson, som är associate professor i nationalekonomi vid George Mason University. Denna unika och mycket efterlängtade bok är författarens sammanfattning av sitt mångåriga arbete med att analysera de långtgående ekonomiska och sociala konsekvenserna av ett teknikgenombrott där vi (innan vi t.ex. hinner förgöra oss själva eller skapa artificiell superintelligens) lär oss att på dator emulera den mänskliga hjärnan och alla dess funktioner. Boken har givetvis beröringspunkter med min egen Here Be Dragons; den är smalare på så vis att den behandlar ett enda relativt specifikt framtidsscenario där jag istället försöker ta mig an ett någorlunda representativt urval, men i gengäld gör han det med ett djup och en detaljrikedom som jag inte kan matcha. Jag vet sedan tidigare att Hanson besitter en enastående analytisk skärpa, och det skulle förvåna mig stort om han med sin nya bok gav anledning att revidera den uppfattningen. (Bryan Caplan låter sig inte imponeras, men Hanson erbjuder svar på tal.)

• Soccermatics: Mathematical Adventures in the Beautiful Game av David Sumpter, som är professor i tillämpad matematik vid Uppsala universitet. Lagom till EM-slutspelet tar han fotbollen till hjälp i denna populärvetenskapliga framställning, för att med en lång rad exempel påvisa kraften i att använda matematisk modellering till att förstå olika fenomen i den värld vi lever i, något han tidigare med stor framgång praktiserat med tillämpning på exempelvis
  fish swimming among coral in the Great Barrier Reef, democratic change in the Middle East, the traffic of Cuban leaf-cutter ants, swarms of locusts travelling across the Sahara, disease spreading in Ugandan villages, political decision-making by European politicians, dancing honeybees from Sydney, American stock-market investors, and the tubular structures built by Japanese slime mould
  - för att nu citera hans egen uppräkning på sidan 11 i bokens inledning, och nu är turen alltså kommen till fotbollen.

Tännsjö om en framtid utan människan

Torbjörn Tännsjö behandlar i en stort uppslagen artikel i DN idag en fråga som ligger mig varmt om hjärtat: den om en eventuell robotapokalyps som tar kål på mänskligheten. Hans vinkling framgår av rubriken "Därför blir universum en bättre plats när människan är borta" och ännu mer av ingressen:

Anta att vi kan ersätta människorna med varelser som är bättre på att leva i fred och harmoni. Vore det verkligen så fruktansvärt? I själva verket bör vi bejaka en framtid då universum befolkas av lyck­saliga robotar.

Jag känner stor sympati för hans perspektiv - en utilitarism där inte bara mänskligt välbefinnande och lidande räknas, utan alla kännande varelsers - även om jag inte riktigt kan förmå mig att med samma totala tvärsäkerhet som han döma ut de perspektiv som tillskriver just mänsklighetens överlevnad och blomstring ett särskilt värde. På det stora hela finner jag hans artikel vettig, och jag känner mig glad och smickrad över att han funnit min bok Here Be Dragons värd att ta spjärn emot, men jag har två invändningar mot vad han skriver.

Min första invändning. Tännsjö avfärdar dem som fruktar robotapokalypsen såsom varandes förhäxade av en "märklig och missriktad form av inlevelse" med våra barnbarns barnbarn. Så här tror han att världen efter att robotarna tagit över och gjort sig av med mänskligheten kommer att te sig:

Utvecklingen kommer att fortsätta med artificiella intelligenser, successivt i mindre och mindre format, men med hög sensibilitet, klok kreativitet, gott handlag och obetydliga anspråk på ändliga resurser. Genom deras konstruktion – det är nu kloka maskiner som konstruerar ännu klokare maskiner – kommer det att skapas utrymme för en exponentiell tillväxt av antalet glada varelser i universum, vilka lever i ömsesidig symbios, utan att ställa sig i vägen för varandra. Tänk dig en gnistrande stjärnhimmel, där varje ljus som blinkar mot dig är en lycksalig robot. Och bakom varje ljus, nya himlar.

En vacker vision. Men är det verkligen säkert att det kommer att gå så väl? Personer som lagt mer kraft och tankemöda än Tännsjö på AI-futurologi, som Eliezer Yudkowsky och Nick Bostrom, menar att detta långt ifrån kan tas för givet, eller ens upphöjas till default-scenario. En robotrevolution kan också leda till Paperclip Armageddon (där den maskin som drar igång det stora AI-genombrottet lite obetänksamt programmerats att maximera framtida gemproduktion, med följden att hela det synliga universum omvandlas till en grotesk ansamling gem) eller någon liknande kosmisk meningslöshet. Därför har vi all anledning att oroa oss för vad ett AI-genombrott kan föra med sig, och göra vad vi kan för att se till att utfallet blir bra. Att (som Tännsjö verkar göra) tro att övermänsklig intelligens automatiskt medför övermänsklig klokskap är att förbise Humes lag och distinktionen mellan fakta och värderingar. Det kan visa sig att världen är så beskaffad (dvs att intelligens och klokskap på tillräckligt hög nivå alltid går hand i hand), men att ta det för givet synes mig våghalsigt i överkant.

Min andra invändning. Denna invändning är av underordnat intresse då den inte har så mycket med sakfrågan att göra, utan mest med hur min egen ståndpunkt framställs. Tännsjö gör (som Joar Guterstam redan hunnit påpeka) inte någon riktig rättvisa åt min bok då han tillskriver mig ovan nämnda "märklig[a] och missriktad[e] form av inlevelse", bland annat med följande ord:

Vår omedelbara och ogenomtänkta reaktion, då detta framtidsscenario [att robotarna tar över] kommer på tal, brukar vara just fasa. Hur ska det gå för oss? Hur ska dessa överlägsna varelser komma att behandla oss? [...] Så tänker Häggström.

Här framgår inte att jag i min bok i själva verket lägger stor kraft på att distansera mig från det slags antropocentriska moraluppfattning som Tännsjö kritiserar. Så t.ex. nämner jag på sidan 230, i en uppräkning av stora och svåra värderingsfrågor som vi behöver ta ställning till innan vi kan svara på hur vi bör försöka styra teknikutvecklingen, följande:

(vi) Comparing a future where humans prosper to one in which we are replaced by robots that prosper similarly, is the former automatically preferable to the latter? This question is related to (v), as well as to the moral status of machines. Does a robot with human-level cognitive capacities have the same value as a human? Here, the issue of machine consciousness (discussed in Section 3.8) seems relevant. A future in which humans are replaced by unconscious machines that go on to colonize the rest of the universe seems pointless and absurd. But if the machines are conscious, perhaps there is reason to look more favorably on the scenario.

Se även min diskussion på sidorna 122-123, där jag kritiserar idén att, genom att avdela ett mindre stycke av världsalltet (t.ex. vår egen galax Vintergatan) som ett människoreservat, kompromissa med en hedonistiskt utilitetsmaximerande superintelligent AI:s projekt att omvandla hela universum till hedonium; denna passage är väsentligen en återgivning av argumentationen i min gamla bloggpost Superintelligence odds and ends II: The Milky Way preserve.

My visit yesterday at the European Parliament in Brussels

Yesterday I was in Brussels to take part in a hearing at the European Parliament, organized by their Committee on Legal Affairs, on the topic of Legal and ethical aspects of robotics and artificial intelligence. An official

video recording of the event

is now available. The hearing (which in my humble opinion was overall very interesting) begins around 54:30 into the recording. My prepared statement on the long term risks of artificial intelligence runs from about 2:12:00 to 2:27:00. Immediately after that, Niel Bowerman from the Future of Humanity Institute in Oxford made his statement addressing similar questions, which was followed at about 2:43:40 by a Q-and-A session at which I picked up on a few of the questions.

The hearing was in the morning. After lunch I was given the opportunity to give a seminar on Science, Technology, and the Future of Humanity (based on my recent book Here Be Dragons) organized by the European Parliament political group known as The Greens/European Free Alliance. In contrast to the hearing, the seminar was not documented, other than by the poster announcement and the following photograph of me together with MEP Max Andersson who hosted the event.

Guest blogger at the OUPblog

The publisher of my newly released book Here Be Dragons: Science, Technology and the Future of Humanity is Oxford University Press. As part of the marketing their books, they also run the OUPblog, where their authors are given the opportunity to contribute blog posts on topics related to the books. Today, the last in a series of three blog posts of mine was published at OUPblog. These are my three posts:

(1) Let us not run blindfolded into the minefield of future technologies, January 15, 2016.

(2) Can a robot be conscious?, January 22, 2016.

(3) Does the ‘Chinese room’ argument preclude a robot uprising?, January 28, 2016.

While the last two posts, on the phenomenon of robot consciouness and what it entails (and does not entail) for us humans, are closer related to each other than to the first, all three can be read independently. The first post summarizes the main message of my book concerning the extreme dangers that may be involved in future technologies and the importance of acting with foresight. Readers who understand both English and Swedish may compare that post to my recent op-ed in the Swedish newspaper Svenska Dagbladet, and will then find how closely the two texts follow each other.

Asimovs tre robotlagar, permuterade

Med superintelligens menar Nick Bostrom, i sin bok Superintelligence: Paths, Dangers, Strategies från 2014, på ett ungefär en intelligens som vida överskrider den mänskliga i alla väsentliga avseenden. Han menar att det är troligt att vi så småningom lyckas skapa en superintelligent maskin, och att det långt ifrån kan uteslutas att detta händer inom något eller några få decennier. Jag instämmer i min nya bok Here Be Dragons: Science, Technology and the Future of Humanity. Både Bostrom och jag ägnar stort utrymme i våra respektive böcker åt Eliezer Yudkowskys begrepp Friendly AI, vilket går ut på att den allra första superintelligenta maskinen i förväg behöver ha försetts med värderingar och mål som leder fram till att den i senare skeden prioriterar mänsklig välfärd, ty i annat fall kan det gå riktigt illa för oss människor. I sin inflytelserika och läsvärda uppsats Artificial Intelligence as a Positive and Negative Factor in Global Risk från 2008 skisserar Yudkowsky vikten av och svårigheterna i att lyckas med Friendly AI. Han nämner också en primitiv föregångare i form av Asimovs tre robotlagar, vilka i den på Wikipedia redovisade svenska översättningen lyder som följer:

1. En robot får aldrig skada en människa eller, genom att inte ingripa, tillåta att en människa kommer till skada.

2. En robot måste lyda order från en människa, förutom om sådana order kommer i konflikt med första lagen.

3. En robot måste skydda sin egen existens, såvida detta inte kommer i konflikt med första eller andra lagen.

Dessa utgör en grundpremiss för många av Isaac Asimovs science fiction-berättelser från 1940-talet och framåt. De kan vid första påseende förefalla utgöra en enkel lösning på Friendly AI-problematiken, men skenet bedrar, och ett ständigt återkommande tema i Asimovs författarskap är hur lätt det kan gå snett på så vis att lagarna ger upphov till det som AI-forskare och futurologer idag kallar pervers insantiering.

Webbserien xkcd tog i förra månaden upp frågan om vad som händer om man kastar om prioritetsordningen mellan de tre lagarna:

Som en första rudimentär övning i att analysera konsekvenserna av en given formaliserad robotetik tycker jag detta är utmärkt. Dock undrar jag om inte en minst lika trolig konsekvens av den femte permutationen är ännu ett fall av killbot hellscape, om maskinerna kommer fram till att människorna, i deras allmänna nyckfullhet, utgör en säkerhetsrisk gentemot maskinerna, och därför bedömer att det är nödvändigt att i förebyggande syfte avskaffa mänskligheten.

Dilbert om ett eventuellt AI-genombrott

Häromveckan slog jag ett slag för engelskspråkiga filosofi- och vetenskapsnördiga tecknade serier, och framhöll Randall Munroes xkcd, Zach Weinersmiths Saturday Morning Breakfast Cereal (SMBC), och Corey Mahlers Existential Comics som mina favoriter. En annan rolig och läsvärd serie som delvis kan räknas till samma kategori är Scott Adams Dilbert, även om den i första hand är inriktad på att skildra dåligt ledarskap inom teknikföretag. De senaste två veckorna har denna dagligt utkommande serie behandlat ett av mina egna favoritämnen här på bloggen: faror i samband med ett eventuellt framtida genombrott inom AI (artificiell intelligens). Speciellt behandlas fallet då ett sådant genombrott inträffar på teknikföretag ansatta av dåligt ledarskap. Följande är de hittills publicerade avsnitten i detta löst samanhållna äventyr; vi får se om det blir någon fortsättning imorgon måndag:

• 23 november: What It Is Like To Be A Robot With No Soul
• 24 november: Robot Is A Box Of Nothing
• 25 november: Why People Have Consciousness
• 26 november: Robot Gets An Artificial Soul
• 27 november: Robot Must Reproduce
• 28 november: Robot Learns To Procreate
• 30 november: Robot Wants To Code
• 1 december: Dilbert Teaches Robot To Code
• 2 december: Worried About Robots
• 3 december: Robot Learns To Code
• 4 december: Human Crossed The Road
• 5 december: How It Would Be With Robots In Charge

En del idéer hämtade från facklitteraturen på området förekommer här, och jag finner framställningen delvis ganska finurlig. Den kan nog bidra till intresset för AI-futurologi, men för att faktiskt skaffa sig en välgrundad uppfattning om riskerna och den övriga problematiken duger naturligtvis inte dessa Dilbert-strippar. Se gärna Nick Bostroms bok från 2014, eller min egen som kommer i nästa månad.

Robotattacken mot Alexander Gristjuk

Schack och robotar: två ämnen jag ofta återkommit till här på bloggen. Idag vill jag förena dem. Låt mig först rikta en gratulation till det ryska schackgeniet Alexander Gristjuk, som igår (och för tredje gången) tog hem segern i VM i blixtschack; till det slagna fältet hör bl.a. den norske megastjärnan Magnus Carlsen. Låt mig sedan bjuda på följande lite dråpliga videosnutt från 2012, där Gristjuk ställs mot en schackrobot av märket Kuka.¹

Fotnot

1) En trolig reaktion efter att ha sett videon är måhända "Det var ju festligt, men en schackrobot kan ju inte rimligtvis bli farlig på riktigt". För den som känner sig böjd att dra den senare något förhastade slutsatsen rekommenderar jag Steve Omohundros viktiga uppsats The basic AI drives.