Killer robots and the meaning of sensationalism

When I give talks on AI (artificial intelligence) futurology, I usually point out autonomous weapons development as the most pressingly urgent problem we need to deal with. The open letter on autonomous weapons that I co-signed (among thousands of other scientists) in 2015 phrases the problem well, and I often quote the following passage:

If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.

Some of these points were made extremely vividly in a video (featuring Stuart Russell) released a couple of weeks ago by the Campaign to Stop Killer Robots. The video is very scary, but I encourage you to watch it nevertheless:

In an op-ed last Wednesday in The Guardian that has gained much attention, computer scientist Subbarao Kambhampati criticizes the video and the campaign. Kambhampati does have have some important points, in particular his main concern, which is that a UN ban on killer robots is unlikely to be successful. There is much to say about this, but here I'd just like to comment on a much narrower issue,¹ namely Kambhampati's use of the term sensationalism. He repeatedly calls the video sensationalist, and adds that it is "more an exercise at inflaming rather than informing public opinion". While it is true that the content of the video is sensational, the term sensationalism also signals the claim that the video's message is unwarranted, exaggerated and overblown. But it is not, or at least Kambhampati does not provide any evidence that it is; in fact, his main concern in the op-ed about the implausibility of a weapons ban being effective just adds to the plausibility of the nightmarish scenario depicted in the video becoming reality. The severe badness of a future scenario does not in itself warrant calling warnings about such a scenario sensationalism.² For that, one would need the scenario to be farfetched and improbable. Kambhampati's dichotomy between "inflaming" and "informing" is also unwarranted. The video is highly informative, and if the severe danger that it informs about makes people agitated, then that is as it should be.

Footnotes

1) I can't resist, however, commenting on one more thing about Kambhampati's op-ed, namely his full disclosure at the end, containing the passage "However, my research funding sources have no impact on my personal views". This, in my opinion, is almost synonymous to saying "I am incredibly naive, and I expect my readers to be so as well".

2) Thus, Kambhampati's use of the term sensationalism is analogous to how climate denialists have for a long term routinely used the term alarmism whenever results from climate science indicate that global warming may turn out to have severe conequences.

En invändning rörande Pinkers tes om det minskande våldet

Kognitionsforskaren Steven Pinker kan och bör räknas till vår tids främsta populärvetenskapliga författare. Jag har läst flera av hans böcker, och särskilt uppskattat How The Mind Works och The Blank Slate. Hans senaste och mycket uppmärksammade bok The Better Angels of Our Nature: Why Violence Has Declined har jag dock inte hunnit läsa, utan än så länge nöjt mig med hans sammanfattande text Mot en allt fredligare värld i senaste numret av Axess. Den texten är gömd bakom en betalvägg, men lyckligtvis finns den att hitta på annat håll, i originalspråk och med rubriken Taming the devil within us.

Pinker börjar med att konstatera att föreställningen om 1900-talet som det blodigaste århundradet någonsin inte har täckning i statistiken, om vi räknar per capita. Han framhåller att risken att dö en våldsam död idag tvärtom är lägre än någonsin:

Attempts to quantify the death tolls from earlier centuries suggest that many of the collapsing empires, conquering maniacs, horse-tribe invasions, slave trades and annihilations of native peoples had individual death tolls that, adjusted for population, are comparable to those of each of the two world wars. War before civilization was even bloodier. Forensic archaeology and ethnographic demography suggest that around 15% of people living in non-state societies died violently — five times the proportion of violent deaths in the twentieth century from war, genocide and man-made famines combined.

Den huvudsakliga uppgift Pinker sedan tar sig an i sin artikel (och vad jag förstått även i boken) är att förklara denna utveckling. Förklaringen finner han i hur vi blivit alltmer civiliserade av förnuftstänkande och upplysningsidéer. Argumentationen är mångfacetterad, men ett par citat av två högt beundrade statsmän kan här räcka som illustration till hur snabbt utvecklingen gått mot ett fredligare och vidsyntare sätt att se på världen och våra medmänniskor:

Consider the statements of the great men of a century ago, such as Theodore Roosevelt, who wrote: "I don't go as far as to think that the olny good Indians are dead Indians, but I believe nine out of ten are, and I shouldn't like to inquire too closely into the case of the tenth", or the young Winston Churchill, who cheerfully carried out atrocities in British colonies in Asia and Africa and wrote: "I hate Indians. They are beastly people with a beastly religion." Today we are stunned by the compartmentalized morality of these men, who in many ways were enlightened when it came to their own race.

Pinkers tankar är mycket intressanta och bjuder otvivelaktigt på mycken klokskap. Men jag vill drista mig att ifrågasätta hans grundläggande tes. Tänk om den upplysningsidéernas frammarsch han pekar på inte alls gjort att världsmedborgare av idag löper mindre risk än våra föregångare att dö en våldsam död? Jag vill föreslå att den statistik han pekar på om den minskande andelen dödsfall genom våld kanske mindre kommer sig av upplysningens framsteg än av ren flax.

Under Kubakrisen i oktober 1962 höll världen andan. Tredje världskrigets utbrott var nära. USA:s dåvarande president och commander-in-chief John F Kennedy uppskattade efteråt att sannolikheten att krisen skulle urarta i kärnvapenkrig var "somewhere between one out of three and even". Och Kubakrisen var långt ifrån det enda tillfälle under kalla kriget då det kunde ha gått fruktansvärt jävla illa; vi kan t.ex. påminna oss den sovjetiske flygofficeren Stanislav Petrovs tappra agerande den 26 september 1983.

Hur mycket tur har vi haft? Att uppskatta hur stor sannolikheten var att kalla kriget skulle sluta i globalt kärnvapenkrig är givetvis ytterst vanskligt.¹ 10%? 50%? 90%? Vi vet inte. Att klämma till med 50-50 är dock knappast orimligt. Låt oss göra det, tillsammans med antagandet att hälften av mänskligheten skulle stryka med i kärnvapensprängningarna eller deras omedelbara följdverkningar. Med dessa antaganden boostas genast risken för en människa född på 1940-talet att stryka med i krig senast 1991 till 25% - alltså en till och med en högre siffra än de 15% som Pinker anger för tidigare samhällen.²

Jag påstår inte att dessa uppskattningar är rätt, men de kan vara det, och vad vi då åstadkommit med våra framgångar i förnuft och upplysning är i så fall inte en minskning av våldsrisken, utan snarare en förflyttning från småskaligt våld till risken för våld på största möjliga skala.

Risken för globalt kärnvapenkrig är knappast över. Lägg härtill att den allra största risken för framtiden kanske inte finns hos kärnvapen utan hos nästa kategori massförstörelsevapen: de biologiska.

Den slutsats jag absolut inte vill dra av detta resonemang är att kombinationen av upplysningstänkande och vetenskapliga framsteg tydligen inte hjälper oss att undvika våldsam död, och att vi lika gärna kan strunta i dessa projekt. Vad jag däremot menar är att vi borde lägga något större tankekraft och engagemang på frågan om hur vi kan utnyttja vår växande kunskap och klokskap till att minimera risken att vi drar igång kärnvapenkrig och andra slags globala katastrofer.

Fotnot

1) Jag kan i någon mån ha förståelse för den som rentav hävdar att det är meningslöst att tala om sannolikheter för en engångshändelse av detta slag, eller att den ju inte inträffade varför sannolikheten tydligen var noll. Ett sätt ändå försöka skänka sannolikhetsuppskattningar av detta slag mening är, för den som tror på äkta kvantmekanisk slump, att ta till det grandiosa tankeexperimentet att börja om historien från 1947, gång på gång, och se i hur många av fallen detta resultaterar i globalt kärnvapenkrig senast 1991. Den som inte vill befatta sig med sådan "äkta" slump kan istället tänka sig att vi inför minimala slumpmässiga förändringar i starttillståndet, vilka via den så kallade fjärilseffekten fortplantar sig i historiens gång.

2) Noga taget borde vi dra av några procentenheter med tanke på risken att dö av annan (icke-våldsam) orsak innan tredje världskriget hunnit bryta ut.