In my 2016 book Here Be Dragons: Science, Technology and the Future of Humanity, I point out at some length the troublesome fact that many emerging technologies have this dual-use feature, and that the dangers are in some cases of such a magnitude that they can mean the end of civilization and humanity. How should we react to this fact? I often encounter the attitude that since there are no inherently good or evil technologies but only good or even uses of them, engineers need not worry about ethical concerns when deciding what to develop. In my recent manuscript Vetenskap på gott och ont (in Swedish) I wholeheartedly condemn that attitude, and view it as an attempt to fall back on a simple one-liner in order to grant oneself the luxury of not having to think inconvenient thoughts ("ett simpelt slagord avsett för att slippa tänka obekväma tankar") or take responsibility for the consequences of one's work.
What to do instead? In Here Be Dragons I admit not having any easy answers to that, but suggest that an improved understanding of the landscape of possible future technologies and their consequences for humanity would improve the odds of a happy outcome, and that it might be a good idea to launch some IPCC-like international body with the task of summerizing our (sparse, but improving) knowledge in this field and making that knowledge available to decision makers on all levels (IPCC is short for Intergovernmental Panel on Climate Change). I was pleased to learn, quite recently, that Daniel Bressler at Columbia University and Jeff Alstott at MIT have developed, in some detail, a similar idea for the highly overlapping field of global catastrophic risk. Do have a look at their report The Intergovernmental Panel on Global Catastrophic Risks (IPGCR): A Proposal for a New International Organization.
Tomorrow, June 28, at the Analysis of Algorithms conference in Uppsala, I will give my talk Thinking in advance about the last algorithm we ever need to invent, based on my proceedings contribution with the same title. It begins at 13:30 in the Gunnar Johansson lecture hall, Blåsenhus, von Kraemers Allé 1A, and in case readers in the Uppsala region are interested it seems that it will be easy for conference non-participants to sneak in to hear my talk.
Stiftelsen för strategisk forskning har i dagarna färdigställt rapporten Livet med AI, som bjuder på en rad olika perspektiv på artificiell intelligens och vad tekniken kan innebära i framtiden. Bakom de olika kapitlen står ett tiotal olika författare, varav jag själv skrivit kapitlet AI-utvecklingens yttersta risker, vilket återfinns på sidorna 10-15 i rapporten,1 och vars text är ny fastän trogna läsare kan känna igen en del av mina käpphästar exempelvis från uppsatserna Remarks on artificial intelligence and rational optimism och Vetenskap på gott och ont.
Fotnot
1) Ett smärre missöde, till följd av att jag förbisåg det snabba korrekturläsningsmomentet i produktionen av rapporten, är att det inte markerats med normal tydlighet att andra stycket på sidan 12 helt och hållet är ett citat, men för den som läser noga framgår det nog ändå.
Risken för globalt kärnvapenkrig [är] något vi haft hängande över oss ända sedan tidigt 1950-tal. I samband med Berlinmurens fall och Sovjetunionens upplösning åren kring 1990 försvann kärnvapenfrågan i hög grad från det allmänna medvetandet, vilket var en kollektiv missbedömning av stora mått. Även om det globala antalet kärnvapenstridsspetsar minskat till mindre än en tredjedel av vad det var som mest, försvann aldrig hotet om en kärnvapenapokalyps. Medvetenheten om problemet har i någon mån återvänt i samband med att en man med en tioårings impulskontroll, stingslighet och allmänna mognad i januari 2017 utsågs till högste befälhavare för världens mäktigaste militärmakt, men är ändå inte tillbaka på den nivå som gällde under delar av det kalla kriget.
Den amerikanske före detta krigsanalytikern Daniel Ellsberg vill med sin aktuella bok The Doomsday Machine: Confessions of a Nuclear War Planner (Bloomsbury Press, 2017) väcka oss ur denna slummer och få oss att inse farans omfattning. Kärnvapenhotet är inget mindre än ett existentiellt hot, det vill säga ett hot som om det vill sig illa kan bli slutet för mänskligheten. Visserligen finns inte tillräckligt många kärnvapen för att döda hela jordens befolkning i själva kriget, men följdverkningarna, inklusive den atomvinter som väntas förmörka himlen och slå ut allt jordbruk under flera år, riskerar att bli så stora att det är ytterst osäkert om de återstående civilisationsspillrorna skulle klara sig särskilt länge.
Ellsberg är en intressant och på många vis beundransvärd person. Han föddes 1931, han doktorerade vid Harvard på en briljant avhandling om beslutsteori, och han arbetade under 1960-talet som militärstrategisk konsult vid det amerikanska försvarsdepartementet. Denna karriär fick emellertid ett abrupt slut då han 1971 läckte de så kallade Pentagon Papers, en samling topphemliga dokument som delvis kom att publiceras i New York Times och Washington Post, och som klargjorde Johnsonadministrationens systematiska lögner (gentemot inte bara allmänheten utan också den amerikanska kongressen) om Vietnamkriget. Ellsberg erkände öppet att det var han som var läckan, något som normalt skulle ha renderat honom ett mångårigt fängelsestraff för spioneri, men en sinkadusartad omständighet med förgreningar i Watergateskandalen gjorde att domaren i maj 1973 såg sig nödsakad att lägga ned åtalet mot honom. Sedan dess har Ellsberg verkat som opinionsbildare och politisk aktivist, och The Doomsday Machine kan ses som kulmen på detta arbete.
Boken präglas av skarpsinne och en brinnande moralisk låga, och har sitt allra största värde i författarens unika erfarenheter från åren som militärstrategisk insider. Det man som läsare framför allt får med sig är vilken grad av tur vi har haft som så här långt överlevt hotet om globalt kärnvapenkrig.
Nationalekonomen Jonas Vlachos offentliggjorde häromdagen sin viktiga rapport Trust-Based Evaluation in a Market-Oriented School System, där han påvisar skillnader i betygsättningspraxis mellan friskolor och kommunala skolor. Jag uppmärksammandes på Vlachos rapport av vännen och matematikutbildningsforskaren Ola Helenius, vars kloka reflektion på Facebook jag fått tillstånd att citera i sin helhet:
I Sverige tycker vi att en elevs lärare är den som bäst bedömer elevens kunskaper och därför låter vi lärare sätta betyg på sina elever. Det är ett betygssystem som bygger på tillit.
Vi har dock också ett utpräglat marknadssystem för skolan. Höga betyg är en konkurrensfördel, så det skapar incitament för skolor alla att sätta högre betyg än vad elevernas kunskapsnivåer förtjänar. I klarspråk kan man säga att skolor drivs att fuska med betygen för att skaffa sig bättre positioner på marknaden.
Om alla skolor gjorde detta lika mycket skulle det ändå vara dåligt, för det leder till betygsinflation. Men det skulle vara ett slags rättvist fusk. Så är det dock inte. Friskolor fuskar mer. Och de stora vinstdrivande koncernernas skolor fuskar mycket mer. Jättemycket faktiskt, och värst är Kunskapsskolan och Internationella Engelska skolan.
Det här visar Jonas Vlachos i en ny rapport. Han använder inte termen fusk, men jag tycker att det är en rimlig term.
Man ser ibland argument för att friskolorna är bra, för att de har bättre kunskapsresultat. Men Jonas visar att HELA betygsövertaget som t ex Kunskapsskolan har över kommunala skolan kan förklaras av Kunskapsskolans tendens att sätta högre betyg (relativt de resultat som elever visat på prov) än den kommunala skolan.
Det här är ju inte bara orättvist. Det underminerar på flera sätt förtroendet för både skolsystemet och betygssystemet. Det kommer också tvinga oss att överge ett system där vi litar på att lärare som bedömare av elevers kunskap. Dessutom har hela det här fusket i sig skapat möjlighet att propagera för förträffligheten hos de vinstdrivande skolorna på falska grunder.
Internationella Engelska skolan och Kunskapsskolan, som är de värsta här, borde skämmas. Men det borde även de politiker som var naiva nog att införa det här systemet.
I recently became aware of Project Maven, in which you assist the Pentagon in applying cutting-edge AI technology to give military drones the ability to identify humans. And I thought this is as good a time as any to remind you of these little words of wisdom: Don't be evil.
Much of my recent writing has concerned future scenarios where an artificial intelligence (AI) breakthrough leads to a situation where we humans are no longer the smartest agents on the planet in terms of general intelligence, in which case we cannot (I argue) count on automatically remaining in control; see, e.g., Chapter 4 in my book Here Be Dragons: Science, Technology and the Future of Humanity, or my paper Remarks on artificial intelligence and rational optimism. I am aware of many popular arguments for why such a breakthrough is not around the corner but can only be expected in the far future or not at all, and while I remain open to the conclusion possibly being right, I typically find the arguments themselves at most moderately convincing.1 In this blog post I will briefly consider two such arguments, and give pointers to related and important recent developments. The first such argument is one that I've considered silly for as long as I've given any thought at all to these matters; this goes back at least to my early twenties. The second argument is perhaps more interesting, and in fact one that I've mostly been taking very seriously.
1. A computer program can never do anything creative, as all it does is to blindly execute what it has been programmed to do.
This argument is hard to take seriously, because if we do, we must also accept that a human being such as myself cannot be creative, as all I can do is to blindly execute what my genes and my environment have programmed me to do (this touches on the tedious old free will debate). Or we might actually bite that bullet and accept that humans cannot be creative, but with such a restrictive view of creativity the argument no longer works, as creativity will not be needed to outsmart us in terms of general intelligence. Anyway, the recent and intellectually crowd-sourced paper The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities offers a fascinating collection of counterexamples to the claim that computer programs cannot be creative.
2. We should distinguish between narrow AI and artificial general intelligence (AGI). Therefore, as far as a future AGI breakthrough is concerned, we should not be taken in by the current AI hype, because it is all just a bunch of narrow AI applications, irrelevant to AGI.
The dichotomy between narrow AI and AGI is worth emphasizing, as UC Berkeley computer scientist Michael Jordan does in his interesting recent essay Artificial Intelligence - The Revolution Hasn’t Happened Yet. That discourse offers a healthy dose of skepticism concerning the imminence of AGI. And while the claim that progress in narrow AI is not automatically a stepping stone towards AGI seems right, the oft-repeated stronger claim that no progress in narrow AI can serve as such a stepping stone seems unwarranted. Can we be sure that the poor guy in the cartoon on the right (borrowed from Ray Kurzweil's 2005 book; click here for a larger image) can carry on much longer in his desperate production of examples of what only humans can do? Do we really know that AGI will not eventually emerge from a sufficiently broad range of specialized AI capabilities? Can we really trust Thore Husfeldt's image suggesting that Machine Learning Hill is just an isolated hill rather than a slope leading up towards Mount Improbable where real AGI can be found? I must admit that my certainty about such a topography in the landscape of computer programs is somewhat eroded by recent dramatic advances in AI applications. I've previously mentioned as an example AlphaZero's extraordinary and self-taught way of playing chess, made public in December last year. Even more striking is last week's demonstration of the Google Duplex personal assistant's ability to make intelligent phone conversations. Have a look:3
3) See also the accompanying video exhibiting a wider range of Google AI products. I am a bit dismayed by its evangelical tone: we are told what wonderful enhancements of our lives these products offer, and there is no mention at all of possible social downsides or risks. Of course I realize that this is the way of the commercial sector, but I also think a company of Google's unique and stupendous power has a duty to rise above that narrow-minded logic. Don't be evil, goddamnit!
