tisdag 18 september 2018

An essential collection on AI safety and security

The xxix+443-page book Artificial Intelligence Safety and Security, edited by Roman Yampolskiy, has been out for a month or two. Among its 28 independent chapters (plus Yamploskiy's introduction), which have a total of 47 different authors, the first 11 (under the joint heading Concerns of Luminaries) have previously been published, with publication years ranging from 2000 to 2017, while the remaining 17 (dubbed Responses of Scholars) are new. As will be clear below, I have a vested interest in the book, so the reader may want to take my words with a grain of salt when I predict that it will quickly become widely accepted as essential reading in the rapidly expanding and increasingly important fields of AI futurology, AI risk and AI safety; nevertheless, that is what I think. I haven't yet read every single chapter in detail, but have seen enough to confidently assert that while the quality of the chapters is admittedly uneven, the book still offers an amazing amount of key insights and high-quality expositions. For a more systematic account by someone who has read all the chapters, see Michaël Trazzi's book review at Less Wrong.

Most of the texts in the Concerns of Luminaries part of the book are modern classics, and six of them were in fact closely familiar to me even before I had opened the book: Bill Joy's early alarm call Why the future doesn't need us, Ray Kurzweil's The deeply intertwined promise and peril of GNR (from his 2005 book The Singularity is Near), Steve Omohundro's The basic AI drives, Nick Bostrom's and Eliezer Yudkowsky's The ethics of artificial intelligence, Max Tegmark's Friendly artificial intelligence: the physics challenge, and Nick Bostrom's Strategic implications of openness in AI development. (Moreover, the papers by Omohundro and Tegmark provided two of the cornerstones for the arguments in Section 4.5 (The goals of a superintelligent machine) of my 2016 book Here Be Dragons.) Among those that I hadn't previously read, I was struck most of all by the urgent need to handle the near-term nexus of risks connecting AI, chatbots and fake news, outlined in Matt Chessen's The MADCOM future: how artificial intelligence will enhance computational propaganda, reprogram human cultrure, and threaten democracy... and what can be done about it.

The contributions in Responses of Scholars offer an even broader range of perspectives. Somewhat self-centeredly, let me just mention that three of the most interesting chapters were discussed in detail by the authors at the GoCAS guest researcher program on existential risk to humanity organized by Anders Sandberg and myself at Chalmers and the University of Gothenburg in September-October last year: James Miller's A rationally addicted artificial superintelligence, Kaj Sotala's Disjunctive scenarios of catastrophic AI risk, and Phil Torres' provocative and challenging Superintelligence and the future of governance: on prioritizing the control problem at the end of history. Also, there's my own chapter on Strategies for an unfriendly oracle AI with reset button. And much more.

söndag 2 september 2018

Snyder on Putin and the threats to freedom and democracy

Earlier this year, I enthusiastically reviewed (in Swedish) Daniel Ellsberg's important book The Doomsday Machine: Confessions of a Nuclear War Planner. Based on unique inside information, Ellsberg makes such an overwhelming case that the nuclear balance of terror between the United States and the USSR/Russia has been (and still is) even more dangerous than most of us have realized, and that disarmament is the only sensible way forward, that one begins to wonder how anyone could possibly oppose disarmament. Well, for the sake of balance (no pun intended!), let me offer the best counterpoint I've seen, given to the world through the actions of Vladimir Putin, and reluctantly put into words by Timothy Snyder in his most recent book The Road to Unfreedom: Russia, Europe, America as follows:
    [The Russian invasion of Crimea in 2014] violates basic consensual principles of international law, the United Nations Charter, every treaty signed between independent Ukraine and independent Russia, as well as a number of assurances that Russia has offered Ukraine about the protection of its frontiers. One of these was the Budapest Memorandum of 1994, in which the Russian Federation (along with the United Kingdom and the United States) had guaranteed Ukranian borders when Ukraine agreed to give up all nuclear weapons. In what was perhaps the greatest act of nuclear disarmament in history, Ukraine handed over some 1,300 intercontinental ballistic missiles. By invading a country that had engaged in complete nuclear disarmament, Russia offered the world the lesson that nuclear arms should be pursued. [p 142]
The Road to Unfreedom is Snyder's follow-up to his marvelous little book On Tyranny from 2017. His new book is very different but just as important. It offers a detailed history of Vladimir Putin's misdeeds in the 2010's, his multifaceted fight against democracy at home, in Europe and in the United States, his war on Ukraine, and his successful effort to install in the White House a person who for all practical purposes can be regarded as his puppet.1 Solid sources are provided throughout, and the events are skillfully integrated into a highly readable narrative, including the necessary background on Stalin's, Brezhnev's and Gorbachev's Soviet Union and on Yeltsin's Russia, as well as on the fascist thinkers (mainly Ivan Ilyin) whom Putin has chosen as his and his country's pet philosophers to support his aggressive geopolitical views. The Road to Unfreedom is essential reading for anyone who wants to understand current events in Russia and in the West.

Let me add something to my Swedish compatriots who will go to the election polls on Sunday (September 9). One of the main lessons from Snyder's book is that Putin aspires to destabilize Europe and ultimately to dissolve the European Union, so as to make it easier for him to attain dominance over Eurasia. There is no end to the cynical things he will do to this end, including bombing Syria to fuel the refugee crisis. His other main tool to the same end is to support right-wing and EU-skeptical populist parties across Europe, for instance using his troll factories. If you vote for Sverigedemokraterna on Sunday, you play right into Putin's hands.


1) This is convincingly argued in the book despite it being published several months prior to Putin's and Trump's July 2018 press conference in Helsinki, where Trump's puppet status was made overwhelmingly clear to anyone who cared to look.

lördag 1 september 2018

Demokrati är fundamentalt - är alla med på det?

Nästa söndag, den 9 september, går vi till valurnorna i Sverige. Då gäller det att hålla ordning på fundamentala värden. Specifikt vill jag rekommendera röstandet på ett parti som inte slirar när det gäller att bevarandet av vår demokrati är så grundläggande att det går före alla andra frågor.

Hur avgör man om ett parti har den rätta demokratiska ryggraden? Jag tror att en bra proxy för det är huruvida partiledaren har detsamma, och för att avgöra vilka av partiledarna för våra åtta riksdagspartier som besitter sådan ryggrad vill jag mena att följande enkla tankeexperiment ger god ledning:
  • Skulle Moderaternas partiledare Ulf Kristersson ställa sig bakom uttalandet "Sänkt skatt är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Det behöver vi inte undra över, svaret är tveklöst ja.
  • Skulle Kristdemokraternas partiledare Ebba Busch Thor ställa sig bakom uttalandet "Hårdare straff för vålds- och sexbrott är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Tvivelsutan skulle hon det.
  • Skulle Liberalernas partiledare Jan Björklund ställa sig bakom uttalandet "Höjda lärarlöner är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Självklart.
  • Skulle Centerns partiledare Annie Lööf ställa sig bakom uttalandet "Levande landsbygd är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Det skulle hon såklart.
  • Skulle Socialdemokraternas partiledare Stefan Löfven ställa sig bakom uttalandet "Schyssta villkor och löner i arbetslivet är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Det kan vi känna oss förvissade om.
  • Skulle Miljöpartiets båda språkrör Gustav Fridolin och Isabella Lövin ställa sig bakom uttalandet "Omställning till förnyelsebara energikällor är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Självklart skulle båda två göra det.
  • Skulle Vänsterpartiets partiledare Jonas Sjöstedt ställa sig bakom uttalandet "Sex timmars arbetsdag är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Givetvis.
Så här långt är utfallet något enahanda, men låt oss gå vidare till det åttonde partiet i Sveriges riksdag.
  • Skulle Sverigedemokraternas partiledare Jimmie Åkesson ställa sig bakom uttalandet "Stoppad invandring är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Nja, inför en sådan jämförelse mellan partiets hjärtefråga och bevarandet av demokratin skulle han antagligen börja slira. Svärmorsdrömmen Åkesson är vanligtvis skicklig på att låta mer städad och rumsren än mer brutala sd-företrädare som Kenth Ekeroth, Linus Bylund och Björn Söder, men häromdagen avslöjade han sin bristande demokratiska ryggrad genom att vägra välja mellan Emmanuel Macron och Vladimir Putin. Han och hans parti är helt enkelt inte att lita på när det gäller att stå upp för demokratin.

söndag 26 augusti 2018

Tom Lehrer om Wernher von Braun

I fortsättningen, när någon forskarkollega säger något i stil med "Forskningens samhälleliga konsekvenser lämnar jag med varm hand åt andra att funderat över, för det är ju inte mitt bord att tänka på hur resultaten används, jag är ju bara forskare", så kommer jag att svara "All right, jag respekterar din ståndpunkt,1 men lyssna nu till den här sången från 1965 av Tom Lehrer om den berömde tyske och senare amerikanske raketforskaren Wernher von Braun".


1) Strängt taget kommer detta väluppforstrade men lite mjäkiga och räddhågsna påstående att vara osant, ty sanningen är den att jag inte alls respekterar uppfattningen ifråga, utan ser ned på och avskyr den av hela mitt hjärta. Se min uppsats Vetenskap på gott och ont (eller dess engelskspråkiga översättning Science for good and science for bad) där jag motiverar och försvarar denna hårda attityd.

fredag 24 augusti 2018

On the ethics of emerging technologies and future scientific advances

My essay Vetenskap på gott och ont, which I announced in a blog post in April this year, is now available in English translation: Science for good and science for bad. From the introduction:
    My aim in this text is to explain and defend my viewpoint concerning the role of science in society and research ethics which permeates the ethical arguments in my recent book Here Be Dragons: Science, Technology and the Future of Humanity (Häggström, 2016). To clarify my view, I will contrast it with two more widespread points of view which I will call the academic-romantic and the economic-vulgar. These will be sketched in Section 2. In Section 3 I explain what is missing in these approaches, namely, the insight that scientific progress may not only make the world better but may also make it worse, whence we need to act with considerably more foresight than is customary today. As a concrete illustration, I will in Section 4 discuss what this might mean for a specific area of research, namely artificial intelligence. In the concluding Section 5 I return to some general considerations about what I think ought to be done.
Read the entire text here.

torsdag 16 augusti 2018

Man får inte skicka folk i döden

Flyktingfrågan är komplicerad, och vad som är rätt ställningstagande kan ofta vara en svår sak, i synnerhet när vi betraktar den på aggregerad nivå: siffror och politik. När vi istället går ner på individnivå och betraktar ett enskilt fall kan den plötsligt bli vändigt enkel. Jag är personligen bekant med ett sådant fall. Aftonbladet uppmärksammade igår ett annat, i en ledartext av Pernilla Ericson rubricerad Tvångsgifta Sara ska utvisas till sin ”man”. Låt mig saxa några meningar ur texten om 18-åriga Sara som kommer från Afghanistan dit man beslutat att hon skall skickas tillbaka:
    Sara kommer från ett land som är ett av de absolut farligaste i världen för kvinnor. Våldsbrott mot flickor och kvinnor för att uppehålla familjens heder ses i Afghanistan som en privatsak. Den som söker hjälp hos myndigheterna efter en våldtäkt riskerar att dödas. Att giftas bort mot sin vilja är vanligt.

    Sara berättar att hon giftes bort som 15-åring till en 11 år äldre släkting. Morföräldrarna utsåg maken. Enligt Sara fick hon inte fortsätta studierna när giftermålet var bestämt, och maken skrämde henne när de träffades enskilt.

    – Han talade illa om min familj, slog mig, rev sönder mina kläder. Det är jobbigt att berätta det här, säger hon och hennes ögon tåras.


    Hon beskriver en strapatsrik resa. Det hon berättar sedan ekar i så många hedersutsatta flickors och pojkars erfarenheter. Trycket från släkten som hårdnar, som blir till ett krav, ett hot. Vittnesmål som vi måste lyssna på. Sara beskriver hur hennes pappa började pressa henne att återvända till maken.

    – Tänk på min heder, sa min pappa, och jag mådde väldigt dåligt, säger Sara.

    Enligt Sara utsattes hon även för hot från sin make och hans släktingar.

    – “Om vi hittar dig så dödar vi dig. Om du inte säger var du är så tar vi din syster i stället”, sa de över telefon. Min syster var bara nio år då. Min mamma och syster lever fortfarande gömda i Iran.


    Migrationsverket föreslår i sitt beslut att hennes make kunde möta upp henne vid flygplatsen. “Du har uppgett att du är gift och har en make som är bosatt i din hemby. Du har inte gjort sannolikt att han utgör en hotbild mot dig. Han utgör således ett manligt nätverk för dig.”

Det här känns väldigt väldigt fel. Tillräckligt fel för att även om det skulle gå att hävda att vi har demokratiskt fattade beslut om att göra så här så är det lik förbannat moraliskt fel av de tjänstemän på Migrationsverket som "bara gör sitt jobb". Man får inte skicka folk i döden, den principen väger tyngre än eventuella riksdagsbeslut om motsatsen. Man får inte det, så enkelt är det, och den som motsäger mig på denna punkt har en moraluppfattning jag inte kan förlika mig med.

onsdag 15 augusti 2018


Just today, I came across the 2017 paper Singularities and Cognitive Computing. It deals with AI futurology, a topic I am very much interested in. Author of the paper is Devdatt Dubhashi. Here are four things that struck me, from a mostly rather personal perspective, about the paper:
    (1) The name Häggström appears four times in the short paper, and in all four cases it is me that the name refers to. I am flattered by being considered worthy of such attention.
So far so good, but my feelings about the remaining points (2)-(4) are not quite as unambiguously positive. I'll refrain from passing moral judgement on them - better to let them speak for themselves and let the reader be the judge.
    (2) The paper was published in the summer of 2017, a large fraction of it is devoted to countering arguments by me, and the author is a Chalmers University of Technology colleague of mine with whom I've previously had fruitful collaborations (resulting in several joint papers). These observations in combination make it slightly noteworthy that the paper comes to my attention only now (and mostly by accident), a full year after publication.

    (3) The reference list contains 10 items, but strikingly omits the one text that almost the entire Section 2 of the paper attempts to engage with, namely my February 2017 blog post Vulgopopperianism. That was probably not by mistake, because at the first point in Section 2 in which it is mentioned, its URL address is provided. So why the omission? I cannot think of a reason other than that, perhaps due to some grudge against me, the author wishes to avoid giving me the bibliometric credit that mentioning it in the reference list would yield. (But then why mention my book Here Be Dragons in the reference list? Puzzling.)

    (4) In my Vulgopopperianism blog post I discuss two complementary hypotheses (H1) and (H2) regarding whether superintelligence is achievable by the year 2100. Early in Section 2 of his paper, Dubhashi quotes me correctly as saying in my blog post that "it is not a priori obvious which of hypotheses (H1) and (H2) is more plausible than the other, and as far as burden of proof is concerned, I think the reasonable thing is to treat them symmetrically", but in the very next sentence he goes overboard by claiming that "Häggström suggests [...] that one can assign a prior belief of 50% to both [(H1) and (H2)]". I suggest no such thing in my blog post, and certainly do not advocate such a position (unless one reads the word "can" in Dubhashi's claim absurdly literally, meaning "it is possible for a Bayesian to set up a model in which each of the hypotheses has probability 50%"). If the sentence that he quoted from my blog post had contained the passage "as far as a priori probabilities are concerned" rather then "as far as burden of proof is concerned", then his claim would have been warranted. But the fact is that I talked about "burden of proof", not "a priori probabilities", and it is clear from this and from the surrounding context that what I was discussing was Popperian theory of science rather than Bayesianism.1 It is still possible that the mistake was done in good faith. Perhaps, despite being a highly qualified university professor, Dubhashi does not understand the distinction (and tension) between Popperian and Bayesian theory of science.2


1) It is very much possible to treat two or more hypotheses symmetrically without attaching them the same prior probability (or any probability at all). As a standard example, consider a frequentist statistician faced with a sample from a Gaussian distribution with unknown mean μ and unknown variance σ2, making a 95% symmetric confidence interval for μ. Her procedure treats the hypotheses μ<0 and μ>0 symmetrically, while not assigning them any prior probabilities at all.

2) If this last speculation is correct, then one can make a case that I am partly to blame. In Chapter 6 of Here Be Dragons - which Dubhashi had read and liked - I treated Popperianism vs Bayesianism at some length, but perhaps I didn't explain things sufficiently clearly.