fredag 5 oktober 2018

Litet snack i P4 om sociala medier, chatbots och AI

Igår medverkade jag åter1 i radioprogrammet Förmiddag i P4 Göteborg för ett längre samtal med programledaren Stefan Livh. Denna gång behandlade vi ett knippe brännande frågor kring smartphones, sociala medier, chatbots och artificiell intelligens, samt vad dessa teknologier kan föra med sig för våra liv idag och i framtiden. Vårt samtal börjar cirka 1:03:54 in i sändningen och avrundas kring 1:37:55, i samband med att de drar igång den önskelåt jag beviljats med hänvisning till att det råkade vara min födelsedag.2 Lyssna här!


1) Det här var femte gången. De fyra tidigare samtalen ägde rum 22 februari 2016, 2 mars 2016, 21 september 2017 och 13 november 2017.

2) Härutöver omtalades jag också i lite småprat mellan Stefan Livh och programmets producet Per Dahlberg efter önskelåten.

måndag 1 oktober 2018

My paper on the Omohundro—Bostrom framework for AI goals and motivations

My latest paper on artificial intelligence, Challenges to the Omohundro—Bostrom framework for AI motivations, has been accepted for publication in the journal Foresight. From the introduction:
    The present paper is concerned with scenarios where AI development has succeeded in creating a machine that is superintelligent, in the sense of vastly outperforming humans across the full range of cognitive skills that we associate with intelligence, including prediction, planning and the elusive quality we speak of as creativity. [...]

    While important, [...] matters of timing and suddenness of AI development will mostly be abstracted away in the present paper, in order to focus on issues about what happens next, once a superintelligent machine has been created. A widely accepted thesis in contemporary AI futurology is that we humans can then no longer expect to be in control of our own destiny, which will instead be up to the machine. [...]

    This leads to the crucial issue of what the superintelligent machine will want – what will it be motivated to do? The question is extraordinarily difficult and any answer at present is bound to come with a high degree of uncertainty – to a large extent due to our limited understanding of how a superintelligent machine might function, but also because the answer may depend on what we choose to do during the development stage, up to the point when we lose control. [...]

    So our inexperience with superintelligence puts us in a situation where any reasoning about such a machine’s goals and motivations need to be speculative to a large degree. Yet, we are not totally in the dark, and the discussion need not be totally speculative and ungrounded. The main (and pretty much only) theoretical framework available today for grounding our reasoning on this topic is what in an earlier publication I decided to call the Omohundro—Bostrom theory on instrumental vs final AI goals [...]. The two cornerstones of the theory are what Bostrom (2012) dubbed the Orthogonality Thesis (OT) and the Instrumental Convergence Thesis (ICT), which together give nontrivial and (at least seemingly) useful predictions – not about what will happen, but about what might plausibly happen under various circumstances. The OT and the ICT are, however, not precise and definite on the level that mathematical theorems can be: they are not written in stone, and they have elements of vagueness and tentativeness. The purpose of the present paper is to discuss some reasons to doubt the two theses – not with the intent of demonstrating that they are wrong or useless, but mostly to underline that further work is needed to evaluate their validity and range of applicability.

Read the entire paper here.

torsdag 27 september 2018

Blunda inte!

Blunda inte! Eller som jag uttrycker saken i min essä Blunda inte för riskerna med artificiell intelligens, publicerad idag den 27 september i Dagens Arena:
    AI-utvecklingen har potential inte bara att göra världen bättre, utan också att göra den sämre, och i värsta fall orsaka katastrof. Jag ser därför framför mig ett abstrakt landskap av möjliga framtida AI-framsteg, där det bland guld och gröna skogar även finns blindskär och livsfarliga minor (för att nu ohämmat blanda metaforer). Den anda av att vi snabbast möjligt bör göra så stora teknikframsteg som möjligt, vilken präglade såväl det Chalmersmöte jag här berättat om som den mesta annan AI-diskussion vi ser i dag, är liktydig med att blint rusa rakt fram i detta minfält, eller att köra bil med gasen i botten och ögonen enbart på hastighetsmätaren utan en tanke på vilka hinder och andra farligheter som kan finnas där ute.

    Detta duger inte. Vi behöver ta några djupa andetag och fundera över vilken slags framtid vi vill att AI-utvecklingen ska bidra till, vilka riskerna är, och hur vi bör agera för att skörda de största frukterna där ute samtidigt som vi undviker de farligaste minorna.

Läs hela essän här! Och för den händelse någon hellre lyssnar än läser, så kan jag tipsa om att jag i mitt föredrag Artificiell intelligens - hot eller möjlighet på Högskolan Dalarna den 12 september täckte in ungefär samma material som i essän:

tisdag 18 september 2018

An essential collection on AI safety and security

The xxix+443-page book Artificial Intelligence Safety and Security, edited by Roman Yampolskiy, has been out for a month or two. Among its 28 independent chapters (plus Yamploskiy's introduction), which have a total of 47 different authors, the first 11 (under the joint heading Concerns of Luminaries) have previously been published, with publication years ranging from 2000 to 2017, while the remaining 17 (dubbed Responses of Scholars) are new. As will be clear below, I have a vested interest in the book, so the reader may want to take my words with a grain of salt when I predict that it will quickly become widely accepted as essential reading in the rapidly expanding and increasingly important fields of AI futurology, AI risk and AI safety; nevertheless, that is what I think. I haven't yet read every single chapter in detail, but have seen enough to confidently assert that while the quality of the chapters is admittedly uneven, the book still offers an amazing amount of key insights and high-quality expositions. For a more systematic account by someone who has read all the chapters, see Michaël Trazzi's book review at Less Wrong.

Most of the texts in the Concerns of Luminaries part of the book are modern classics, and six of them were in fact closely familiar to me even before I had opened the book: Bill Joy's early alarm call Why the future doesn't need us, Ray Kurzweil's The deeply intertwined promise and peril of GNR (from his 2005 book The Singularity is Near), Steve Omohundro's The basic AI drives, Nick Bostrom's and Eliezer Yudkowsky's The ethics of artificial intelligence, Max Tegmark's Friendly artificial intelligence: the physics challenge, and Nick Bostrom's Strategic implications of openness in AI development. (Moreover, the papers by Omohundro and Tegmark provided two of the cornerstones for the arguments in Section 4.5 (The goals of a superintelligent machine) of my 2016 book Here Be Dragons.) Among those that I hadn't previously read, I was struck most of all by the urgent need to handle the near-term nexus of risks connecting AI, chatbots and fake news, outlined in Matt Chessen's The MADCOM future: how artificial intelligence will enhance computational propaganda, reprogram human cultrure, and threaten democracy... and what can be done about it.

The contributions in Responses of Scholars offer an even broader range of perspectives. Somewhat self-centeredly, let me just mention that three of the most interesting chapters were discussed in detail by the authors at the GoCAS guest researcher program on existential risk to humanity organized by Anders Sandberg and myself at Chalmers and the University of Gothenburg in September-October last year: James Miller's A rationally addicted artificial superintelligence, Kaj Sotala's Disjunctive scenarios of catastrophic AI risk, and Phil Torres' provocative and challenging Superintelligence and the future of governance: on prioritizing the control problem at the end of history. Also, there's my own chapter on Strategies for an unfriendly oracle AI with reset button. And much more.

söndag 2 september 2018

Snyder on Putin and the threats to freedom and democracy

Earlier this year, I enthusiastically reviewed (in Swedish) Daniel Ellsberg's important book The Doomsday Machine: Confessions of a Nuclear War Planner. Based on unique inside information, Ellsberg makes such an overwhelming case that the nuclear balance of terror between the United States and the USSR/Russia has been (and still is) even more dangerous than most of us have realized, and that disarmament is the only sensible way forward, that one begins to wonder how anyone could possibly oppose disarmament. Well, for the sake of balance (no pun intended!), let me offer the best counterpoint I've seen, given to the world through the actions of Vladimir Putin, and reluctantly put into words by Timothy Snyder in his most recent book The Road to Unfreedom: Russia, Europe, America as follows:
    [The Russian invasion of Crimea in 2014] violates basic consensual principles of international law, the United Nations Charter, every treaty signed between independent Ukraine and independent Russia, as well as a number of assurances that Russia has offered Ukraine about the protection of its frontiers. One of these was the Budapest Memorandum of 1994, in which the Russian Federation (along with the United Kingdom and the United States) had guaranteed Ukranian borders when Ukraine agreed to give up all nuclear weapons. In what was perhaps the greatest act of nuclear disarmament in history, Ukraine handed over some 1,300 intercontinental ballistic missiles. By invading a country that had engaged in complete nuclear disarmament, Russia offered the world the lesson that nuclear arms should be pursued. [p 142]
The Road to Unfreedom is Snyder's follow-up to his marvelous little book On Tyranny from 2017. His new book is very different but just as important. It offers a detailed history of Vladimir Putin's misdeeds in the 2010's, his multifaceted fight against democracy at home, in Europe and in the United States, his war on Ukraine, and his successful effort to install in the White House a person who for all practical purposes can be regarded as his puppet.1 Solid sources are provided throughout, and the events are skillfully integrated into a highly readable narrative, including the necessary background on Stalin's, Brezhnev's and Gorbachev's Soviet Union and on Yeltsin's Russia, as well as on the fascist thinkers (mainly Ivan Ilyin) whom Putin has chosen as his and his country's pet philosophers to support his aggressive geopolitical views. The Road to Unfreedom is essential reading for anyone who wants to understand current events in Russia and in the West.

Let me add something to my Swedish compatriots who will go to the election polls on Sunday (September 9). One of the main lessons from Snyder's book is that Putin aspires to destabilize Europe and ultimately to dissolve the European Union, so as to make it easier for him to attain dominance over Eurasia. There is no end to the cynical things he will do to this end, including bombing Syria to fuel the refugee crisis. His other main tool to the same end is to support right-wing and EU-skeptical populist parties across Europe, for instance using his troll factories. If you vote for Sverigedemokraterna on Sunday, you play right into Putin's hands.


1) This is convincingly argued in the book despite it being published several months prior to Putin's and Trump's July 2018 press conference in Helsinki, where Trump's puppet status was made overwhelmingly clear to anyone who cared to look.

lördag 1 september 2018

Demokrati är fundamentalt - är alla med på det?

Nästa söndag, den 9 september, går vi till valurnorna i Sverige. Då gäller det att hålla ordning på fundamentala värden. Specifikt vill jag rekommendera röstandet på ett parti som inte slirar när det gäller att bevarandet av vår demokrati är så grundläggande att det går före alla andra frågor.

Hur avgör man om ett parti har den rätta demokratiska ryggraden? Jag tror att en bra proxy för det är huruvida partiledaren har detsamma, och för att avgöra vilka av partiledarna för våra åtta riksdagspartier som besitter sådan ryggrad vill jag mena att följande enkla tankeexperiment ger god ledning:
  • Skulle Moderaternas partiledare Ulf Kristersson ställa sig bakom uttalandet "Sänkt skatt är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Det behöver vi inte undra över, svaret är tveklöst ja.
  • Skulle Kristdemokraternas partiledare Ebba Busch Thor ställa sig bakom uttalandet "Hårdare straff för vålds- och sexbrott är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Tvivelsutan skulle hon det.
  • Skulle Liberalernas partiledare Jan Björklund ställa sig bakom uttalandet "Höjda lärarlöner är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Självklart.
  • Skulle Centerns partiledare Annie Lööf ställa sig bakom uttalandet "Levande landsbygd är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Det skulle hon såklart.
  • Skulle Socialdemokraternas partiledare Stefan Löfven ställa sig bakom uttalandet "Schyssta villkor och löner i arbetslivet är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Det kan vi känna oss förvissade om.
  • Skulle Miljöpartiets båda språkrör Gustav Fridolin och Isabella Lövin ställa sig bakom uttalandet "Omställning till förnyelsebara energikällor är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Självklart skulle båda två göra det.
  • Skulle Vänsterpartiets partiledare Jonas Sjöstedt ställa sig bakom uttalandet "Sex timmars arbetsdag är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Givetvis.
Så här långt är utfallet något enahanda, men låt oss gå vidare till det åttonde partiet i Sveriges riksdag.
  • Skulle Sverigedemokraternas partiledare Jimmie Åkesson ställa sig bakom uttalandet "Stoppad invandring är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Nja, inför en sådan jämförelse mellan partiets hjärtefråga och bevarandet av demokratin skulle han antagligen börja slira. Svärmorsdrömmen Åkesson är vanligtvis skicklig på att låta mer städad och rumsren än mer brutala sd-företrädare som Kenth Ekeroth, Linus Bylund och Björn Söder, men häromdagen avslöjade han sin bristande demokratiska ryggrad genom att vägra välja mellan Emmanuel Macron och Vladimir Putin. Han och hans parti är helt enkelt inte att lita på när det gäller att stå upp för demokratin.

söndag 26 augusti 2018

Tom Lehrer om Wernher von Braun

I fortsättningen, när någon forskarkollega säger något i stil med "Forskningens samhälleliga konsekvenser lämnar jag med varm hand åt andra att funderat över, för det är ju inte mitt bord att tänka på hur resultaten används, jag är ju bara forskare", så kommer jag att svara "All right, jag respekterar din ståndpunkt,1 men lyssna nu till den här sången från 1965 av Tom Lehrer om den berömde tyske och senare amerikanske raketforskaren Wernher von Braun".


1) Strängt taget kommer detta väluppforstrade men lite mjäkiga och räddhågsna påstående att vara osant, ty sanningen är den att jag inte alls respekterar uppfattningen ifråga, utan ser ned på och avskyr den av hela mitt hjärta. Se min uppsats Vetenskap på gott och ont (eller dess engelskspråkiga översättning Science for good and science for bad) där jag motiverar och försvarar denna hårda attityd.

fredag 24 augusti 2018

On the ethics of emerging technologies and future scientific advances

My essay Vetenskap på gott och ont, which I announced in a blog post in April this year, is now available in English translation: Science for good and science for bad. From the introduction:
    My aim in this text is to explain and defend my viewpoint concerning the role of science in society and research ethics which permeates the ethical arguments in my recent book Here Be Dragons: Science, Technology and the Future of Humanity (Häggström, 2016). To clarify my view, I will contrast it with two more widespread points of view which I will call the academic-romantic and the economic-vulgar. These will be sketched in Section 2. In Section 3 I explain what is missing in these approaches, namely, the insight that scientific progress may not only make the world better but may also make it worse, whence we need to act with considerably more foresight than is customary today. As a concrete illustration, I will in Section 4 discuss what this might mean for a specific area of research, namely artificial intelligence. In the concluding Section 5 I return to some general considerations about what I think ought to be done.
Read the entire text here.

torsdag 16 augusti 2018

Man får inte skicka folk i döden

Flyktingfrågan är komplicerad, och vad som är rätt ställningstagande kan ofta vara en svår sak, i synnerhet när vi betraktar den på aggregerad nivå: siffror och politik. När vi istället går ner på individnivå och betraktar ett enskilt fall kan den plötsligt bli vändigt enkel. Jag är personligen bekant med ett sådant fall. Aftonbladet uppmärksammade igår ett annat, i en ledartext av Pernilla Ericson rubricerad Tvångsgifta Sara ska utvisas till sin ”man”. Låt mig saxa några meningar ur texten om 18-åriga Sara som kommer från Afghanistan dit man beslutat att hon skall skickas tillbaka:
    Sara kommer från ett land som är ett av de absolut farligaste i världen för kvinnor. Våldsbrott mot flickor och kvinnor för att uppehålla familjens heder ses i Afghanistan som en privatsak. Den som söker hjälp hos myndigheterna efter en våldtäkt riskerar att dödas. Att giftas bort mot sin vilja är vanligt.

    Sara berättar att hon giftes bort som 15-åring till en 11 år äldre släkting. Morföräldrarna utsåg maken. Enligt Sara fick hon inte fortsätta studierna när giftermålet var bestämt, och maken skrämde henne när de träffades enskilt.

    – Han talade illa om min familj, slog mig, rev sönder mina kläder. Det är jobbigt att berätta det här, säger hon och hennes ögon tåras.


    Hon beskriver en strapatsrik resa. Det hon berättar sedan ekar i så många hedersutsatta flickors och pojkars erfarenheter. Trycket från släkten som hårdnar, som blir till ett krav, ett hot. Vittnesmål som vi måste lyssna på. Sara beskriver hur hennes pappa började pressa henne att återvända till maken.

    – Tänk på min heder, sa min pappa, och jag mådde väldigt dåligt, säger Sara.

    Enligt Sara utsattes hon även för hot från sin make och hans släktingar.

    – “Om vi hittar dig så dödar vi dig. Om du inte säger var du är så tar vi din syster i stället”, sa de över telefon. Min syster var bara nio år då. Min mamma och syster lever fortfarande gömda i Iran.


    Migrationsverket föreslår i sitt beslut att hennes make kunde möta upp henne vid flygplatsen. “Du har uppgett att du är gift och har en make som är bosatt i din hemby. Du har inte gjort sannolikt att han utgör en hotbild mot dig. Han utgör således ett manligt nätverk för dig.”

Det här känns väldigt väldigt fel. Tillräckligt fel för att även om det skulle gå att hävda att vi har demokratiskt fattade beslut om att göra så här så är det lik förbannat moraliskt fel av de tjänstemän på Migrationsverket som "bara gör sitt jobb". Man får inte skicka folk i döden, den principen väger tyngre än eventuella riksdagsbeslut om motsatsen. Man får inte det, så enkelt är det, och den som motsäger mig på denna punkt har en moraluppfattning jag inte kan förlika mig med.

onsdag 15 augusti 2018


Just today, I came across the 2017 paper Singularities and Cognitive Computing. It deals with AI futurology, a topic I am very much interested in. Author of the paper is Devdatt Dubhashi. Here are four things that struck me, from a mostly rather personal perspective, about the paper:
    (1) The name Häggström appears four times in the short paper, and in all four cases it is me that the name refers to. I am flattered by being considered worthy of such attention.
So far so good, but my feelings about the remaining points (2)-(4) are not quite as unambiguously positive. I'll refrain from passing moral judgement on them - better to let them speak for themselves and let the reader be the judge.
    (2) The paper was published in the summer of 2017, a large fraction of it is devoted to countering arguments by me, and the author is a Chalmers University of Technology colleague of mine with whom I've previously had fruitful collaborations (resulting in several joint papers). These observations in combination make it slightly noteworthy that the paper comes to my attention only now (and mostly by accident), a full year after publication.

    (3) The reference list contains 10 items, but strikingly omits the one text that almost the entire Section 2 of the paper attempts to engage with, namely my February 2017 blog post Vulgopopperianism. That was probably not by mistake, because at the first point in Section 2 in which it is mentioned, its URL address is provided. So why the omission? I cannot think of a reason other than that, perhaps due to some grudge against me, the author wishes to avoid giving me the bibliometric credit that mentioning it in the reference list would yield. (But then why mention my book Here Be Dragons in the reference list? Puzzling.)

    (4) In my Vulgopopperianism blog post I discuss two complementary hypotheses (H1) and (H2) regarding whether superintelligence is achievable by the year 2100. Early in Section 2 of his paper, Dubhashi quotes me correctly as saying in my blog post that "it is not a priori obvious which of hypotheses (H1) and (H2) is more plausible than the other, and as far as burden of proof is concerned, I think the reasonable thing is to treat them symmetrically", but in the very next sentence he goes overboard by claiming that "Häggström suggests [...] that one can assign a prior belief of 50% to both [(H1) and (H2)]". I suggest no such thing in my blog post, and certainly do not advocate such a position (unless one reads the word "can" in Dubhashi's claim absurdly literally, meaning "it is possible for a Bayesian to set up a model in which each of the hypotheses has probability 50%"). If the sentence that he quoted from my blog post had contained the passage "as far as a priori probabilities are concerned" rather then "as far as burden of proof is concerned", then his claim would have been warranted. But the fact is that I talked about "burden of proof", not "a priori probabilities", and it is clear from this and from the surrounding context that what I was discussing was Popperian theory of science rather than Bayesianism.1 It is still possible that the mistake was done in good faith. Perhaps, despite being a highly qualified university professor, Dubhashi does not understand the distinction (and tension) between Popperian and Bayesian theory of science.2


1) It is very much possible to treat two or more hypotheses symmetrically without attaching them the same prior probability (or any probability at all). As a standard example, consider a frequentist statistician faced with a sample from a Gaussian distribution with unknown mean μ and unknown variance σ2, making a 95% symmetric confidence interval for μ. Her procedure treats the hypotheses μ<0 and μ>0 symmetrically, while not assigning them any prior probabilities at all.

2) If this last speculation is correct, then one can make a case that I am partly to blame. In Chapter 6 of Here Be Dragons - which Dubhashi had read and liked - I treated Popperianism vs Bayesianism at some length, but perhaps I didn't explain things sufficiently clearly.

torsdag 9 augusti 2018

In the long run

It is important to consider the future of humanity not just in terms of what the world will be like in 2030 or 2050, but also in the (much) longer run. The paper Long-term trajectories of human civilization, which grew out of discussions during the GoCAS guest researcher program Existential risk to humanity in Gothenburg last fall and which is out now, does precisely this. I am proud to be coauthor of it.1 First author is Seth Baum, who initiated the discussion that eventually lead to this paper. Seth is an American risk researcher and futurologist, and director of the Global Catastrophic Risk Institute. To readers of this blog he may be familiar from his public appearances in Sweden in 2014 and 2017. The Global Catastrophic Risk Institute has a press release in connection with the paper:
    Society today needs greater attention to the long-term fate of human civilization. Important present-day decisions can affect what happens millions, billions, or trillions of years into the future. The long-term effects may be the most important factor for present-day decisions and must be taken into account. An international group of 14 scholars calls for the dedicated study of “long-term trajectories of human civilization” in order to understand long-term outcomes and inform decision-making. This new approach is presented in the academic journal Foresight, where the scholars have made an initial evaluation of potential long-term trajectories and their present-day societal importance.

    “Human civilization could end up going in radically different directions, for better or for worse. What we do today could affect the outcome. It is vital that we understand possible long-term trajectories and set policy accordingly. The stakes are quite literally astronomical,” says lead author Dr. Seth Baum, Executive Director of the Global Catastrophic Risk Institute, a non-profit think tank in the US.


    The scholars find that status quo trajectories are unlikely to persist over the long-term. Whether humanity succumbs to catastrophe or achieves a more positive trajectory depends on what people do today.

    “In order to succeed it is important to have a plan. Long-term success of humanity depends on our ability to foresee problems and to plan accordingly,” says co-author Roman Yampolskiy, Associate Professor of Computer Engineering and Computer Science at University of Louisville. “Unfortunately, very little research looks at the long-term prospects for human civilization. In this work, we identify some likely challenges to long-term human flourishing and analyze their potential impact. This is an important step toward successfully navigating such challenges and ensuring a thriving future for humanity.”

    The scholars emphasize the enormous scales of the long-term future. Depending on one’s ethical perspective, the long-term trajectories of human civilization can be a crucial factor in present-day decision-making.

    “The future is potentially exceedingly vast and long,” says co-author Anders Sandberg, Senior Research Fellow at the Future of Humanity Institute at University of Oxford. “We are in a sense at the dawn of history, which is a surprisingly powerful position. Our choices – or lack of decisions – will strongly shape which trajectory humanity will follow. Understanding what possible trajectories there are and what value they hold is the first step towards formulating strategies for our species.”

Read the full press release here, and the paper here.


1) Here is the full (and, I daresay, fairly impressive) author list: Seth D. Baum, Stuart Armstrong, Timoteus Ekenstedt, Olle Häggström, Robin Hanson, Karin Kuhlemann, Matthijs M. Maas, James D. Miller, Markus Salmela, Anders Sandberg, Kaj Sotala, Phil Torres, Alexey Turchin and Roman V. Yampolskiy.

tisdag 31 juli 2018

On dual-use technologies

Dual-use technologies are technologies that can be applied both for causing death and destruction and for more benign purposes. An xkcd strip last month illustrates the concept beautifully by recycling Isaac Newton's cannonball thought experiment:

In my 2016 book Here Be Dragons: Science, Technology and the Future of Humanity, I point out at some length the troublesome fact that many emerging technologies have this dual-use feature, and that the dangers are in some cases of such a magnitude that they can mean the end of civilization and humanity. How should we react to this fact? I often encounter the attitude that since there are no inherently good or evil technologies but only good or even uses of them, engineers need not worry about ethical concerns when deciding what to develop. In my recent manuscript Vetenskap på gott och ont (in Swedish) I wholeheartedly condemn that attitude, and view it as an attempt to fall back on a simple one-liner in order to grant oneself the luxury of not having to think inconvenient thoughts ("ett simpelt slagord avsett för att slippa tänka obekväma tankar") or take responsibility for the consequences of one's work.

What to do instead? In Here Be Dragons I admit not having any easy answers to that, but suggest that an improved understanding of the landscape of possible future technologies and their consequences for humanity would improve the odds of a happy outcome, and that it might be a good idea to launch some IPCC-like international body with the task of summerizing our (sparse, but improving) knowledge in this field and making that knowledge available to decision makers on all levels (IPCC is short for Intergovernmental Panel on Climate Change). I was pleased to learn, quite recently, that Daniel Bressler at Columbia University and Jeff Alstott at MIT have developed, in some detail, a similar idea for the highly overlapping field of global catastrophic risk. Do have a look at their report The Intergovernmental Panel on Global Catastrophic Risks (IPGCR): A Proposal for a New International Organization.

onsdag 27 juni 2018

Thinking in advance, in Uppsala

Tomorrow, June 28, at the Analysis of Algorithms conference in Uppsala, I will give my talk Thinking in advance about the last algorithm we ever need to invent, based on my proceedings contribution with the same title. It begins at 13:30 in the Gunnar Johansson lecture hall, Blåsenhus, von Kraemers Allé 1A, and in case readers in the Uppsala region are interested it seems that it will be easy for conference non-participants to sneak in to hear my talk.

fredag 15 juni 2018

Livet med AI

Stiftelsen för strategisk forskning har i dagarna färdigställt rapporten Livet med AI, som bjuder på en rad olika perspektiv på artificiell intelligens och vad tekniken kan innebära i framtiden. Bakom de olika kapitlen står ett tiotal olika författare, varav jag själv skrivit kapitlet AI-utvecklingens yttersta risker, vilket återfinns på sidorna 10-15 i rapporten,1 och vars text är ny fastän trogna läsare kan känna igen en del av mina käpphästar exempelvis från uppsatserna Remarks on artificial intelligence and rational optimism och Vetenskap på gott och ont.


1) Ett smärre missöde, till följd av att jag förbisåg det snabba korrekturläsningsmomentet i produktionen av rapporten, är att det inte markerats med normal tydlighet att andra stycket på sidan 12 helt och hållet är ett citat, men för den som läser noga framgår det nog ändå.

torsdag 7 juni 2018

Kärnvapenfrågan är på dödligt allvar

I Dagens Arena publicerades idag en essä jag författat med rubriken "Överlever vi 70 år till med kärnvapen?". Till större delen tar den sig formen av en recension av Daniel Ellsbergs aktuella och extremt viktiga bok The Doomsday Machine: Confessions of a Nuclear War Planner. Här några korta stycken ur essän:
    Risken för globalt kärnvapenkrig [är] något vi haft hängande över oss ända sedan tidigt 1950-tal. I samband med Berlinmurens fall och Sovjetunionens upplösning åren kring 1990 försvann kärnvapenfrågan i hög grad från det allmänna medvetandet, vilket var en kollektiv missbedömning av stora mått. Även om det globala antalet kärnvapenstridsspetsar minskat till mindre än en tredjedel av vad det var som mest, försvann aldrig hotet om en kärnvapenapokalyps. Medvetenheten om problemet har i någon mån återvänt i samband med att en man med en tioårings impulskontroll, stingslighet och allmänna mognad i januari 2017 utsågs till högste befälhavare för världens mäktigaste militärmakt, men är ändå inte tillbaka på den nivå som gällde under delar av det kalla kriget.

    Den amerikanske före detta krigsanalytikern Daniel Ellsberg vill med sin aktuella bok The Doomsday Machine: Confessions of a Nuclear War Planner (Bloomsbury Press, 2017) väcka oss ur denna slummer och få oss att inse farans omfattning. Kärnvapenhotet är inget mindre än ett existentiellt hot, det vill säga ett hot som om det vill sig illa kan bli slutet för mänskligheten. Visserligen finns inte tillräckligt många kärnvapen för att döda hela jordens befolkning i själva kriget, men följdverkningarna, inklusive den atomvinter som väntas förmörka himlen och slå ut allt jordbruk under flera år, riskerar att bli så stora att det är ytterst osäkert om de återstående civilisationsspillrorna skulle klara sig särskilt länge.

    Ellsberg är en intressant och på många vis beundransvärd person. Han föddes 1931, han doktorerade vid Harvard på en briljant avhandling om beslutsteori, och han arbetade under 1960-talet som militärstrategisk konsult vid det amerikanska försvarsdepartementet. Denna karriär fick emellertid ett abrupt slut då han 1971 läckte de så kallade Pentagon Papers, en samling topphemliga dokument som delvis kom att publiceras i New York Times och Washington Post, och som klargjorde Johnsonadministrationens systematiska lögner (gentemot inte bara allmänheten utan också den amerikanska kongressen) om Vietnamkriget. Ellsberg erkände öppet att det var han som var läckan, något som normalt skulle ha renderat honom ett mångårigt fängelsestraff för spioneri, men en sinkadusartad omständighet med förgreningar i Watergateskandalen gjorde att domaren i maj 1973 såg sig nödsakad att lägga ned åtalet mot honom. Sedan dess har Ellsberg verkat som opinionsbildare och politisk aktivist, och The Doomsday Machine kan ses som kulmen på detta arbete.

    Boken präglas av skarpsinne och en brinnande moralisk låga, och har sitt allra största värde i författarens unika erfarenheter från åren som militärstrategisk insider. Det man som läsare framför allt får med sig är vilken grad av tur vi har haft som så här långt överlevt hotet om globalt kärnvapenkrig.

Läs hela min text här!

tisdag 29 maj 2018

Om friskolor och betyg

Nationalekonomen Jonas Vlachos offentliggjorde häromdagen sin viktiga rapport Trust-Based Evaluation in a Market-Oriented School System, där han påvisar skillnader i betygsättningspraxis mellan friskolor och kommunala skolor. Jag uppmärksammandes på Vlachos rapport av vännen och matematikutbildningsforskaren Ola Helenius, vars kloka reflektion på Facebook jag fått tillstånd att citera i sin helhet:
    I Sverige tycker vi att en elevs lärare är den som bäst bedömer elevens kunskaper och därför låter vi lärare sätta betyg på sina elever. Det är ett betygssystem som bygger på tillit.

    Vi har dock också ett utpräglat marknadssystem för skolan. Höga betyg är en konkurrensfördel, så det skapar incitament för skolor alla att sätta högre betyg än vad elevernas kunskapsnivåer förtjänar. I klarspråk kan man säga att skolor drivs att fuska med betygen för att skaffa sig bättre positioner på marknaden.

    Om alla skolor gjorde detta lika mycket skulle det ändå vara dåligt, för det leder till betygsinflation. Men det skulle vara ett slags rättvist fusk. Så är det dock inte. Friskolor fuskar mer. Och de stora vinstdrivande koncernernas skolor fuskar mycket mer. Jättemycket faktiskt, och värst är Kunskapsskolan och Internationella Engelska skolan.

    Det här visar Jonas Vlachos i en ny rapport. Han använder inte termen fusk, men jag tycker att det är en rimlig term.

    Man ser ibland argument för att friskolorna är bra, för att de har bättre kunskapsresultat. Men Jonas visar att HELA betygsövertaget som t ex Kunskapsskolan har över kommunala skolan kan förklaras av Kunskapsskolans tendens att sätta högre betyg (relativt de resultat som elever visat på prov) än den kommunala skolan.

    Det här är ju inte bara orättvist. Det underminerar på flera sätt förtroendet för både skolsystemet och betygssystemet. Det kommer också tvinga oss att överge ett system där vi litar på att lärare som bedömare av elevers kunskap. Dessutom har hela det här fusket i sig skapat möjlighet att propagera för förträffligheten hos de vinstdrivande skolorna på falska grunder.

    Internationella Engelska skolan och Kunskapsskolan, som är de värsta här, borde skämmas. Men det borde även de politiker som var naiva nog att införa det här systemet.

torsdag 17 maj 2018

An open letter to Google

Dear Google,

I recently became aware of Project Maven, in which you assist the Pentagon in applying cutting-edge AI technology to give military drones the ability to identify humans. And I thought this is as good a time as any to remind you of these little words of wisdom: Don't be evil.

Let me repeat:


With kind regards,

Olle Häggström
Concerned world citizen

måndag 14 maj 2018

Two well-known arguments why an AI breakthrough is not imminent

Much of my recent writing has concerned future scenarios where an artificial intelligence (AI) breakthrough leads to a situation where we humans are no longer the smartest agents on the planet in terms of general intelligence, in which case we cannot (I argue) count on automatically remaining in control; see, e.g., Chapter 4 in my book Here Be Dragons: Science, Technology and the Future of Humanity, or my paper Remarks on artificial intelligence and rational optimism. I am aware of many popular arguments for why such a breakthrough is not around the corner but can only be expected in the far future or not at all, and while I remain open to the conclusion possibly being right, I typically find the arguments themselves at most moderately convincing.1 In this blog post I will briefly consider two such arguments, and give pointers to related and important recent developments. The first such argument is one that I've considered silly for as long as I've given any thought at all to these matters; this goes back at least to my early twenties. The second argument is perhaps more interesting, and in fact one that I've mostly been taking very seriously.

1. A computer program can never do anything creative, as all it does is to blindly execute what it has been programmed to do.

This argument is hard to take seriously, because if we do, we must also accept that a human being such as myself cannot be creative, as all I can do is to blindly execute what my genes and my environment have programmed me to do (this touches on the tedious old free will debate). Or we might actually bite that bullet and accept that humans cannot be creative, but with such a restrictive view of creativity the argument no longer works, as creativity will not be needed to outsmart us in terms of general intelligence. Anyway, the recent and intellectually crowd-sourced paper The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities offers a fascinating collection of counterexamples to the claim that computer programs cannot be creative.

2. We should distinguish between narrow AI and artificial general intelligence (AGI). Therefore, as far as a future AGI breakthrough is concerned, we should not be taken in by the current AI hype, because it is all just a bunch of narrow AI applications, irrelevant to AGI.

The dichotomy between narrow AI and AGI is worth emphasizing, as UC Berkeley computer scientist Michael Jordan does in his interesting recent essay Artificial Intelligence  - The Revolution Hasn’t Happened Yet. That discourse offers a healthy dose of skepticism concerning the imminence of AGI. And while the claim that progress in narrow AI is not automatically a stepping stone towards AGI seems right, the oft-repeated stronger claim that no progress in narrow AI can serve as such a stepping stone seems unwarranted. Can we be sure that the poor guy in the cartoon on the right (borrowed from Ray Kurzweil's 2005 book; click here for a larger image) can carry on much longer in his desperate production of examples of what only humans can do? Do we really know that AGI will not eventually emerge from a sufficiently broad range of specialized AI capabilities? Can we really trust Thore Husfeldt's image suggesting that Machine Learning Hill is just an isolated hill rather than a slope leading up towards Mount Improbable where real AGI can be found? I must admit that my certainty about such a topography in the landscape of computer programs is somewhat eroded by recent dramatic advances in AI applications. I've previously mentioned as an example AlphaZero's extraordinary and self-taught way of playing chess, made public in December last year. Even more striking is last week's demonstration of the Google Duplex personal assistant's ability to make intelligent phone conversations. Have a look:3


1) See Eliezer Yudkowsky's recent There’s No Fire Alarm for Artificial General Intelligence for a very interesting comment on the lack of convincing arguments for the non-imminence of an AI breakthrough.

2) The image appears some 22:30 into the video, but I really recommend watching Thore's entire talk, which is both instructive and entertaining, and which I had the privilege of hosting in Gothenburg last year.

3) See also the accompanying video exhibiting a wider range of Google AI products. I am a bit dismayed by its evangelical tone: we are told what wonderful enhancements of our lives these products offer, and there is no mention at all of possible social downsides or risks. Of course I realize that this is the way of the commercial sector, but I also think a company of Google's unique and stupendous power has a duty to rise above that narrow-minded logic. Don't be evil, goddamnit!

torsdag 3 maj 2018

Rekommenderad läsning: Aaronson om Caplan om utbildning

Den amerikanske nationalekonomen Bryan Caplans The Case Against Education: Why the Education System is a Waste of Time and Money är en av de mest störande böcker jag läst på länge, och den är det i kraft av att presentera mångfacetterad empirisk evidens och starka argument för slutsatser jag finner motbjudande. Caplans slutsatser kan sammanfattas i två huvudpunkter. För det första att utbildning överlag handlar mindre om att skaffa sig kunskaper än om att signalera sin allmänna arbetsduglighet (vilken Caplan kokar ned till de tre huvudkomponenterna intelligens, arbetsvillighet, och foglighet). Och för det andra att medan utbildning (ofta) är lönsam för individen, så är den (på det hela taget) olönsam för samhället som helhet. De båda slutsatserna är relaterade på följande vis: om det stämmer att utbildning mest handlar om signalering för att skaffa sig konkurrenskraft på arbetsmarknaden, så är det naturligt att tänka sig att det positiva utbyte jag får av att utbilda mig i hög grad kancelleras av det negativa utbyte (fortfarande av min utbildning) som mina potentiella konkurrenter på arbetsmarknaden får genom att hamna i en svagare konkurrensställning gentemot mig. Om deras totala negativa utbyte är tillräckligt stort kan utbildningen gå från att vara lönsam för mig till att vara olönsam på aggregerad (dvs samhälls-)nivå.

Vad är det då jag finner motbjudande med dessa slutsatser? Mycket kort uttryckt handlar det om att jag är en varm vän av utbildning och att jag alltid har trott på det som en väg till allmänt välstånd, men om det verkligen stämmer som Caplan säger att utbildning är olönsam på samhällsnivå så blir jag tvungen att revidera åtminstone delen om utbildning som väg till allmänt välstånd.

Aningen mindre kort handlar det om externalitetsinternalisering, en nationalekonomisk princip som (i ofullständig sammanfattning) säger att när en individs handlande har negativa återverkningar på tredje part så blir det bäst för helheten om samhällssystemet korrigeras på sådant vis att individen själv bär kostnaderna för dessa återverkningar. Koldioxiden är ett bra exempel: när jag kör bil och därigenom släpper ut koldioxid i atmosfären ger det en negativ klimatpåverkan som till största delen drabbar andra än mig själv, och externalitetsinternaliseringsprincipen säger då att mina utsläpp borde beskattas. En mycket god idé, och jag är allmänt en vän av externalitetsinternalisering (som tumregel i samhällsplanering, om än inte som helig princip att följas dogmatiskt). Problemet här är att om vi håller fast vid det och om Caplans slutsatser är riktiga så borde utbildning beskattas, snarare än subventioneras såsom fallet är idag. Sannerligen en motbjudande tanke!

Problemet för mig personligen är att jag ömt vårdar en bild av mig själv såsom rationell, och om jag accepterar argument som starka utan att finna minst lika starka motargument så kräver rationaliteten att jag accepterar argumentens slutsatser. Detta har skapat en spänning i mitt huvud som legat kvar oförlöst allt sedan jag för ett par månader sedan läste Caplans bok, och jag har därför hett önskat finna motargument kraftfulla nog att skjuta de utbildningsskeptiska slutsatserna i sank. Jag har inte funnit dem ännu, men Scott Aaronsons ambitiösa recension av boken är ett steg i den önskade riktningen och det bästa sådant steg jag hittills tagit del av. Recensionen är verkligen läsvärd, inte minst för den som vill förstå huvuddragen i Caplans bok och den empiri som åberopas utan att behöva läsa en hel bok, för Aaronson ger en utförlig och rättvis sammanfattning av dessa innan han ger sig i kast med sina motargument. För den som med intellektuellt allvar intresserar sig för utbildningsfrågor är jag nästan böjd att utnämna det till obligatoriskt att ta del av Caplans tankegångar, antingen via Aaronson eller genom att gå direkt till boken.

måndag 16 april 2018

Till storms mot de akademisk-romantiska och ekonomistisk-vulgära synsätten

I oktober förra året bidrog jag till ett symposium rubricerat Vetenskaplig redlighet och oredlighet arrangerat av Kungliga Vetenskaps- och Vitterhets-Samhället i Göteborg, och ombads efteråt stöpa om mitt föredrag till skriftligt format för publicering i en samlingsvolym ägnad symposiet. Jag är nu färdig med min uppsats, vilken (liksom mitt föredrag) fick rubriken... Uppsatsen kan beskrivas som ett 10-sidigt destillat av den forskaretiska ståndpunkt som präglar min bok Here Be Dragons: Science, Technology and the Future of Humanity från 2016 - en ståndpunkt som jag definierar i kontrast mot de vanligt förekommande synsätt jag valt att kalla de akademisk-romantiska och ekonomistisk-vulgära (varav jag själv bär på en dragning mot det förstnämnda, fast jag här tar avstånd från det). Om någon tycker att uppsatsen känns som en enda lång moralkaka så... javisst, lite så är det nog. Men läs den ändå!

onsdag 11 april 2018

Jag är emot mördarrobotar och hoppas att Sveriges riksdag instämmer

Sommaren 2015 anslöt jag mig till tusentals andra forskare i undertecknandet av ett öppet brev som uppmanade till moratorium mot utveckling av AI-teknologi för så kallade autonoma vapen - eller mördarrobotar som de med en inte fullt lika artig term också benämns. Frågans tyngd framgår av följande passage ur brevet:
    If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.
I morgon torsdag har Sveriges riksdag möjlighet att göra motsvarande ställningstagande genom att bifalla en motion från den miljöpartistiske riksdagsmannen Carl Schlyter om att Sverige skall verka för ett internationellt förbud mot mördarrobotar. I en debattartikel i dagens nummer av Dagens Samhälle tillsammans med Anders Sandberg, Carin Ism, Max Tegmark och Markus Anderljung uttrycker vi en förhoppning om att riksdagen tar detta lilla steg på vägen mot en säkrare och bättre värld.

fredag 6 april 2018

Vetenskapsfestivalen 2018 närmar sig

Årets Vetenskapsfestival i Göteborg närmar sig, och i det som vanligt digra programmet finns inte mindre än tre programpunkter i vilka jag medverkar:
  • Artificiell intelligens - bara av godo? Om detta ämne samtalar jag med Ulrika Lindstrand och Lisa Bondesson (båda från Sveriges Ingenjörer) onsdagen den 18 april kl 12.00 på Chalmers, lokal HB3, Hörsalsvägen 10.

  • Mitt andra panelsamtal den onsdagen har rubriken Vita lögner och andra lögner. Övriga medverkande är Eva Staxäng (programproducent på Jonsereds herrgård), Christian Lenemark (lektor i litteraturvetenskap vid Göteborgs universitet) och Christer Borg (psykolog), och det hela går av stapeln onsdagen den 18 april kl 17.30 på Pedagogen, Västra Hamngatan 25, Hus A, Kjell Härnqvistsalen.

  • Söndagen den 22 april klockan 15.00 talar jag över ämnet Konkurrens eller samarbete, vilket i programmet sammanfattas som följer:
      Den filosofiska grundtanken bakom marknadsekonomin är att om var och en drivs av egennytta, så blir utfallet bra för kollektivet och samhället. Men stämmer det alltid? Oroande exempel dyker upp inom t.ex. klimatförändringar, kapprustning och artificiell intelligens.1
    Det äger rum på Pedagogen, Västra Hamngatan 25, Hus A, sal AK2 137.


1) Genom ett arrangörssjabbel kom en tidigare version av programmet att ange såväl en annan rubrik som en annan sammanfattning vilken innehöll ett svepande påstående ("det egennyttiga handlandet leder till katastrofala resultat för kollektivet") som jag inte vill förknippas med utan tvärtom tar avstånd från.

fredag 30 mars 2018

A spectacularly uneven AI report

Earlier this week, the EU Parliament's STOA (Science and Technology Options Assessment) committee released the report "Should we fear artificial intelligence?", whose quality is so spectacularly uneven that I don't think I've ever seen anything quite like it. It builds on a seminar in Brussels in October last year, which I've reported on before on this blog. Four authors have contributed one chapter each. Of the four chapters, three are very good two are of very high quality, one is of a quality level that my modesty forbids me to comment on, and one is abysmally bad. Let me list them here, not in the order they appear in the report, but in one that gives a slightly better dramatic effect.
  • Miles Brundage: Scaling Up Humanity: The Case for Conditional Optimism about Artificial Intelligence.

    In this chapter, Brundage (a research fellow at the Future of Humanity Institute) is very clear about the distinction between conditional optimism and just plain old optimism. He's not saying that an AI breakthrough will have good consequences (that would be plain old optimism). Rather, he's saying that if it has good consequences, i.e., if it doesn't cause humanity's extinction or throw us permanently into the jaws of Moloch, then there's a chance the outcome will be very, very good (this is conditional optimism).

  • Thomas Metzinger: Towards a Global Artificial Intelligence Charter.

    Here the well-know German philosopher Thomas Metzinger lists a number of risks that come with future AI development, ranging from well-known ones concerning technological unemployment or autonomous weapons to more exotic ones arising from the possibility of constructing machines with the capacity to suffer. He emphasizes the urgent need for legislation and other government action.

  • Olle Häggström: Remarks on Artificial Intelligence and Rational Optimism.

    This text is already familiar to readers of this blog. It is my humble attempt to sketch, in a balanced way, some of the main arguments for why the wrong kind of AI breakthrough might well be an existential risk to humanity.

  • Peter Bentley: The Three Laws of Artificial Intelligence: Dispelling Common Myths.

    Bentley assigns great significance to the fact that he is an AI developer. Thus, he says, he is (unlike us co-contributors to the report) among "the people who understand AI the most: the computer scientists and engineers who spend their days building the smart solutions, applying them to new products, and testing them". Why exactly expertise in developing AI and expertise in AI futurology necessarily coincide in this way (after all, it is rarely claimed that farmers are in a privileged position to make predictions about the future of agriculture) is not explained. In any case, he claims to debunk a number of myths, in order to arrive at the position which is perhaps best expressed in the words he chose to utter at the seminar in October: superhumanly intelligent AI "is not going to emerge, that’s the point! It’s entirely irrational to even conceive that it will emerge" [video from the event, at 12:08:45]. He relies more on naked unsupported claims than on actual arguments, however. In fact, there is hardly any end to the inanity of his chapter. It is very hard to comment on at all without falling into a condescending tone, but let me nevertheless risk listing a few of its very many very weak points:

    1. Bentley pretends to speak on behalf of AI experts - in his narrow sense of what such expertise entails. But it is easy to give examples of leading AI experts who, unlike him, take AI safety and apocalyptic AI scenarios seriously, such as Stuart Russell and Murray Shanahan. AI experts are in fact highly divided in this issue, as demonstrated in surveys. Bentley really should know this, as in his chapter he actually cites one of these surveys (but quotes it in shamelessly misleading fashion).

    2. In his desperate search for arguments to back up his central claim about the impossibility of building a superintelligent AI, Bentley waves at the so-called No Free Lunch theorem. As I explained in my paper Intelligent design and the NFL theorems a decade ago, this result is an utter triviality, which basically says that in a world with no structure at all, no better way than brute force exists if you want to find something. Fortunately, in a world such as ours which has structure, the result does not apply. Basically the only thing that the result has going for it is its cool name, something that creationist charlatan William Dembski exploited energetically to try to give the impression that biological evolution is impossible, and now Peter Bentley is attempting the analogous trick for superintelligent AI.

    3. At one point in his chapter, Bentley proclaims that "even if we could create a super-intelligence, there is no evidence that such a super-intelligent AI would ever wish to harm us". What the hell? Bentley knows about Omohundro-Bostrom theory for instrumental vs final AI goals (see my chapter in the report for a brief introduction) and how it predicts catastrophic consequences in case we fail to equip the superintelligent AI with goals that are well-aligned with human values. He knows it by virtue of having read my book Here Be Dragons (or at least he cites it and quotes it), on top of which he actually heard me present the topic at the Brussels seminar in October. Perhaps he has reasons to believe Omohundro-Bostrom theory to be flawed, in which case he should explain why. Simply stating out of the blue, as he does, that no reason exists for believing that a superintelligent AI might turn agianst us is deeply dishonest.

    4. Bentley spends a large part of his chapter attacking the silly straw man that the mere progress of Moore's law, giving increasing access to computer power, will somehow spontaneously create superintelligent AI. Many serious thinkers speculate about an AI breakthrough, but none of them (not even Ray Kurzweil) think computer power on its own will be enough.

    5. The more advanced an AI gets, the more involved will the testing step of its development be, claims Bentley, and goes on to argue that the amount of testing needed grows exponentially with the complexity of the situation, essentially preventing rapid development of advanced AI. His premise for this is that "partial testing is not sufficient - the intelligence must be tested on all likely permutations of the problem for its designed lifetime otherwise its capabilities may not be trustable", and to illustrate the immensity of this task he points out that if the machine's input consists of a mere 100 variables that each can take 10 values, then there are 10100 cases to test. And for readers for whom it is not evident that 10100 is a very large number, he writes it in decimal. Oh please. If Bentley doesn't know that "partial testing" is what all engineering projects need to resort to, then I'm beginning to wonder what planet he comes from. Here's a piece of homework for him: calculate how many cases the developers of the latest version of Microsoft Word would have needed to test, in order not to fall back on "partial testing", and how many pages would be needed for writing that number in decimal.

    6. Among the four contributors to the report, Bentley is alone in claiming to be able to predict the future. He just knows that superintelligent AI will not happen. Funny, then, that not even his claim that "we are terrible at predicting the future, and almost without exception the predictions (even by world experts) are completely wrong" doesn't seem to induce as much as a iota of empistemic humility into his prophecy.

    7. In the final paragraph of his chapter, Bentley reveals his motivation for writing it: "Do not be fearful of AI - marvel at the persistence and skill of those human specialists who are dedicating their lives to help create it. And appreciate that AI is helping to improve our lives every day." He is simply offended! He and his colleagues work so hard on AI, they just want to make the world a better place, and along comes a bunch of other people who have the insolence to come and talk about AI risks. How dare they! Well, I've got news for Bentley: The future development of AI comes with big risks, and to see that we do not even need to invoke the kind of superintelligence breakthrough that is the topic of the present discussion. There are plenty of more down-to-earth reasons to be "fearful" of what may come out of AI. One such example, which I touch upon in my own chapter in the report, is the development of AI technology for autonomous weapons, and how to keep this technology away from the hands of terrorists.

A few days after the report came out, Steven Pinker tweeted that he "especially recommend[s] AI expert Peter Bentley's 'The Three Laws of Artificial Intelligence: Dispelling Common Myths' (I make similar arguments in Enlightenment Now)". I find this astonishing. Is it really possible that Pinker is that blind to the errors and shortcomings in Bentley's chapter? Is there a name for the fallacy "I like the conclusion, therefore I am willing to accept any sort of crap as arguments"?

lördag 17 mars 2018

Om växthusgasutsläpp och invandring

Ett gäng forskare och biståndsarbetare med Frank Götmark (professor i ekologi vid Göteborgs universitet) i spetsen publicerade igår en debattartikel i Svenska Dagbladet med rubriken Miljöskäl talar för mer begränsad invandring. I korta drag är deras argument följande.
    Ett lands växthusgasutsläpp (liksom annan miljöbelastning) tenderar att öka med ökad folkmängd. Om invandringen till ett land är stor leder det till ökad folkmängd. Eftersom det är angeläget att hålla nere de svenska växthusgasutsläppen leder detta till att vi bör begränsa invandringen.
Det finns ett korn av sanning i deras resonemang, men jag vill mena att artikeln är opedagogiskt och oklart framställd på ett sätt som för tankarna mer till politisk retorik än till det slags saklighet som bör vara ledstjärna för forskare som deltar i samhällsdebatten. Detta då avgörande premisser för resonemanget sopas under mattan.

En uppenbar första invändning för en kritisk läsare som tar del av Götmarks m.fl. artikel är följande. Växthusgasutsläpp är ett globalt problem och inte ett svenskt, och även om invandring till Sverige riskerar leda till ökade växthusgasutsläpp i Sverige så är det inte uppenbart att det leder till en ökning av de globala utsläppen, eftersom vi behöver ta med minskningen i de länder invandrarna kommer ifrån i kalkylen.

Detta kan Götmark m.fl. givetvis besvara. Det troligaste är att de tänker sig att en invandrare till Sverige typiskt kommer från något land med lägre växthusgasutsläpp. Flyktingpojken Rashid från Afghanistan kommer från ett land där CO2-utsläppen per capita och år är 0,7 ton, och anländer till ett där motsvarande siffra är 4,6 (siffror från 2013). Det är rimligt att tänka sig att flytten från Afghanistan till Sverige leder till att Rashids CO2-avtryck rör sig bort från typiskt afghansk nivå i riktning mot typiskt svensk nivå, vilket alltså resulterar i ökade utsläpp.

Resonemanget bygger på att de svenska utsläppen per capita ligger på ohållbar nivå, och därtill på högre nivå än de länder varifrån flertalet invandrare kommer. Detta är sant idag, men kommer det att fortsätta vara sant i framtiden? Götmark m.fl. tycks ta för givet att det kommer att hålla i sig åtminstone fram till 2100, ty i annat fall skulle deras diagram över svensk befolkningsutveckling fram till dess under olika antaganden om invandringsvolym vara irrelevant. Själv anser jag (liksom många andrda, som Naturvårdsverket) att Sverige bör minska sina utsläpp snabbt, och bli koldioxidneutralt långt långt före 2100. Jag ser inga godtagbara moraliska argument för att vi skulle kunna fortsätta tillåta oss en utsläppsnivå som är globalt ohållbar och ligger högre än andra länder. Så snart vi rättat till den saken faller den götmarkska argumentationen.

Artikelförfattarna är givetvis i sin fulla rätt att ha annan uppfattning än jag i denna moraliska fråga, men de borde enligt min mening ha uttryckt sig mer i klartext. Då hade det t.ex. kunna låta så här:
    Vi anser att vi här i Sverige kan tillåta oss att tillskansa oss en hög levnadsstandard baserad på CO2-utsläpp som är högre än vad som är globalt hållbart, och högre än i andra länder. Detta privilegium bör vi dock vara ytterst försiktiga med att dela med oss av till Rashid och andra utlänningar, ty vår planet håller inte för om alla skulle leva som vi.

måndag 12 mars 2018

Lite radioprat om Elon Musks senaste AI-utspel

Elon Musk framträdde igår på en teknik- och kulturfestival i Austin, Texas. En av de saker som väckte störst uppmärksamhet var hans påstående att AI (artificiell intelligens) innebär en ännu större risk för mänskligheten än kärnvapenfaran. Så här lät det:

Jag inbjöds tidigare idag att kommentera detta i radioprogrammet Nordegren & Epstein i P1 - lyssna gärna på det! Inslaget om Elon Musk börjar ca 30:15 in i programmet, och jag kommer in i diskussionen vid pass 33:00.

måndag 26 februari 2018


Manualer för hur man från en begränsad uppsättning ord kan kombinera ihop ett stort antal standardfraser, som i nedanstående bild, har jag stött på förut. Alla sådana som jag sett tidigare har haft satirisk avsikt, med budskap i stil med "se här hur andefattiga ledartexter/schlagersånger/bokrecensioner/bröllopstal/whatever är", men i det här fallet verkar avsikten vara gravallvarlig, och någon tillstymmelse till glimt i ögat har jag inte lyckats urskilja i Karolinska institutets Frasbank med metatext (som nära och troget följer en engelskspråkig motsvarighet). Avsikten är att bistå med standardiserade fraser till vetenskapliga rapporter på svenska. Dessa är uppdelade i avdelningar och underavdelningar, och i avdelning "Att vara kritisk", underavdelning "Erbjuda konstruktiva förslag", finner vi följande schema.

Anklaga mig gärna för att vara en bakåtsträvande akademikersnobb, men jag när en romantisk dröm om att forskningsverksamheten vid våra universitet skall inbegripa ett intellektuellt tankearbete, och att detta skall återspeglas i vetenskapliga texter. Jag vill helst att en vetenskaplig rapport mer skall likna en essä än en förtryckt deklarationsblankett eller ett Excel-blad, och jag undviker därför att ge mina studenter alltför detaljerade instruktioner om rapporters exakta utformning. Onödigt detaljerade ramar är kreativitetsdödande och leder till svårt stereotypa texter. Ni kan nog rutinen: Introduktion, Bakgrund, Metoder, Analys, Resultat, Slutsatser, och såklart det noggranna utraderandet av varje tecken på att författaren är en människa med egen personlighet. Att den vetenskapliga rapporten skulle bjuda på något som ens tillnärmelsevis liknar litterära kvaliteter är inte att tänka på.

Givetvis är jag medveten om att jag kämpar i motvind. Många forskare (inte minst inom de naturvetenskapliga och medicinska ämnessfärerna) finner den stereotypa formen praktisk, dels för att snabbt kunna hitta relevant information i vetenskapliga artiklar utan att behöva bemöda sig om att läsa dem från början till slut, men också för att underlätta massproduktion i den egna forskargruppen. Bland annat av det skälet brukar detaljerade skrivmanualer välkomnas, och det finns gott om sådana, men KI:s frasbank är bland det värsta jag sett i den vägen.

Jag kan föreställa mig ett försvar för frasbanken längs linjen att den vetenskapliga skriv- och publiceringstraditionen ju är som den är, och att det är bra att hjälpa studenter och unga forskare att anpassa sig till denna. Mitt svar på det är att när den rådande traditionen är själsdödande stereotyp så bör den bekämpas, inte understödjas.

tisdag 20 februari 2018

Existentiell risk i Stockholm

På onsdag kväll i nästa vecka, den 28 februari, håller jag föredrag i Stockholm med rubriken Existential risks to humanity. Tidpunkt 17.30-18.30, plats Stockholms uiversitet, Universitetsvägen 10A, Södra huset, sal D7. Arrangör är föreningen Effektiv Altruism Sverige, och i deras inbjudan till föredraget finns följande sammanfattning:
    During the 21st century, extraordinary and perhaps disruptive advances can be expected within biotechnology, nanotechnology, and machine intelligence. The potential benefits of all these technologies are enormous, but so are the risks, including the possibility of human extinction.

    In this lecture, Olle Häggström will discuss some of the major existential risks facing humanity in the coming century or so, and explain why he thinks that the currently predominant attitude towards research and development - tantamount to running blindfolded at full speed through a minefield - ought to be revised in favor of more foresight and more caution.


    Olle Häggström is a professor of mathematical statistics at Chalmers University of Technology. His most noted research achievements are in probability theory, but his cross-disciplinary research interests are wide-ranging and include climate science, artificial intelligence, and philosophy. The talk will be partly based on his 2016 book Here Be Dragons: Science, Technology and the Future of Humanity.

måndag 12 februari 2018

Meningsutbyte med Bo Rothstein om matematisk modellering

Bo Rothstein är med varje rimligt mått mätt en av Sveriges mest framstående statsvetare, och på tidningarnas debattsidor utgör han en frisk fläkt. Ibland går han dock en smula överstyr i sin argumentation, som i gårdagens artikel på DN Debatt, rubricerad Felaktig tolkning av metoo riskerar att skada tilliten. Det finns mycket att diskutera och kritisera i den artikeln, men här skall jag uppehålla mig vid en enda detalj, nämligen följande passage:
    [På] min egen arbetsplats, Göteborgs universitet, [utförs] ett antal undersökningar [...] där de tillfrågade fått svara på frågan om de under det senaste året utsatts för sexuella trakasserier. Resultatet är att cirka 2 procent av kvinnorna uppger att de blivit utsatta (och ungefär 1 procent av männen).

    Det är statistiskt inte helt enkelt att översätta dessa två procent per år till längre tidsperioder, men om man utgår från en anställningstid om 20 år är en någotsånär rimlig uppskattning att femton procent av de anställda kvinnorna blivit utsatta för vad de själva uppfattar vara sexuella trakasserier någon gång under en tjugoårsperiod.

Dessa 15% synes mig gripna ur luften, något som föranledde mig att igår skriva en Facebookuppdatering med följande innehåll.
    En sak jag inte begriper med den här artikeln är detta: om man är kritisk mot metoo och tycker att ett huvudproblem är att det är tyst kring vetenskapliga resultat om hur vanligt förekommande sexuella trakasserier är, på vad sätt skulle det då förbättra situationen att en ledande statsvetarprofessor killgissar1 på DN Debatt att 15% av kvinnliga anställda vid Göteborgs universitet blivit utsatta för sexuella trakasserier under sistlidna 20-årsperiod?
Jag skrev dock detta med en lite obehaglig magkänsla av att jag själv faktiskt kunde tänkas ha bidragit (om än helt oavsiktligt) till den av Rothstein anförda procentsiffran. Den 27 november förra året tog jag nämligen del av en Facebookuppdatering från samme Rothstein, där han frågade huruvida en årlig trakasserisannolikhet om 1,6% (en sifferuppgift som härrör från samma undersökning vid Göteborgs universitet men som avser en poolning av grupperna män och kvinnor) kunde översättas till en 32%-ig sannolikhet att bli trakasserad någon gång under en 20-årsperiod. Jag svarade nej, och Rothstein bad mig utveckla, varvid jag utvecklade:
    Det första du skall tänka på är huruvida du har tillräcklig information för att besvara din fråga. Det har du inte här, för sannolikheten att trakasseras inom loppet av en tjugoårsperiod beror inte bara på den årliga sannolikheten, utan också på beroendestrukturen mellan att trakasseras ett år och ett annat år. Givet att den årliga siffran är rätt kan, beroende på denna beroendestruktur, tjugoårssannolikheten landa var som helst mellan 1,6% och 32%. För att få fram en exaktare siffra krävs modellantaganden. Tre exempel:

    (1) Om trakasseri ett år immuniserar en person mot trakasseri alla kommande år (ett fullständigt orimligt antagande), så att det varje år uteslutande är nya personer som syns i statistiken, så fungerar din kalkyl, och svaret blir 32%.

    (2) Om det ständigt är exakt samma personer som trakasseras (ett lika orimligt antagande) så att inga nya kommer in i statisktiken under ett nytt år, så blir svaret 1,6%.

    (3) Om statistiskt oberoende gäller mellan att en person blir trakasserad ett år och nästa (ett måhända aningen mindre orimligt antagande, men fortfarande orimligt), dvs noll korrelation, så fungerar den Lindbomska kalkylen1 nedan, och svaret blir 27,6%.

    Många alternativa modellantaganden är möjliga. Så vad är sanningen? I slutändan är det en empirisk fråga. Intill dess vi kan besvara den gissar jag (tentativt) att positiv men inte fullständig korrelation föreligger mellan trakasseri mot en och samma person ett år och ett annat, så att det rätta svaret i så fall hamnar någonstans mellan (2) och (3).

Min obehagliga magkänsla besannades för någon timme sedan, då Rothstein kommenterade på Facebook med följande ord.
    Modellantaganden har jag fått från Olle Häggström själv [se ovan] när jag får några månader sedan frågade honom hur man skulle resonera om detta. Som ni kan se [...] är hans egen "gissning" att man hamnar någonstans mellan 1,6% och 27,6. Och då blir det väl som jag skrev, runt 15%.


    Kan tillägga att jag inte är förtjust i att bli förolämpad ("killgissning"). Jag är inte statistiker men har gjort så gott jag kunnat i detta genom att tillfråga en av landets främsta matematiska statistiker. Har jag gjort fel så vi jag naturligtvis rätta till det men tonen i många av dessa kommentarer ger mig avsmak

Mitt svar till honom:
    Det här var inte helt bra, Bo. Om du faktiskt på allvar tolkar något av det jag skrev på din FB den 27 november som stöd för din siffra 15% så ber jag härmed att å det bestämdaste få dementera detta.

    Att "tillfråga en av landets främsta matematiska statistiker" är naturligtvis en god idé i sådana här sammanhang, men det hade varit en ännu bättre idé om du hade fullföljt den strategin lite ihärdigare innan du vände dig till DN Debatt. Du hade exempelvis kunnat fråga mig (a) huruvida medelvärdet mellan två ytterlighetspunkter automatiskt ger en rimlig uppskattning, och (b) huruvida kvantifieringarna "någonstans mellan 1,6% och 27,6%" och "runt 15%" är att betrakta som synonyma. Mitt svar hade blivit ett kraftfullt nej på båda frågorna.

Rothstein valde då att insistera på att det jag skrivit utgjorde stöd för hans 15%:
    Olle, tråkigt att du inte vågar stå för vad du faktiskt skrev, eller åtminstone erkänna att du uttryckt dig på ett sätt som gjort min tolkning helt av vad du skrev rimlig. Igen, du avslutar med följande
      Så vad är sanningen? I slutändan är det en empirisk fråga. Intill dess vi kan besvara den gissar jag (tentativt) att positiv men inte fullständig korrelation föreligger mellan trakasseri mot en och samma person ett år och ett annat, så att det rätta svaret i så fall hamnar någonstans mellan (2) och (3).
    Modell 2 var 1,6 procent, modell var 27, 6 procent. "Mellan" måste enligt svenskt språkbruk ses som en mittpunkt, och då hamnar man något under 15%.
Mitt korta svar på det:
    Jag står för det jag skrev, Bo. Och är ärligt talat lite chockad över hur du valt att vantolka detta.

Där tog dessvärre diskussionen slut, i och med att Rothstein, tydligen en smula förnärmad, valde att trycka på Facebooks avfriendningsknapp.


1) I (den ganska omfattande) kommentarstråden fick jag viss berättigad kritik för ordvalet "killgissar" (inte bara från Rothstein). Ordet anbefalles visserligen av statliga Institutet för språk och folkminnen som ett av 2017 års nyord, men är likväl inte särskilt lyckat.

2) Nämligen uträkningen 1 - (1-0,016)20 = 0,276.

tisdag 30 januari 2018

Två tankar i huvudet samtidigt

Tydligen var det så att SVT:s samhällsprogram Agenda i söndags planerades bjuda på en debatt på det brännande temat "Är det samhällets eller individens ansvar att minska flygandet för att rädda klimatet?"1 - ett inslag som dock gick om intet eftersom Ingvar Kamprads bortgång kom emellan och behövde ägnas en stor del av programmet. Som en ringa kompensation för det uteblivna inslaget erbjuder jag härmed mina två cent i frågan. Jag tycker att vi borde kunna hålla två tankar i huvudet samtidigt:

Å ena sidan. Klart som tusan att individen har ett ansvar för att inte belasta vår jord med mer än sin rättmätiga andel (typ en 7500000000:e-del, förutsatt att man inte har väldigt övertygande argument2 för en mer ojämn fördelning) av vad som är hållbart. Envar som flyger mer än så beter sig oansvarigt och skurkaktigt.

Å andra sidan. Med tanke på folks allmäna skurkaktighet och usla track record när det gäller att ta ansvar för vår planetära hållbarhet (mea culpa), så blir det nog likförbannat nödvändigt för samhället att gripa in och sätta stopp för det hejdlösa flygandet.


1) Flygets klimatpåverkan är något som bl.a. några av mina Chalmerkollegor sysslat med. Se exempelvis rapporten Svenska handlingsalternativ för att minska flygets klimatpåverkan av Jonas Åkerman, Jörgen Larsson och Anna Elofsson.

2) Ett exempel på ett argument jag inte finner övertygande är följande, som jag upplever som mycket vanligt även om det oftast lämnas outtalat: "Jomen det mesta jag flyger är ju i jobbet, och vad jag gör i jobbet har jag såklart inte något som helst personligt ansvar för."

söndag 28 januari 2018

Swing Time är läsvärd

Swing Time av Zadie Smith är en av de bästa romaner jag läst på ganska länge. Den känns naturlig att jämföra med Kjell Westös Den svavelgula himlen som jag läste i höstas, då de båda kretsar kring barndomsvänner som så småningom graviterar isär men till slut återser varandra en bit upp i medelåldern, och båda genomsyras av klassfrågor.1 I Swing Time tillkommer rasperspektiv som ett bärande element, till skillnad från i Westös bok vars handling är koncentrerad i och kring ett etniskt tämligen homogent Helsingfors. Smiths bok är mer kosmopolitisk, och utspelar sig i London, New York och ett västafrikanskt land som aldrig nämns vid namn men som verkar vara Gambia, där huvudpersonen medverkar i ett föga framgångsrikt biståndsprojekt.2 Det är ett gott betyg på Swing Time att jag finner den klart bättre än Den svavelgula himlen trots att Westö är en gammal favoritförfattare och trots att hans aktuella bok ingalunda är något misslyckande.

En sak jag fann frapperande hos Swing Time är att de fyra personer som porträtteras någorlunda utförligt - berättarjaget, hennes mamma, hennes barndomsvän Tracy, och megapopstjärnan Aimee (som om än inte i alla avseenden identisk med Madonna likväl är tydligt modellerad efter henne) - alla är kvinnor (många andra personer figurerar i boken men blir mer till bifigurer och rekvisita). Men så slog det mig att jag nog läst många böcker som på motsvarande vis domineras av ett antal män utan att reagera närmare på den saken, så själva min reaktion på detta blev en lärorik påminnelse om skevheter i hur vi ser på män respektive kvinnor.

Av de fyra personprorträtten är det berättarjagets som är mest utförligt, och ändå är det hon som likväl till slut förblir mest enigmatisk. En oro återkommer då och då om huruvida hennes på ytan innehållsrika liv ändå lider av tomhet. Den underliggande frågan om vad som är ett meningsfullt livsinnehåll får inget slutgitigt svar, men blir något man som läsare tar med sig efter att ha lagt ifrån sig boken.


1) Smiths insiktsfullhet och utsökta känsla för klass- och andra sociala frågor framkommer bland annat också i en essä hon skrev i kölvattnet av Brexit och som jag tidigare lyft fram här på bloggen.

2) Handlingen i Gambia får mig att associera till en annan bra bok jag läst denna vinter: Kevin Simlers och Robin Hansons mycket intressanta The Elephant in the Brain, som jag räknar med att återkomma till här på bloggen och vars genomgående tes är att mycket av vad vi gör drivs av andra (och typiskt mindre ädla) motiv än dem vi hävdar - motiv som vi hemlighåller så noga att vi till och med lurar oss själva. I kapitel efter kapitel illustrerar författarna grundtesen på olika områden, och i kapitlet om välgörenhet hävdar de att det som driver en välgörare som regel mer handlar om att imponera på andra och visa upp dygder än om genuin önskan att göra gott. Detta påstående är givetvis oaptitligt, men samtidigt är det svårt att avvisa, och det havererade biståndsprojektet i Swing Time passar bra in Simlers och Hansons cyniska bild.