torsdag 16 augusti 2018

Man får inte skicka folk i döden

Flyktingfrågan är komplicerad, och vad som är rätt ställningstagande kan ofta vara en svår sak, i synnerhet när vi betraktar den på aggregerad nivå: siffror och politik. När vi istället går ner på individnivå och betraktar ett enskilt fall kan den plötsligt bli vändigt enkel. Jag är personligen bekant med ett sådant fall. Aftonbladet uppmärksammade igår ett annat, i en ledartext av Pernilla Ericson rubricerad Tvångsgifta Sara ska utvisas till sin ”man”. Låt mig saxa några meningar ur texten om 18-åriga Sara som kommer från Afghanistan dit man beslutat att hon skall skickas tillbaka:
    Sara kommer från ett land som är ett av de absolut farligaste i världen för kvinnor. Våldsbrott mot flickor och kvinnor för att uppehålla familjens heder ses i Afghanistan som en privatsak. Den som söker hjälp hos myndigheterna efter en våldtäkt riskerar att dödas. Att giftas bort mot sin vilja är vanligt.

    Sara berättar att hon giftes bort som 15-åring till en 11 år äldre släkting. Morföräldrarna utsåg maken. Enligt Sara fick hon inte fortsätta studierna när giftermålet var bestämt, och maken skrämde henne när de träffades enskilt.

    – Han talade illa om min familj, slog mig, rev sönder mina kläder. Det är jobbigt att berätta det här, säger hon och hennes ögon tåras.


    Hon beskriver en strapatsrik resa. Det hon berättar sedan ekar i så många hedersutsatta flickors och pojkars erfarenheter. Trycket från släkten som hårdnar, som blir till ett krav, ett hot. Vittnesmål som vi måste lyssna på. Sara beskriver hur hennes pappa började pressa henne att återvända till maken.

    – Tänk på min heder, sa min pappa, och jag mådde väldigt dåligt, säger Sara.

    Enligt Sara utsattes hon även för hot från sin make och hans släktingar.

    – “Om vi hittar dig så dödar vi dig. Om du inte säger var du är så tar vi din syster i stället”, sa de över telefon. Min syster var bara nio år då. Min mamma och syster lever fortfarande gömda i Iran.


    Migrationsverket föreslår i sitt beslut att hennes make kunde möta upp henne vid flygplatsen. “Du har uppgett att du är gift och har en make som är bosatt i din hemby. Du har inte gjort sannolikt att han utgör en hotbild mot dig. Han utgör således ett manligt nätverk för dig.”

Det här känns väldigt väldigt fel. Tillräckligt fel för att även om det skulle gå att hävda att vi har demokratiskt fattade beslut om att göra så här så är det lik förbannat moraliskt fel av de tjänstemän på Migrationsverket som "bara gör sitt jobb". Man får inte skicka folk i döden, den principen väger tyngre än eventuella riksdagsbeslut om motsatsen. Man får inte det, så enkelt är det, och den som motsäger mig på denna punkt har en moraluppfattning jag inte kan förlika mig med.

onsdag 15 augusti 2018


Just today, I came across the 2017 paper Singularities and Cognitive Computing. It deals with AI futurology, a topic I am very much interested in. Author of the paper is Devdatt Dubhashi. Here are four things that struck me, from a mostly rather personal perspective, about the paper:
    (1) The name Häggström appears four times in the short paper, and in all four cases it is me that the name refers to. I am flattered by being considered worthy of such attention.
So far so good, but my feelings about the remaining points (2)-(4) are not quite as unambiguously positive. I'll refrain from passing moral judgement on them - better to let them speak for themselves and let the reader be the judge.
    (2) The paper was published in the summer of 2017, a large fraction of it is devoted to countering arguments by me, and the author is a Chalmers University of Technology colleague of mine with whom I've previously had fruitful collaborations (resulting in several joint papers). These observations in combination make it slightly noteworthy that the paper comes to my attention only now (and mostly by accident), a full year after publication.

    (3) The reference list contains 10 items, but strikingly omits the one text that almost the entire Section 2 of the paper attempts to engage with, namely my February 2017 blog post Vulgopopperianism. That was probably not by mistake, because at the first point in Section 2 in which it is mentioned, its URL address is provided. So why the omission? I cannot think of a reason other than that, perhaps due to some grudge against me, the author wishes to avoid giving me the bibliometric credit that mentioning it in the reference list would yield. (But then why mention my book Here Be Dragons in the reference list? Puzzling.)

    (4) In my Vulgopopperianism blog post I discuss two complementary hypotheses (H1) and (H2) regarding whether superintelligence is achievable by the year 2100. Early in Section 2 of his paper, Dubhashi quotes me correctly as saying in my blog post that "it is not a priori obvious which of hypotheses (H1) and (H2) is more plausible than the other, and as far as burden of proof is concerned, I think the reasonable thing is to treat them symmetrically", but in the very next sentence he goes overboard by claiming that "Häggström suggests [...] that one can assign a prior belief of 50% to both [(H1) and (H2)]". I suggest no such thing in my blog post, and certainly do not advocate such a position (unless one reads the word "can" in Dubhashi's claim absurdly literally, meaning "it is possible for a Bayesian to set up a model in which each of the hypotheses has probability 50%"). If the sentence that he quoted from my blog post had contained the passage "as far as a priori probabilities are concerned" rather then "as far as burden of proof is concerned", then his claim would have been warranted. But the fact is that I talked about "burden of proof", not "a priori probabilities", and it is clear from this and from the surrounding context that what I was discussing was Popperian theory of science rather than Bayesianism.1 It is still possible that the mistake was done in good faith. Perhaps, despite being a highly qualified university professor, Dubhashi does not understand the distinction (and tension) between Popperian and Bayesian theory of science.2


1) It is very much possible to treat two or more hypotheses symmetrically without attaching them the same prior probability (or any probability at all). As a standard example, consider a frequentist statistician faced with a sample from a Gaussian distribution with unknown mean μ and unknown variance σ2, making a 95% symmetric confidence interval for μ. Her procedure treats the hypotheses μ<0 and μ>0 symmetrically, while not assigning them any prior probabilities at all.

2) If this last speculation is correct, then one can make a case that I am partly to blame. In Chapter 6 of Here Be Dragons - which Dubhashi had read and liked - I treated Popperianism vs Bayesianism at some length, but perhaps I didn't explain things sufficiently clearly.

torsdag 9 augusti 2018

In the long run

It is important to consider the future of humanity not just in terms of what the world will be like in 2030 or 2050, but also in the (much) longer run. The paper Long-term trajectories of human civilization, which grew out of discussions during the GoCAS guest researcher program Existential risk to humanity in Gothenburg last fall and which is out now, does precisely this. I am proud to be coauthor of it.1 First author is Seth Baum, who initiated the discussion that eventually lead to this paper. Seth is an American risk researcher and futurologist, and director of the Global Catastrophic Risk Institute. To readers of this blog he may be familiar from his public appearances in Sweden in 2014 and 2017. The Global Catastrophic Risk Institute has a press release in connection with the paper:
    Society today needs greater attention to the long-term fate of human civilization. Important present-day decisions can affect what happens millions, billions, or trillions of years into the future. The long-term effects may be the most important factor for present-day decisions and must be taken into account. An international group of 14 scholars calls for the dedicated study of “long-term trajectories of human civilization” in order to understand long-term outcomes and inform decision-making. This new approach is presented in the academic journal Foresight, where the scholars have made an initial evaluation of potential long-term trajectories and their present-day societal importance.

    “Human civilization could end up going in radically different directions, for better or for worse. What we do today could affect the outcome. It is vital that we understand possible long-term trajectories and set policy accordingly. The stakes are quite literally astronomical,” says lead author Dr. Seth Baum, Executive Director of the Global Catastrophic Risk Institute, a non-profit think tank in the US.


    The scholars find that status quo trajectories are unlikely to persist over the long-term. Whether humanity succumbs to catastrophe or achieves a more positive trajectory depends on what people do today.

    “In order to succeed it is important to have a plan. Long-term success of humanity depends on our ability to foresee problems and to plan accordingly,” says co-author Roman Yampolskiy, Associate Professor of Computer Engineering and Computer Science at University of Louisville. “Unfortunately, very little research looks at the long-term prospects for human civilization. In this work, we identify some likely challenges to long-term human flourishing and analyze their potential impact. This is an important step toward successfully navigating such challenges and ensuring a thriving future for humanity.”

    The scholars emphasize the enormous scales of the long-term future. Depending on one’s ethical perspective, the long-term trajectories of human civilization can be a crucial factor in present-day decision-making.

    “The future is potentially exceedingly vast and long,” says co-author Anders Sandberg, Senior Research Fellow at the Future of Humanity Institute at University of Oxford. “We are in a sense at the dawn of history, which is a surprisingly powerful position. Our choices – or lack of decisions – will strongly shape which trajectory humanity will follow. Understanding what possible trajectories there are and what value they hold is the first step towards formulating strategies for our species.”

Read the full press release here, and the paper here.


1) Here is the full (and, I daresay, fairly impressive) author list: Seth D. Baum, Stuart Armstrong, Timoteus Ekenstedt, Olle Häggström, Robin Hanson, Karin Kuhlemann, Matthijs M. Maas, James D. Miller, Markus Salmela, Anders Sandberg, Kaj Sotala, Phil Torres, Alexey Turchin and Roman V. Yampolskiy.

tisdag 31 juli 2018

On dual-use technologies

Dual-use technologies are technologies that can be applied both for causing death and destruction and for more benign purposes. An xkcd strip last month illustrates the concept beautifully by recycling Isaac Newton's cannonball thought experiment:

In my 2016 book Here Be Dragons: Science, Technology and the Future of Humanity, I point out at some length the troublesome fact that many emerging technologies have this dual-use feature, and that the dangers are in some cases of such a magnitude that they can mean the end of civilization and humanity. How should we react to this fact? I often encounter the attitude that since there are no inherently good or evil technologies but only good or even uses of them, engineers need not worry about ethical concerns when deciding what to develop. In my recent manuscript Vetenskap på gott och ont (in Swedish) I wholeheartedly condemn that attitude, and view it as an attempt to fall back on a simple one-liner in order to grant oneself the luxury of not having to think inconvenient thoughts ("ett simpelt slagord avsett för att slippa tänka obekväma tankar") or take responsibility for the consequences of one's work.

What to do instead? In Here Be Dragons I admit not having any easy answers to that, but suggest that an improved understanding of the landscape of possible future technologies and their consequences for humanity would improve the odds of a happy outcome, and that it might be a good idea to launch some IPCC-like international body with the task of summerizing our (sparse, but improving) knowledge in this field and making that knowledge available to decision makers on all levels (IPCC is short for Intergovernmental Panel on Climate Change). I was pleased to learn, quite recently, that Daniel Bressler at Columbia University and Jeff Alstott at MIT have developed, in some detail, a similar idea for the highly overlapping field of global catastrophic risk. Do have a look at their report The Intergovernmental Panel on Global Catastrophic Risks (IPGCR): A Proposal for a New International Organization.

onsdag 27 juni 2018

Thinking in advance, in Uppsala

Tomorrow, June 28, at the Analysis of Algorithms conference in Uppsala, I will give my talk Thinking in advance about the last algorithm we ever need to invent, based on my proceedings contribution with the same title. It begins at 13:30 in the Gunnar Johansson lecture hall, Blåsenhus, von Kraemers Allé 1A, and in case readers in the Uppsala region are interested it seems that it will be easy for conference non-participants to sneak in to hear my talk.

fredag 15 juni 2018

Livet med AI

Stiftelsen för strategisk forskning har i dagarna färdigställt rapporten Livet med AI, som bjuder på en rad olika perspektiv på artificiell intelligens och vad tekniken kan innebära i framtiden. Bakom de olika kapitlen står ett tiotal olika författare, varav jag själv skrivit kapitlet AI-utvecklingens yttersta risker, vilket återfinns på sidorna 10-15 i rapporten,1 och vars text är ny fastän trogna läsare kan känna igen en del av mina käpphästar exempelvis från uppsatserna Remarks on artificial intelligence and rational optimism och Vetenskap på gott och ont.


1) Ett smärre missöde, till följd av att jag förbisåg det snabba korrekturläsningsmomentet i produktionen av rapporten, är att det inte markerats med normal tydlighet att andra stycket på sidan 12 helt och hållet är ett citat, men för den som läser noga framgår det nog ändå.

torsdag 7 juni 2018

Kärnvapenfrågan är på dödligt allvar

I Dagens Arena publicerades idag en essä jag författat med rubriken "Överlever vi 70 år till med kärnvapen?". Till större delen tar den sig formen av en recension av Daniel Ellsbergs aktuella och extremt viktiga bok The Doomsday Machine: Confessions of a Nuclear War Planner. Här några korta stycken ur essän:
    Risken för globalt kärnvapenkrig [är] något vi haft hängande över oss ända sedan tidigt 1950-tal. I samband med Berlinmurens fall och Sovjetunionens upplösning åren kring 1990 försvann kärnvapenfrågan i hög grad från det allmänna medvetandet, vilket var en kollektiv missbedömning av stora mått. Även om det globala antalet kärnvapenstridsspetsar minskat till mindre än en tredjedel av vad det var som mest, försvann aldrig hotet om en kärnvapenapokalyps. Medvetenheten om problemet har i någon mån återvänt i samband med att en man med en tioårings impulskontroll, stingslighet och allmänna mognad i januari 2017 utsågs till högste befälhavare för världens mäktigaste militärmakt, men är ändå inte tillbaka på den nivå som gällde under delar av det kalla kriget.

    Den amerikanske före detta krigsanalytikern Daniel Ellsberg vill med sin aktuella bok The Doomsday Machine: Confessions of a Nuclear War Planner (Bloomsbury Press, 2017) väcka oss ur denna slummer och få oss att inse farans omfattning. Kärnvapenhotet är inget mindre än ett existentiellt hot, det vill säga ett hot som om det vill sig illa kan bli slutet för mänskligheten. Visserligen finns inte tillräckligt många kärnvapen för att döda hela jordens befolkning i själva kriget, men följdverkningarna, inklusive den atomvinter som väntas förmörka himlen och slå ut allt jordbruk under flera år, riskerar att bli så stora att det är ytterst osäkert om de återstående civilisationsspillrorna skulle klara sig särskilt länge.

    Ellsberg är en intressant och på många vis beundransvärd person. Han föddes 1931, han doktorerade vid Harvard på en briljant avhandling om beslutsteori, och han arbetade under 1960-talet som militärstrategisk konsult vid det amerikanska försvarsdepartementet. Denna karriär fick emellertid ett abrupt slut då han 1971 läckte de så kallade Pentagon Papers, en samling topphemliga dokument som delvis kom att publiceras i New York Times och Washington Post, och som klargjorde Johnsonadministrationens systematiska lögner (gentemot inte bara allmänheten utan också den amerikanska kongressen) om Vietnamkriget. Ellsberg erkände öppet att det var han som var läckan, något som normalt skulle ha renderat honom ett mångårigt fängelsestraff för spioneri, men en sinkadusartad omständighet med förgreningar i Watergateskandalen gjorde att domaren i maj 1973 såg sig nödsakad att lägga ned åtalet mot honom. Sedan dess har Ellsberg verkat som opinionsbildare och politisk aktivist, och The Doomsday Machine kan ses som kulmen på detta arbete.

    Boken präglas av skarpsinne och en brinnande moralisk låga, och har sitt allra största värde i författarens unika erfarenheter från åren som militärstrategisk insider. Det man som läsare framför allt får med sig är vilken grad av tur vi har haft som så här långt överlevt hotet om globalt kärnvapenkrig.

Läs hela min text här!