Do not obey in advance

About the recent public outcry about a 1984-style ban on the terms vulnerable, entitlement, diversity, transgender, fetus, evidence-based, and science-based at the United States Centers for Disease Control and Prevention (CDC). It turns out, according to a Slate article a couple of days ago, that the ban came not from the Trump administration, but from within. From the Slate article:

Anonymous sources at the Department of Health and Human Services told the National Review’s Yuval Levin this week that any language changes did not originate with political appointees, but instead came from career CDC officials who were strategizing how best to frame their upcoming budget request to Congress. What we’re seeing, his interviews suggest, is not a top-down effort to stamp out certain public-health initiatives, like those that aim to help the LGTBQ community, but, in fact, the opposite: a bottom-up attempt by lifers in the agency to reframe (and thus preserve) the very work they suspect may be in the greatest danger.

This does not make the case any less worrisome. It is a good example of what Timothy Snyder calls obedience in advance. The Trump administration didn't have to tell the CDC to suppress talk about diversity and transgender, because managers at the CDC are sufficiently sensitive to figure out for themselves what the politicians in Washington want. Their reasons, as explained in the Slate quote above, may be respectable, but still, obeying an authoritarian-leraning regime in advance in this way is a dangerous step. The first lesson in Snyder's important book On Tyranny: Twenty Lessons from the Twentieth Century is entitled "Do not obey in advance", and here is his three-sentence summary of that lesson:

Most of the power of authoritarianism is freely given. In times like these, individuals think ahead about what a more repressive government will want, and then offer themselves without being asked. A citizen who adapts in this way is teaching power what it can do.

Other lessons in Snyder's book with direct relevance to the CDC case are Lesson 5 ("Remember professional ethics") and Lesson 9 ("Be kind to our language").

I do not often reread books, but I've read Snyder's On Tyranny three times in 2017. My goal is to learn his lessons so well that when the time comes, my default reactions will be in line with his lessons.

(Note to my Swedish readers: Snyder's book is explicitly about present-day United States, but his lessons are important here too. We are not immune to authoritarianism. Do not let yourselves be fooled for a second into thinking that Grotesco's satirical account of the evening of our parliamentary election day in 2022 is the slightest bit implausible.)

Three papers on AI futurology

Here are links to three papers on various aspects of artificial intelligence (AI) futurology that I've finished in the past six months, arranged in order of increasing technical detail (i.e., the easiest-to-read paper first, but none of them is anywhere near the really technical math papers I've written over the years).

• O. Häggström: Remarks on artificial intelligence and rational optimism, accepted for publication in a volume dedicated to the STOA meeting of October 19.

  Introduction. The future of artificial intelligence (AI) and its impact on humanity is an important topic. It was treated in a panel discussion hosted by the EU Parliament’s STOA (Science and Technology Options Assessment) committee in Brussels on October 19, 2017. Steven Pinker served as the meeting’s main speaker, with Peter Bentley, Miles Brundage, Thomas Metzinger and myself as additional panelists; see the video at [STOA]. This essay is based on my preparations for that event, together with some reflections (partly recycled from my blog post [H17]) on what was said by other panelists at the meeting.

• O. Häggström: Aspects of mind uploading, submitted for publication.

  Abstract. Mind uploading is the hypothetical future technology of transferring human minds to computer hardware using whole-brain emulation. After a brief review of the technological prospects for mind uploading, a range of philosophical and ethical aspects of the technology are reviewed. These include questions about whether uploads will have consciousness and whether uploading will preserve personal identity, as well as what impact on society a working uploading technology is likely to have and whether these impacts are desirable. The issue of whether we ought to move forwards towards uploading technology remains as unclear as ever.

• O. Häggström: Strategies for an unfriendly oracle AI with reset button, in Artificial Intelligence Safety and Security (ed. Roman Yampolskiy), CRC Press, to appear.

  Abstract. Developing a superintelligent AI might be very dangerous if it turns out to be unfriendly, in the sense of having goals and values that are not well-aligned with human values. One well-known idea for how to handle such danger is to keep the AI boxed in and unable to influence the world outside the box other than through a narrow and carefully controlled channel, until it has been deemed safe. Here we consider the special case, proposed by Toby Ord, of an oracle AI with reset button: an AI whose only available action is to answer yes/no questions from us and which is reset after every answer. Is there a way for the AI under such circumstances to smuggle out a dangerous message that might help it escape the box or otherwise influence the world for its unfriendly purposes? Some strategies are discussed, along with possible countermeasures by human safety administrators. In principle it may be doable for the AI, but whether it can be done in practice remains unclear, and depends on subtle issues concerning how the AI can conceal that it is giving us dishonest answers.

Litet efterspel till panelen i Bryssel

Sent i lördags eftermiddag (den 9 december) ökade plötsligt trafiken hit till bloggen kraftigt. Den kom mestadels från USA, och landade till större delen på min bloggpost The AI meeting in Brussels last week från förrförra månaden, så till den grad att bloggposten inom loppet av 24 timmar klättrade från typ ingenstans till tredje plats på all-time-high-listan över denna bloggs mest lästa inlägg (slagen endast av de gamla bloggposterna Quickologisk sannolikhetskalkyl och Om statistisk signifikans, epigenetik och de norrbottniska farmödrarna). Givetvis blev jag nyfiken på vad som kunde ha orsakat denna trafikökning, och fann snabbt en Facebookupdatering av den framstående AI-forskaren Yann LeCun vid New York University. LeCun länkar till min Bryssel-bloggpost, och har ett imponerande antal Facebook-följare, vilket förklarar trafikökningen.

Precis som sin AI-forskarkollega Peter Bentley och kognitionsforskaren Steven Pinker - vilka båda deltog i Bryssel-panelen - anser LeCun att alla farhågor om en eventuell framtida AI-apokalyps är obefogade. Hans imponerande meriter som AI-forskare väcker såklart förhoppningar (hos den som läser hans Facebookuppdatering) om att han skall presentera väsentligt bättre argument för denna ståndpunkt än dem som Pinker och Bentley levererade i Bryssel - förhoppningar som dock genast kommer på skam. LeCuns retoriska huvudnummer är följande bisarra jämförelse:

[F]ear mongering now about possible Terminator scenarios is a bit like saying in the mid 19th century that the automobile will destroy humanity because, although we might someday figure out how to build internal combustion engines, we have no idea how to build brakes and safety belts, and we should be very, very worried.

Vad som gör jämförelsen bisarr är att (åtminstone 1900-talets och dagens) bilar totalt saknar de självreproducerande och rekursivt självförbättrande egenskaper som en tillräckligt intelligent framtida AI enligt många bedömare kan väntas få, vilka är grunden för de potentiellt katstrofala intelligensexplosionsscenarier som diskuteras av bland andra Yudkowsky, Bostrom och Tegmark (liksom i min egen bok Here Be Dragons). Till skillnad mot i AI-scenarierna finns inget rimligt bilscenario där vår oförmåga att bygga fungerande bromsar skulle ta kål på mänskligheten (allt som skulle hända om det inte gick att få till en fungerande bromsteknologi vore att ingen skulle vilja köra bil och att biltillverkningen upphörde). Vad som krävs för att LeCuns jämförelse skall få minsta relevans är att han påvisar att fenomenet med en rekursivt självförbättrande AI inte kan bli verklighet, men han redovisar inte tillstymmelse till sådant argument.

LeCuns Facebookuppdatering bjuder också på en direkt självmotsägelse: han hävdar dels att "we have no idea of the basic principles of a purported human-level AI", dels att...

[t]he emergence of human-level AI will not be a singular event (as in many Hollywood scenarios). It will be progressive over many many years. I'd love to believe that there is a single principle and recipe for human-level AI (it would make my research program a lot easier). But the reality is always more complicated. Even if there is a small number of simple principles, it will take decades of work to actually reduce it to practice.

Här frågar sig naturligtvis den vakne läsaren: om nu LeCun har rätt i sitt första påstående, hur i hela glödheta h-e kan han då ha den kunskap han gör anspråk på i det andra? Det kan naturligtvis hända att han har rätt i att utvecklingen kommer att gå långsamt, men hans dogmatiska tvärsäkerhet är (i avsaknad av solida argument för att backa upp ståndpunkten) direkt omdömeslös.

Vad som gör LeCuns Facebookuppdatering den 9 december ännu mer beklämmande är att dess text är kopierad från en kommentar han skrev i en annan Facebooktråd redan den 30 oktober. Uppenbarligen tyckte han, trots att han haft mer än en månad på sig att begrunda saken, att hans slagfärdigheter var av tillräckligt värde för att förtjäna ytterligare spridning.

Diverse om AI

Idag har jag samlat några korta saker om AI (artificiell intelligens):

• Igår chockades schackvärlden av DeepMinds offentliggörande av programmet AlphaZero, som utan annan schacklig förkunskap än själva reglerna tränade upp sig själv inom loppet av timmar (men stor datorkraft) att uppnå spelstyrka nog att i en match om 100 partier besegra regerande datorvärldsmästaren Stockfish 28 (som i sin tur är överlägsen alla mänskliga stormästare) med utklassningssiffrorna 64-36 (28 vinster, 72 remier och 0 förluster). Här finns tio av partierna för genomspelning, och förutom AlphaZeros fabulösa taktiska och strategiska färdigheter kan man fascineras av att den på egen hand återupptäckt en rad av våra traditionella spelöppningar (inklusive långtgående varianter i Damindiskt, Spanskt och Franskt), något som måhända kan tas som intäkt i att vi inte varit totalt ute och cyklat i vår mänskligt utvecklade spelöppningsteori.

  Att ett nytt schackprogram är bättre än de tidigare har givetvis hänt förut och är inte i sig sensationellt; paradigmskiftet består i att programmet uppnått sin spelstyrka på egen hand från scratch. Det kan hända att schacksajten chess24.com har rätt i sin spekulation att "the era of computer chess engine programming also seems to be over". Det kan också hända att jag överreagerar på grund av den nära relation till just schack jag haft i decennier (det är kanske inte ens givet att det vi fick veta igår är ett större genombrott än DeepMinds motsvarande framsteg i Go tidigare i år), men händelsen får mig att överväga en omvärdering av hur snabbt AI-utvecklingen mer allmänt går idag. Eliezer Yudkowskys uppsats There’s No Fire Alarm for Artificial General Intelligence är värd att åtminstone skänka en tanke i detta sammanhang.

• Jag hade verkligen hoppats att aldrig mer behöva höra talas om de så kallade No Free Lunch-satserna - ett knippe triviala och på det hela taget oanvändbara matematiska observationer som genom flashig paketering kunnat få ett oförtjänt gott rykte och användas som retoriskt tillhygge av kreationister. Med min uppsats Intelligent design and the NFL theorems (samt den uppföljande rapporten Uniform distribution is a model assumption) för ett årtionde sedan hoppades jag ta död på detta rykte. Och sedan dess har det faktiskt varit lite tystare kring NFL - även om det är som bäst oklart i vad mån jag har del i äran av det. Men när nu ännu en AI-debattör av det slag som inte tror på superintelligens och därmed förknippad AI-risk och som är beredd att ta till precis vilka argument som helst för denna ståndpunkt (sådana debattörer plockar jag ned då och då här på bloggen) dykt upp, så borde jag måhända inte förvånas över att denne klämmer till med NFL-satserna i sin argumentation. Trams!

• Frågan om superintelligent AI och huruvida sådan är inom räckhåll för AI-forskningen (och i så fall i vilket tidsperspektiv) är mycket svår, och även kunniga och intelligenta personers intuitioner går kraftigt isär. I ett sådant läge är jag såklart inte opåverkad av vad forskare och tänkare jag räknar som av yttersta toppklass tänker om saken även då de inte har så mycket att tillföra i sak. Därför är det av intresse att datalogen Scott Aaronson nu meddelat en justering av sin syn på superintelligens och AI-risk (händelsevis i samma bloggpost som uppmärksammade mig på det i föregående punkt omtalade NFL-tramset). Så här skriver han:
  A decade ago, it was far from obvious that known methods like deep learning and reinforcement learning, merely run with much faster computers and on much bigger datasets, would work as spectacularly well as they’ve turned out to work, on such a wide variety of problems, including beating all humans at Go without needing to be trained on any human game. But now that we know these things, I think intellectual honesty requires updating on them. And indeed, when I talk to the AI researchers whose expertise I trust the most, many, though not all, have updated in the direction of “maybe we should start worrying.” (Related: Eliezer Yudkowsky’s There’s No Fire Alarm for Artificial General Intelligence.)

  Who knows how much of the human cognitive fortress might fall to a few more orders of magnitude in processing power? I don’t—not in the sense of “I basically know but am being coy,” but really in the sense of not knowing.

  To be clear, I still think that by far the most urgent challenges facing humanity are things like: resisting Trump and the other forces of authoritarianism, slowing down and responding to climate change and ocean acidification, preventing a nuclear war, preserving what’s left of Enlightenment norms. But I no longer put AI too far behind that other stuff. If civilization manages not to destroy itself over the next century—a huge “if”—I now think it’s plausible that we’ll eventually confront questions about intelligences greater than ours: do we want to create them? Can we even prevent their creation? If they arise, can we ensure that they’ll show us more regard than we show chimps? And while I don’t know how much we can say about such questions that’s useful, without way more experience with powerful AI than we have now, I’m glad that a few people are at least trying to say things.

• Som meddelades i en tidigare bloggpost så hade Stockholm besök förra månaden av två av vår tids vassaste och kanske viktigaste filosofer: Nick Bostrom och Daniel Dennett. I samband med marknadsföringen av de svenska översättningarna av deras respektive senaste böcker hade Fri Tankes förlagschef Christer Sturmark lyckat få till stånd ett seminarium med dem båda, under rubriken Medvetandets mysterium och tänkande maskiner. Jag var där, tillsammans med cirka 800 andra (en fantastisk siffra för ett filosofiseminarium!), och mina förväntningar var ganska höga. Framför allt hoppades jag att Dennett äntligen skulle pressas att ge solida argument för den ståndpunkt han ofta ventilerat men sällan eller aldrig motiverat: att det slags AI-risk (förknippad med uppkomsten av superintelligens) som Bostrom behandlar i sin bok inte är något att bry sig om.

  Så hur gick det? Vad tyckte jag om seminariet? Gav Dennett det slags besked jag hoppades på? Istället för att orda om detta här hänvisar jag till det poddsamtal som Sturmark och jag spelade in dagen efter seminariet, och som i hög grad kretsade kring vad Bostrom och Dennett hade talat om. Jag tror att vi fick till ett hyfsat givande samtal, så lyssna gärna på det! Men framför allt, tag gärna del av videoinspelningen av själva seminariet!

Från Bollstabruk till Hägersten

I Mats Jonssons nya serieroman Nya Norrland löper två historier parallellt, för att då och då mötas och knyta ihop boken till en fungerande helhet. Dels har vi historien om den ångermanländska bruksorten Bollstabruks uppgång och fall, dels har vi den om författarens egen tidstypiska kluvenhet mellan samma Bollstabruk i vilket han växte upp och det Stockholm där han hunnit tillbringa halva sitt liv. Båda historierna är påfallande nyansrika. Den första spänner över århundraden men har sitt främsta fokus på 1900-tal och i ännu högre grad nutid, och kan fungera utmärkt som ännu en fallstudie ihop med Po Tidholms briljanta och bredare Norrland: essäer och reportage. I den andra kommer självbiografikern Jonsson fram på nytt - det är just i den rollen som han tidigare gjort sig ett namn. Han tecknar inte vackert, men är en skicklig berättare och beskriver sitt liv med skoningslös (mot sig själv och andra) skaprsynthet. I den nya boken får man (frånsett några barndomsåterblickar) ta del av det skede i hans liv som kan beskrivas som modern medelklassig urban familjefarstillvaro. Livet i 2010-talets Hägersten med dess bostadsrättsföreningar och fria skolval framstår inte som lika dramatiskt som tidigare faser i Jonssons liv, men en viss lättnad är det faktiskt att få veta att han tagit sig dit och att han inte återfallit i det slags mestadels beklämmande kärlekshistorier som skildras i hans tidigare bok Hey Princess.

900 grader

Att vinkelsumman i en triangel är 180° känner de flesta till, och ganska många känner nog också till att det bara gäller i det euklidiska planet. I icke-euklidisk geometri (som exempelvis sfärisk) uppstår andra vinkelsummor.

I kaffepausen till en sannolikhetsteoriworkshop tidigare i höstas frågade matematikerkollegan Johan Wästlund mig om jag händelsevis någon gång tänkt på hur stor vinkelsumman som mest kan bli i sfärisk geometri. Det hade jag inte, men då jag blev klar över svaret frågade jag Johan om det möjligen skulle kunna gå att bädda in svaret i en ny text till någon gammal Ebba Grön-låt. Han tände direkt på idén, och återkom till mig några dagar senare med följande text:

Om du mäter en triangel så blir dess
vinkelsumma enligt Euklides
alltid samma, men om du kan kröka
på själva ytan, kan vinklarna öka!

Vi ryser i själen, det är så ballt,
vi snackar ett plan, som går ett varv
Ja, vi ryser i själen, det är så ballt,
vi snackar ett plan, som går ett varv

Det blir
Nio hundra grader
du kan lita på mig du kan lita på mig
Nio hundra grader
du kan lita på mig du kan lita på mig

Euklides hade fem axiom,
men sen kom det en astronom
och sa det femte det kan inte gälla,
där inga linjer är parallella

Vi ryser i själen, det är så ballt,
vi snackar ett plan, som går ett varv
Ja, vi ryser i själen, det är så ballt,
vi snackar ett plan, som går ett varv

Det blir
Nio hundra grader
du kan lita på mig du kan lita på mig
Nio hundra grader
du kan lita på mig du kan lita på mig

Jag ska förklara om du slutat tro
Triangelns hörn de har rendez-vous
på andra sidan, där sfären tar slut
upp-och-ner, och med insidan ut

Vi ryser i själen, det är så ballt,
vi snackar ett plan, som går ett varv
Ja, vi ryser i själen, det är så ballt,
vi snackar ett plan, som går ett varv

Det blir
Nio hundra grader
du kan lita på mig du kan lita på mig
Nio hundra grader
du kan lita på mig du kan lita på mig


Nio hundra grader...

Och nu har YouTube äntligen begåvats med en inspelning av denna sång! Det är jazzkvartetten Da Möbius band (bestående av matematikerna Mats Andersson, Samuel Bengmark, Torbjörn Lundh och Klas Richardsson) som står för det eminenta framförandet:

Killer robots and the meaning of sensationalism

When I give talks on AI (artificial intelligence) futurology, I usually point out autonomous weapons development as the most pressingly urgent problem we need to deal with. The open letter on autonomous weapons that I co-signed (among thousands of other scientists) in 2015 phrases the problem well, and I often quote the following passage:

If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.

Some of these points were made extremely vividly in a video (featuring Stuart Russell) released a couple of weeks ago by the Campaign to Stop Killer Robots. The video is very scary, but I encourage you to watch it nevertheless:

In an op-ed last Wednesday in The Guardian that has gained much attention, computer scientist Subbarao Kambhampati criticizes the video and the campaign. Kambhampati does have have some important points, in particular his main concern, which is that a UN ban on killer robots is unlikely to be successful. There is much to say about this, but here I'd just like to comment on a much narrower issue,¹ namely Kambhampati's use of the term sensationalism. He repeatedly calls the video sensationalist, and adds that it is "more an exercise at inflaming rather than informing public opinion". While it is true that the content of the video is sensational, the term sensationalism also signals the claim that the video's message is unwarranted, exaggerated and overblown. But it is not, or at least Kambhampati does not provide any evidence that it is; in fact, his main concern in the op-ed about the implausibility of a weapons ban being effective just adds to the plausibility of the nightmarish scenario depicted in the video becoming reality. The severe badness of a future scenario does not in itself warrant calling warnings about such a scenario sensationalism.² For that, one would need the scenario to be farfetched and improbable. Kambhampati's dichotomy between "inflaming" and "informing" is also unwarranted. The video is highly informative, and if the severe danger that it informs about makes people agitated, then that is as it should be.

Footnotes

1) I can't resist, however, commenting on one more thing about Kambhampati's op-ed, namely his full disclosure at the end, containing the passage "However, my research funding sources have no impact on my personal views". This, in my opinion, is almost synonymous to saying "I am incredibly naive, and I expect my readers to be so as well".

2) Thus, Kambhampati's use of the term sensationalism is analogous to how climate denialists have for a long term routinely used the term alarmism whenever results from climate science indicate that global warming may turn out to have severe conequences.

Nya framträdanden i radio och TV

På två dagar har jag nu hunnit medverka i två mediala direktsändningar, där jag fått tillfälle att prata om mänsklighetens famtid och lite av den forskning vi bedrev i det nyligen avslutade GoCAS-gätforskarprogrammet om existentiell risk. De går båda att ta del av i efterhand:

• Igår besökte jag Förmiddag i P4 Göteborg med Stefan Livh (som jag nästan blivit stamgäst hos), och vi pratade om hur framtiden med artificiell intelligens kan komma att te sig, med start cirka 1:34 in i ljudfilen fram till och med 1:54.
• I ett inslag i Aftonbladet/TV3 Morgon vid halv nio-tiden i morse gick jag (lite motvilligt) med på att rangdordna de fem största hoten mot mänskligheten.

I samtalet med Stefan Livh kom jag in på det seminarium i Stockholm med Nick Bostrom och Daniel Dennett som jag avsåg att besöka senare samma dag (vilket också skedde). Den som vill höra vad jag tyckte om seminariet får ge sig till tåls en smula, tills Fri Tanke förlag publicerar (troligen nästa vecka) det poddsamtal jag nyss hade med förlagschefen Christer Sturmark, ett samtal som kom att beröra både Bostrom-Dennett-seminariet och diverse relaterade frågeställningar kring medvetande, artificiell intelligens och existentiell risk.

Lidande - en filosofisk läslista

Häromveckan satt jag i en taxi i Bryssel tillsammans med kognitionsvetaren Steven Pinker och filosofen Thomas Metzinger. Vi kom in på frågan om huruvida det är glädjande att vi har medvetanden, eller om detta är något som mest bara för med sig en massa lidande. Att de flesta människor väljer att leva vidare snarare än att ta livet av sig kan peka mot att livet och våra medvetna upplevelser mestadels är något gott, men jag framhöll viss skepsis mot sådan argumentation, ty nog finns det evolutionsbiologiska skäl att anta att oavsett den faktiska hedoniska nivån (uttryckt exempelvis i proportionen välbefinnande kontra lidande) i våra liv, så hittar våra hjärnor ett sätt att få oss att tro att livet är värt att leva. Pinker invände genast att det förefaller omöjligt att missta sig på huruvida man mår bra eller lider, men Metzinger gjorde en ansats att försvara min tankegång. Tyvärr avbröts vi i det läget av att den korta taxiresan tog slut, men han (Metzinger alltså) hänvisade mig senare¹ till sin essä Suffering - en läsvärd filosofisk studie av fenomenet lidande, där vår svårighet att rätt bedöma den hedoniska nivån i våra liv är en av flera intressanta poänger som inskärps.

I det två månader långa och nyligen avslutade GoCAS-gästforskarprogrammet i Göteborg om existentiell risk talade vi en hel del om lidande. Det är lätt gjort inom existentiell risk-studier att oreflekterat betrakta mänsklighetens utplåning som det värsta som kan hända, men det kan finnas anledning att ifrågasätta den implicita premissen, till förmån för ståndpunkten att ett ännu värre utfall skulle kunna vara ett scenario där vi lyckas med en intergalaktisk rymdkolonisering men råkar fylla universum med astronomiska mängder svårt lidande. Triggad av diskussionerna i GoCAS-programmet, jämte den avbrutna taxidiskussionen i Bryssel, tänker jag här bjuda på en liten (och föga systematisk) läslista på temat lidande och hur vi bör se på det i moralfilosofiska termer. Inklusion av en text i listan betyder inte att jag ställer mig bakom dess ståndpunkter, utan bara att jag finner dem värda att reflektera över. Varsågoda!

• Först har vi som sagt Thomas Metzingers uppsats Suffering.
• En annan filosof, David Benatar, är känd för sin bok Better Never to Have Been: The Harm of Coming into Existence. Jag har (ännu) inte läst boken, men rekommenderar hans färska uppsats Having children is not life-affirming: it's immoral i vilken han argumenterar för den ytterst kontroversiella ståndpunkten att ett människoliv tenderar att föra med sig så mycket lidande att det helt enkelt är omoraliskt att skaffa barn. Följande passage i uppsatsen ansluter till ovan nämnda taxidiskussion:
  The suggestion that life is worse than most people think is often met with indignation. How dare I tell you how poor the quality of your life is! Surely the quality of your life is as good as it seems to you? Put another way, if your life feels as though it has more good than bad, how could you possibly be mistaken?

  It is curious that the same logic is rarely applied to those who are depressed or suicidal. In these cases, most optimists are inclined to think that subjective assessments can be mistaken. However, if the quality of life can be underestimated it can also be overestimated. Indeed, unless one collapses the distinction between how much good and bad one’s life actually contains and how much of each a person thinks it contains, it becomes clear that people can be mistaken about the former. Both overestimation and underestimation of life’s quality are possible, but empirical evidence of various cognitive biases, most importantly an optimism bias, suggests that overestimation is the more common error.

• En klassiker på Scott Alexanders formidabelt läsvärda blogg Slate Star Codex är bloggposten Meditations on Moloch, som bättre än något annat jag läst visar hur ofantligt svårt det är att skapa och i det långa loppet bevara ett gott samhälle (i betydelsen ett samhälle där invånarna upplever lycka och välbefinnande), och hur starka de evolutionära, ekonomiska och spelteoretiska krafter är som driver på i motsatt riktning. Detta understryker relevansen i framtidsscenarier med astronomiska mängder lidande.
• Negativ utilitarism (NU) är en moralfilosofisk inriktning som fokuserar på minimering av lidande (och mindre eller inte alls på förbättringar i den andra änden av den hedoniska skalan, ökandet av välbefinnande). Påverkad av Toby Ords eminenta uppsats Why I'm Not a Negative Utilitarian har jag tenderat att avfärda NU, men saken är möjligen inte fullt så enkel som jag tidigare tänkt, och Simon Knutssons kritik av Ord är värd att ta del av (se även Knutssons The World Destruction Argument).
• Relaterad till NU, men inte samma sak (genom att vara inte ett moralsystem utan snarare en teori om hur vi är funtade) är så kallad tranquilism; se Lukas Gloors uppsats om saken.

Notera slutligen att jag här helt har ignorerat skönlitteraturen, som givetvis har ofantligt mycket intressant att bjuda på i ämnet lidande.

Fotnot

1) Vilket skedde i samband med vårt seminarium i EU-parlamentet dagen efter.

On Tegmark's Life 3.0

I've just read Max Tegmark´s new book Life 3.0: Being Human in the Age of Artificial Intelligence.¹ My expectations were very high after his previous book Our Mathematical Universe, and yes, his new book is also good. In Tegmark's terminology, Life 1.0 is most of biological life, whose hardware and software are both evolved; Life 2.0 is us, whose hardware is mostly evolved but who mostly create our own software through culture and learning; and Life 3.0 is future machines who design their own software and hardware. The book is about what a breakthrough in artificial intelligence (AI) might entail for humanity - and for the rest of the universe. To a large extent it covers the same ground as Nick Bostrom's 2014 book Superintelligence, but with more emphasis on cosmological perspectives and on the problem of consciousness. Other than that, I found less novelty in Tegmark's book compared to Bostrom's than I had expected, but one difference is that while Bostrom's book is scholarly quite demanding, Tegmark's is more clearly directed to a broader audience, and in fact a very pleasant and easy read.

There is of course much I could comment upon in the book, but to keep this blog post short, let me zoom in on just one detail. The book's Figure 1.2 is a very nice diagram of ways to view the possibility of a future superhuman AI, with expected goodness of the consequences (utopia vs dystopia) on the x-axis, and expected time until its arrival on the y-axis. In his discussion of the various positions, Tegmark emphasizes that "virtually nobody" expects superhuman AI to arrive within the next few years. This is what pretty much everyone in the field - including myself - says. But I've been quietly wondering for some time what the actual evidence is for the claim that the required AI breakthrough will not happen in the next few years.² Almost simultaneously with reading Life 3.0, I read Eliezer Yudkowsky's very recent essay There’s No Fire Alarm for Artificial General Intelligence, which draws attention to the fact that all of the empirical evidence that is usually held forth in favor of the breakthrough not being imminent describes a general situation that can be expected to still hold at a time very close to the breakthrough.³ Hence the purported evidence is not very convincing.

Now, unless I misremember, Tegmark doesn't actually say in his book that he endorses the view that a breakthrough is unlikely to be imminent - he just says that this is the consensus view among AI futurologists. Perhaps this is not an accident? Perhaps he has noticed the lack of evidence for the position, but chooses not to advertise this? I can see good reasons to keep a low profile on this issue. First, when one discusses topics that may come across as weird (AI futurology clearly is such a topic), one may want to somehow signal sobriety - and saying that an AI breakthrough in the next few years is unlikely may serve as such a signal. Second, there is probably no use in creating panic, as solving the so-called Friendly AI problem seems unlikely to be doable in just a few years. Perhaps one can even make the case that these reasons ought to have compelled me not to write this blog post.

Footnotes

1) I read the Swedish translation, which I typically do not do with books written in English, but this time I happened to receive it as a birthday gift from the translators Helena Sjöstrand Svenn and Gösta Svenn. The translation struck me as highly competent.

2) An even more extreme version of this question is to ask what the evidence is that, in a version of Bostrom's (2014) notion of the treacherous turn, the superintelligent AI already exists and is merely biding its time. It was philosopher John Danaher, in his provocative 2015 paper Why AI doomsayers are like sceptical theists and why it matters, who brought attention to this matter; see my earlier blog post A disturbing parallel between AI futurology and religion.

3) Here is Yudkowsky's own summary of this evidence:

Why do we know that AGI is decades away? In popular articles penned by heads of AI research labs and the like, there are typically three prominent reasons given:

(A) The author does not know how to build AGI using present technology. The author does not know where to start.

(B) The author thinks it is really very hard to do the impressive things that modern AI technology does, they have to slave long hours over a hot GPU farm tweaking hyperparameters to get it done. They think that the public does not appreciate how hard it is to get anything done right now, and is panicking prematurely because the public thinks anyone can just fire up Tensorflow and build a robotic car.

(C) The author spends a lot of time interacting with AI systems and therefore is able to personally appreciate all the ways in which they are still stupid and lack common sense.

The AI meeting in Brussels last week

I owe my readers a report from the seminar entitled "Should we fear the future? Is it rational to be optimistic about artificial intelligence?" at the European Parliament's STOA (Science and Technology Options Assessment) committee in Brussels last Thursday. In my opinion, all things considered, the event turned out OK, and it was a pleasure to meet and debate with the event's main speaker Steven Pinker as well as with co-panelists Miles Brundage and Thomas Metzinger.¹ I'd just like to comment on Pinker's arguments for why we should not take seriously or publicly discuss the risk for an existential catastrophe caused by the emergence of superintelligent AGI (artificial general intelligence). His arguments essentially boil down to the follwing four points, which in my view fail to show what he intends.

1. The general public already has the nuclear threat and the climate threat to worry about, and bringing up yet another global risk may overwhelm people and cause them to simply give up on the future. There may be something to this speculation, but to evaluate the argument's merit we need to consider separately the two possibilities of
(a) apocalyptic AI risk being real, and

(b) apocalyptic AI risk being spurious.

In case of (b), of course we should not waste time and effort on discussing such risk, but we didn't need the overwhelming-the-public argument to understand that. Consider instead case (a). Here Pinker's recommendation is that we simply ignore a threat that may kill us all. This does not strike me as a good idea. Surviving the nuclear threat and solving the climate crisis would of course be wonderful things, but their utility is severely hampered in case it just leads us into an AI apocalypse. Keeping quiet about a real risk also seems to fly straight in the face of one of Pinker's most dearly held ideas, namely that of scientific and intellectual openness, and Enlightenment values more generally. The same thing applies to the situation where we are unsure whether (a) or (b) holds - surely the approach best in line with Enlightenment values is then to openly discuss the problem and to try to work out whether the risk is real.

2. Pinker held forth a bunch of concerns that seemed more or less copy-and-pasted from the standard climate denialism discourse. These included the observation that the Millennium bug did not cause global catastrophe, whence (or so the argument goes) a global catastrophe cannot be expected from a superintelligent AGI (analogously to the oft-repeated claim that the old Greek's fear that the skies would fall down turing out to be unfounded shows that greenhouse gas emissions cannot accelerate global warming in any dangerous way), and speculations about the hidden motives of those who discuss AI risk - they are probably just competing for status and research grants. This is not impressive. See also yesterday's blog post by my friend Björn Bengtsson for more on this; it is to him that I owe the (in retrospect obvious) parallel to climate denialism.

At this point, one may wonder why Pinker doesn't do the consistent thing, given these arguments, and join the climate denialism camp. He would probably respond that unlike AI risk, climate risk is backed up by solid scientific evidence. And indeed the two cases are different - the case for climate risk is considerably more solid - but the problem with Pinker's position is that he hasn't even bothered to find out what the science of AI risk says. This brings me to the next point.

3. All the apocalyptic AI scenarios involve the AI having bad goals, which leads Pinker to reflect on why in the world would anyone program the machine with bad goals - let's just not do that! This is essentially the idea of the so-called Friendly AI project (see Yudkowsky, 2008, or Bostrom, 2014), but what Pinker does not seem to appreciate is that the project is extremely difficult. He went on to ask why in the world anyone would be so stupid as to program self-preservation at all costs into the machine, and this in fact annoyed me slightly, because it happened just 20 or so minutes after I had sketched the Omohundro-Bostrom theory for how self-preservation and various other instrumental goals are likely to emerge spontaneously (i.e., without having them explicitly put into it by human programmers) in any sufficiently intelligent AGI.

4. In the debate, Pinker described (as he had done several times before) the superintelligent AGI in apocalyptic scenarios as having a typically male psychology, but pointed out that it can equally well turn out to have more female characteristics (things like compassion and motherhood), in which case everything will be all right. This is just another indication of how utterly unfamiliar he is with the literature on possible superintelligent psychologies. His male-female distinction in the general context of AGIs is just barely more relevant than the question of whether the next exoplanet we discover will turn out to be male or female.

In summary, I don't think that Pinker's arguments for why we should not talk about risks associated with an AI breakthrough hold water. On the contrary, I believe there's an extremely important discussion to be had on that topic, and I wish we had had time to delve a bit deeper into it in Brussels. Here is the video from the event.

(Or watch the video via this link, which may in some cases work better.)

Footnotes

1) My omission here of the third co-panelist Peter Bentley is on purpose; I did not enjoy his presence in the debate. In what appeared to be an attempt to compensate for the hollowness of his arguments,² he reverted to assholery on a level that I rarely encounter in seminars and panel discussions: he expressed as much disdain as he could for opposing views, he interrupted and stole as much microphone time as he could get away with, and he made faces while other panelists were speaking.

2) After spending a disproportionate amount of his allotted time on praising his own credentials, Bentley went on to defend the idea that we can be sure that a breakthrough leading to superintelligent AGI will not happen. For this, he had basically one single argument, namely his and other AI developers' experience that all progress in the area requires hard work, that any new algorithm they invent can only solve one specific problem, and that initial success of the algorithm is always followed by a point of diminishing returns. Hence (he stressed), solving another problem always requires the hard work of inventing and implementing yet another algorithm. This line of argument conveniently overlooks the known fact (exemplified by the software of the human brain) that there do exist algorithms with a more open-ended problem-solving capacity, and is essentially identical to item (B) in Eliezer Yudkowsky's eloquent summary, in his recent essay There is no fire alarm for artificial general intelligence, of the typical arguments held forth for the position that an AGI breakthrough is either impossible or lies far in the future. Quoting from Yudkowsky:

Why do we know that AGI is decades away? In popular articles penned by heads of AI research labs and the like, there are typically three prominent reasons given:

(A) The author does not know how to build AGI using present technology. The author does not know where to start.

(B) The author thinks it is really very hard to do the impressive things that modern AI technology does, they have to slave long hours over a hot GPU farm tweaking hyperparameters to get it done. They think that the public does not appreciate how hard it is to get anything done right now, and is panicking prematurely because the public thinks anyone can just fire up Tensorflow and build a robotic car.

(C) The author spends a lot of time interacting with AI systems and therefore is able to personally appreciate all the ways in which they are still stupid and lack common sense.

The inadequacy of these arguments lies in the observation that the same situation can be expected to hold five years prior to an AGI breakthrough, or one year, or... (as explained by Yudkowsky later in the same essay).

At this point a reader or two may perhaps be tempted to point out that if (A)-(C) are not considered sufficient evidence against a future superintelligence, then how in the world would one falsify such a thing, and doesn't this cast doubt on whether AI apocalyptic risk studies should count as scientific? I advise those readers to consult my earlier blog post Vulgopopperianism.

Fler ställen att läsa om vårt existentiell risk-program

Ingen någorlunda trogen läsare av denna blogg kan ha undvikit att notera det gästforskarprogram rubricerat Existential risk to humanity som för närvarande pågår på Chalmers och Göteborgs universitet. Vår särskilt inbjudne gästprofessor Anders Sandberg erbjuder på sin egen blogg den i mitt tycke allra bästa sammanfattningen av vad vi sysslar med i programmet, men jag gläds också åt den mediabevakning vi får. Jag har tidigare flaggat för inslag i DN, i P1 och i P4, och vill nu nämna ytterligare tre:

• forskning.se, 13 september 2017.
• ETC, 23 september 2017.
• GU-Journalen 4/2017 (s 25-26).

Videos from the existential risk workshop

The public workshop we held on September 7-8 as part of the ongoing GoCAS guest researcher program on existential risk exhibited many interesting talks. The talks were filmed, and we have now posted most of those videos on our own YouTube channel. They can of course be watched in any order, although to maximize the illusion of being present at the event, one might follow the list below, in which they appear in the same order as in the workshop. Enjoy!

• Anders Sandberg: Tipping points, uncertainty and systemic risks: what to do when the whole is worse than its parts?
• Karin Kuhlemann: Complexity, creeping normalcy, and conceit: Why certain catastrophic risks are sexier than others
• Phil Torres: Agential risks: Implications for existential risk reduction
• Karim Jebari: Resetting the tape of history
• Due to a technical mishap, we have no video for David Denkenberger's talk on Cost of non-sunlight dependent food for agricultural catastrophes. Try instead watching his talk Feeding everyone no matter what given at CSER in Cambridge last year, which covers much of the same ground.
• Thore Husfeldt: Plausibility and utility of apocalyptic AI scenarios
• Roman Yampolskiy: Artificial intelligence as an existential risk to humanity
• Stuart Armstrong: Practical methods to make safe AI
• Robin Hanson: Disasters in the Age of Em and after
• Katja Grace: Empirical evidence on the future of AI
• James Miller: Hints from the Fermi paradox for surviving existential risks
• Catherine Rhodes: International governance of existential risk
• Seth Baum: In search of the biggest risk reduction opportunities

Några datum att hålla ordning på i oktober

Det händer mycket denna månad. Här några datum jag personligen har lite extra anledning att hålla ordning på:

• Onsdag 4 oktober: Jag fyller 50.

• Torsdag 19 oktober: Jag besöker EU-parlamentet i Bryssel för att debattera med bland andra Steven Pinker om framtiden med artificiell intelligens och så kallad rationell optimism. Se bilden ovan (som är en detalj från mötets officiella poster) för en illustration av diskussionspanelens brist på mångfald.

• Tisdag 24 oktober: Dorna Behdadi och jag besöker Borås Kulturhus för att diskutera ungefär samma ämne - framtiden med artificiell intelligens - fast denna gång klokt nog utan någon på förhand stipulerad slogan om var på skalan optimism/pessimism man bör lägga sig.

Ytterligare radioinslag om existentiell risk-programmet

Dagen efter att P1:s Vetandets värld sänt sitt 20-minutersreportage om vårt gästforskarprogram vid Chalmers och Göteborgs universitet om existentiella risker mot mänskligheten, så har två av landets lokalradiostationer passat på att prata med några av oss forskare i programmet:

• Morgon i P4 Västernorrland valde att prata med Karim Jebari. Inslaget, som sträcker sig från 2.37.50 in i programmet till 2.58.55 och som tack vare Karims eminenta överblick över området blev ytterst kunskapsspäckat, strukturerades kring ett förslag till topp fem-lista över existentiella risker.
• Förmiddag i P4 Göteborg med Stefan Livh tog istället ett snack med Anders Sandberg och mig, med start 1.34.25 in i programmet och fram till 1.58.00. Samtalet fick inte samma tydliga struktur som det P4 Västernorrland hade med Karim, men blev glatt och någorlunda informativt.

P1:s Vetandets värld om vårt gästforskarprogram om existentiell risk

Dagens avsnitt av P1:s Vetandets värld handlar om det tvärvetenskapliga gästforskarprogram på Chalmers och Göteborgs universitet med rubriken Existential Risk to Humanity som jag är med och driver. Jag kommer själv till tals några gånger i programmet, jämte gästforskarna Anders Sandberg, Phil Torres, Karin Kuhlemann och Thore Husfeldt. Ratta in P1 klockan 12:10 idag, eller lyssna på webben!

Michael Shermer fails in his attempt to argue that AI is not an existential threat

Why Artificial Intelligence is Not an Existential Threat is an aticle by leading science writer Michael Shermer¹ in the recent issue 2/2017 of his journal Skeptic (mostly behind paywall). How I wish he had a good case for the claim contained in the title! But alas, the arguments he provides are weak, bordering on pure silliness. Shermer is certainly not the first high-profile figure to react to the theory of AI (artificial intelligence) existential risk, as developed by Eliezer Yudkowsky, Nick Bostrom and others, with an intuitive feeling that it cannot possibly be right, and the (slightly megalomaniacal) sense of being able to refute the theory, single-handedly and with very moderate intellectual effort. Previous such attempts, by Steven Pinker and by John Searle, were exposed as mistaken in my book Here Be Dragons, and the purpose of the present blog post is to do the analogous thing to Shermer's arguments.

The first half of Shermer's article is a not-very-deep-but-reasonably-competent summary of some of the main ideas of why an AI breakthrough might be an existential risk to humanity. He cites the leading thinkers of the field: Eliezer Yudkowsky, Nick Bostrom and Stuart Russell, along with famous endorsements from Elon Musk, Stephen Hawking, Bill Gates and Sam Harris.

The second half, where Shermer sets out to refute the idea of AI as an existential threat to humanity, is where things go off rails pretty much immediately. Let me point out three bad mistakes in his reasoning. The main one is (1), while (2) and (3) are included mainly as additional illustrations of the sloppiness of Shermer's thinking.

(1) Shermer states that
most AI doomsday prophecies are grounded in the false analogy between human nature and computer nature,
whose falsehood lies in the fact that humans have emotions, while computers do not. It is highly doubtful whether there is a useful sense of the term emotion for which a claim like that holds generally, and in any case Shermer mangles the reasoning behind Paperclip Armageddon - an example that he discusses earlier in his article. If the superintelligent AI programmed to maximize the production of paperclips decides to wipe out humanity, it does this because it has calculated that wiping out humanity is an efficient step towards paperclip maximization. Whether to ascribe to the AI doing so an emotion like aggression seems like an unimportant (for the present purpose) matter of definition. In any case, there is nothing fundamentally impossible or mysterious in an AI taking such a step. The error in Shermer's claim that it takes aggression to wipe out humanity and that an AI cannot experience aggression is easiest to see if we apply his argument to a simpler device such as a heat-seeking missile. Typically for such a missile, if it finds something warm (such as an enemy vehicle) up ahead slightly to the left, then it will steer slightly to the left. But by Shermer's account, such steering cannot happen, because it requires aggression on the part of the heat-seeking missile, and a heat-seeking missile obviously cannot experience aggression, so wee need not worry about heat-seeking missiles (any more than we need to worry about a paperclip maximizer).²

(2) Citing a famous passage by Pinker, Shermer writes:

As Steven Pinker wrote in his answer to the 2015 Edge Question on what to think about machines that think, "AI dystopias project a parochial alpha-male psychology onto the concept of intelligence. They assume that superhumanly intelligent robots would develop goals like deposing their masters or taking over the world." It is equally possible, Pinker suggests, that "artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no desire to annihilate innocents or dominate the civilization." So the fear that computers will become emotionally evil are unfounded [...].
Even if we accepted Pinker's analysis,³ Shermer's conclusion is utterly unreasonable, based as it is on the following faulty logic: If a dangerous scenario A is discussed, and we can give a scenario B that is "equally possible", then we have shown that A will not happen.

(3) In his eagerness to establish that a dangerous AI breakthrough is unlikely and therefore not worth taking seriously, Shermer holds forth that work on AI safety is underway and will save us if the need should arise, citing the recent paper by Orseau and Armstrong as an example, but overlooking that it is because such AI risk is taken seriously that such work comes about.

Footnotes

1) Michael Shermer founded The Skeptics Society and serves as editor-in-chief of its journal Skeptic. He has enjoyed a strong standing in American skeptic and new atheist circuits, but his reputation may well have passed its zenith, perhaps less due to his current streak of writings showing poor judgement (besides the article discussed in the present blog post, there is, e.g., his wildly overblown endorsement of the so-called conceptual penis hoax) than to some highly disturbing stuff about him that surfaced a few years ago.

2) See p 125-126 of Here Be Dragons for my attempt to explain almost the same point using an example that interpolates between the complexity of a heat-seeking missile and that of a paperclip maximizer, namely a chess program.

3) We shouldn't. See p 117 of Here Be Dragons for a demonstration of the error in Pinker's reasoning - a demonstration that I (provoked by further such hogwash by Pinker) repeated in a 2016 blogpost.

Thente och de två kulturerna

Sedan minst fem år tillbaka har jag retat mig på DN-skribenten Jonas Thentes benägenhet att se ned på kunskap inom det för honom så främmande matematisk-naturvetenskapliga ämnesfältet; han personifierar det kunskapsläge och den inställning som C.P. Snow ondgjorde sig över redan 1959 i sin klassiska De två kulturerna. Följande passage i en DN-artikel av Thente för ett par veckor sedan gjorde inget för att milda mitt sinne.

Det är såklart sant att det finns många människor som inte intresserar sig för skönlitteratur, men det skulle förvåna mig väldeliga om denna egenhet skulle visa sig korrelera positivt med naturvetenskaplig bildning eller dito yrkesval. Om Thente vill hävda något sådant borde han belägga det med statistik. Tills han gör det kommer jag att fortsätta betrakta den här sortens utfall som fördomsfullt hittepå och physics envy.

Ulf Danielsson svarar Thente i dagens DN, och framhåller det önskvärda i att ta del av båda de kulturer Snow åsyftar, och att låta dem korsbefruktas i huvudet. Därmed är han inne på Snows linje, och jag kan bara instämma.

Om existentiell risk i dagens DN

I DN denna söndagsmorgon bjuds på en stort uppslagen intervju med Anders Sandberg och mig om de olika existentiella hot mot mänsklighetens överlevnad som föreligger, och om det tvåmånaders gästforskarprogram om saken som vi precis dragit igång på Chalmers och Göteborgs universitet. Artikeln finns även elektroniskt, dock bakom betalvägg.

Kom gärna på programmets officiella invigning i morgon måndag klockan 17.30!

(Obs klockslaget, 17.30 - inte 18.30 som jag tidigare felaktigt skrev.)

I morgon börjar det

I morgon börjar det gästforskarprogram vid Chalmers och Göteborgs universitet med rubriken Existential risk to humanity som jag arrangerar. Läs gärna det pressmeddelande om programmet som Chalmers idag gått ut med!

Och missa inte vare sig

• programmets officiella öppning på måndag där vår särskilt inbjudne gästprofessor Anders Sandberg håller en populärvetenskaplig föreläsning över ämnet "Existential risk: how threatened is humanity?", eller
• workshopen på torsdag-fredag i nästa vecka, där både Anders och ett dussin andra spjutspetsforskare på området delar med sig av sina preliminära synpunkter på vilka risker mänskligheten står inför och vad vi kan göra åt dem.

Bör konsumenter undanhållas information om konsumtionens miljöpåverkan?

Den fråga jag ställer i bloggpostrubriken kan förefalla löjlig, och jag kan verkligen förstå den läsare som inte kan föreställa sig att någon faktiskt skulle besvara den jakande. Men det är exakt vad Expressen-skribenten Naomi Abramowicz gjorde i en krönika häromdagen. Jag rekommenderar inte läsning av krönikan, som är så urbota dum att man som läsare riskerar drabbas av hjärnblödning, men här är dess budskap i kort sammanfattning:

Det är skittråkigt att som konsument få reda på vilken miljöpåverken ens konsumtion har. Därför bör denna miljöpåverkan hemlighållas.

Den som verkligen böjer sig bakåt för att försvara Abramowicz kan måhända peka på att hon ju egentligen inte motsätter sig informationen, utan bara vill ha budskapet mer positivt paketerat: hellre morot än piska, och berätta inte om nackdelen med att köra SUV och semestra i Thailand utan hellre om fördelen med att avstå! Well, bästa Naomi Abramowicz, du har inte lyssnat ordentligt, för fördelen ligger i öppen dager: du besparar miljön och vår planet ett stycke skadlig miljöpåverkan! Och om du underkänner denna fördel för att den inte tillfaller dig personligen, så blir jag tyvärr tvungen att stämpla dig som en primitiv och antisocial egoist.

Det absoluta lågvattenmärket i Abramowicz krönika nås i följande sandlådemässiga passage:

Det ständiga predikandet kan väcka en sorts trotsighet. Nu ska jag köra min bil till mataffären, bara för att jag kan! Ha, där fick du! Jag tillhör själv gruppen som, nästan på pin kiv, lockas att göra tvärtom bara för att trotsa de gröna glädjedödarna.

Själv lockas jag att illustrera Abramowicz förhållningssätt med följande fabel, och den läsare som vill försöka sig på det omöjliga kan prova att antingen (a) försvara Abramowicz agerande i fabeln, eller (b) finna någon relevant disanalogi mellan fabeln och den inställning hon torgför i Expressen.

Abramowicz (A) står och slår, för sitt eget höga nöjes skull, med piska på en åsna (Å) som visar tydliga tecken på smärta. En djurvän (D) kommer förbi.

D: Men vad gör du, människa?

A: Va?

D: Du står och slår på åsnan - ser du inte hur illa du gör den?

A: Skit i det du! Och om du nu trots allt behöver ta upp saken, var inte så negativ, utan berätta istället vad som vore vunnet på att jag slutar piska åsnan!

D: Åsnan skulle slippa lida!

A: Meh, pucko, jag skiter väl i åsnan, berätta nu vad JAG skulle tjäna på det!

D: Snälla, kan du inte bara sluta piska åsnan?

A, slåendes ännu hårdare: Ser du nu hur det går när du kommer och neggar på det där viset? Jag blir så förbannad!

Å: Aaaaaaaaaaaj...

Bostroms bok nu på svenska

Min entusiasm då jag 2014 recenserade Nick Bostroms då nyutkomna Superintelligence: Paths, Dangers, Strategies kan illustreras med hur jag avslutade recensionen med bedömningen att boken...

may turn out the most important alarm bell since Rachel Carson's Silent Spring from 1962, or ever.

Därtill hade jag så mycket att säga om boken att det räckte till en lång rad bloggposter utöver själva recensionen, och man kan lugnt konstatera att bortsett från mitt skamlöst envetna propagerande för min egen bok Here Be Dragons så finns ingen annan bok som jag ägnat så mycket uppmärksamhet här på bloggen som Superintelligence. Och jag står fast vid min bedömning att den är viktig.

Nu finns Bostroms bok i svensk översättning med titeln Superintelligens: Vägar, faror, strategier, och jag har nyss fått hem ett exemplar. Jag kan utan större överdrift berömma mig om att behärska bokens argumentation i stort sett utan och innan, och jag vill därför inte lägga tid på att läsa den svenska utgåvan, men jag har gjort några lite slumpartade nedslag i den och finner översättningen vara tillfyllest. I den mån det finns en läsekrets av personer som bryr sig om mänsklighetens framtid, som är beredda att följa tankegångar en bit utanför mainstreamdiskursens snäva box, och som föredrar att läsa på svenska framför engelska, så är detta en värdefull utgivning.

Om empati och kärnvapen

Titeln på den amerikanske psykologen Paul Blooms senaste bok Against Empathy provocerar, men det är en läsvärd och intressant bok, med en beaktansvärd huvudpoäng som jag tangerat i en tidigare bloggpost: vår empatiska förmåga begränsar sig till inkännande med en eller några få personer åt gången, vilket skapar en bias för just dessa personer - en bias som ofta leder till dåliga beslut när olika intressen behöver vägas mot varandra. Bloom förespråkar en mer rationellt kalkylerande medkänsla. Den unge skotske filosofen William MacAskill är i sin bok Doing Good Better: How Effective Altruism Can Help You Make a Difference (som är ännu bättre än Blooms!) inne på en liknande linje, men han lägger mindre kraft på själva psykologin och mer på att ge råd och anvisningar om vilka beslut som faktiskt är kloka. (Båda dessa utmärkta böcker kom jag att läsa tack vare författarnas medverkan i varsitt avsnitt av Sam Harris podcast Waking Up.)

Blooms betoning av empatins negativa sidor är förståelig med tanke på hur ensidigt empatin prisats genom åren, men frågan är om den mörka bild av empatin han därmed tecknar är riktigt rättvis. Här är ett klassiskt förslag (som känns extra aktuellt just nu med den pågående besinningslösa upptrappningen i retoriken mellan Norkoreas juvenile ledare Kim Jong-Un och USA:s dito Donald Trump) av den amerikanske juridikprofessorn Roger Fisher om hur empatin skulle kunna användas för att åstadkomma bättre beslut i internationella storkonflikter.

Jag gillar Fishers förslag, dock med reservation för att det kanske inte fungerar just i fallet då USA:s president heter Donald Trump.

Om Auschwitz och Almedalen

Jag har läst en rad bra böcker i sommar, och en av de bästa är Göran Rosenbergs Ett kort uppehåll på vägen från Auschwitz från 2012. Boken är hans gripande och skakande porträtt av fadern David Rosenberg, Auschwitz-överlevare som såg ut att vara på väg att bygga ett gott liv i det svenska folkhemmet, men som till slut inte orkade. Jag skall inte försöka mig på någon recension, utan nöjer mig med att rekommendera boken å det varmaste och hänvisa till Jens Liljestrands anmälan i DN när boken var ny.

Den avgörande vikten (inte minst i dessa politiskt turbulenta och osäkra tider) av att minnas historien påpekade jag i förra månaden, och särskilt viktigt är att vi inte glömmer Förintelsens och nazismens fasor. Att nazismen har anhängare än idag är en fruktansvärd anomali och inte något vi bör vänja oss vid. Det slags normalisering och bagatellisering som Johan Hakelius torgför i en raljant krönika i Expressen i samband med årets Almedalsvecka finner jag särskilt motbjudande. Lite småputtrigt skojfriskt sådär berättar han om hur han inte lyckades träffa på några nazister i Almedalen, och uttrycker sin besvikelse över detta med orden "Jag får aldrig vara med om något spännande". Well, inte allt som är "spännande" är därmed önskvärt, som Margit Silberstein framhåller i sitt välformulerade och läsvärda svar i DN idag, där pellejönsen Hakelius åker på en rejäl uppläxning. Tvärtemot vad Hakelius verkar anse så är inte allt här i livet trams - vissa saker är djupt allvarliga.

Workshop reminder

This is just a reminder of the (previously annonced) Workshop on existential risk to humanity that takes place on September 7-8, here at Chalmers and the University of Gothenburg, with some of the world's leading researchers in the growing and very important cross-disciplinary field of existential risk. The workshop is open to the general public, but note that the registration deadline (August 16) is approaching quickly.

The workshop is part of a longer guest researcher program on the same topic; see the interview with Anders Sandberg (who will serve as the program's invited GoCAS Distinguished Chair) and myself about the contents of the program. The official opening of the program takes place on September 4 at 17.30, with an overview talk by Anders on Existential risk: how threatened is humanity.

Nationalekonomi i ringen

Jag är lite för gammal för att vara något stort fan av hiphop, eller ens för att ha klart för mig exakt vad det är. Fast musiken i nedanstående riktigt lysande allmänbildande video om meningsskiljaktigheterna mellan två av 1900-talets nationalekonomiska giganter, John Maynard Keynes och Friedrich Hayek, kan väl kanske räknas till genren? (Videon är i själva verket del 2 i det som beskrivs som Keynes och Hayeks rap battle; här är del ett.)

Medryckande! Och fast min instinkt är att heja på Keynes, så är det nästan så att mina sympatier svänger över till Hayek när diskussionerna kommer in på krig och krigsindustri några minuter in i videon. Denna upplevelse, tillsammans med de snygga boxningsscenerna, får mig att associera till (den, precis som Keynes och Hayek ovan, fiktivt gestaltade) Michail Gorbatjovs omsvängning i slutscenen till Rocky IV.

Om synen på universitet

Väldigt mycket blir bättre här i världen, och min grundinställning är att om vi (mänskligheten) sköter våra kort rätt så väntar oss en blomstrande framtid. Likväl drabbas jag ibland av stunder då bekymren ter sig svårövervinnerliga. Det kan t.ex. handla om vissa av de katastrofscenarier jag diskuterar i min senaste bok Here Be Dragons, eller (allt oftare de senaste två åren) om vad som händer i politiken (Putin, Trump, Berxit etc). Men det är inte ofta en nyhet så till den grad fyller mig med pessimism som den nyligen rapporterade opinionsundersökning som anger att...

58% av amerikaner med sympatier för Republikanska partiet anser att college och universitet totalt sett är negativa för landets utveckling.

Hur påverkar man ett sådant opinionsläge? Hjälper det överhuvudtaget att tala förstånd med en folkopinion som verkar ha kastat allt vad förstånd och rationalitet vill heta överbord?¹ Och vad skall vi annars göra?

Fotnot

1) Timothy Snyder skriver i sin bok On Tyranny: Twenty Lessons from the Twentieth Century (som jag nyligen utnämnde till obligatorisk läsning) om Victor Klemperers beskrivning av auktoritarianismens nedmontering av sanning och rationalitet i fyra moder. Efter att ha gått igenom de två första (det oförblommerade förnekandet av verifierbar verklighet, respektive det hypnotiska upprepandet av fraser som "Crooked Hillary" och "Build that wall") redogör han på s 67-69 för de två sista:

The next mode is magical thinking, or the open embrace of contradiction. The president's campaign involved the promises of cutting taxes for everyone, eliminating the national debt, and increasing spending on both social policy and national defense. These promises mutually contradict. It is as if a farmer said he was taking an egg from the henhouse, boiling it whole and serving it to his wife, and also poaching it and serving it to his children, and then returning it to the hen unbroken, and then watching as the chick hatches.

Accepting untruth of this radical kind requires a blatant abandonment of reason. Klemperer's descriptions of losing friends in Germany in 1933 over the issue of magical thinking ring eerily true today. One of his former students implored him to "abandon yourself to your feelings, and you must always focus on the Führer's greatness, rather than on the discomfort you are feeling at present". Twelve years later, after all the atrocities, and at the end of a war that Germany had clearly lost, an amputated soldier told Klemperer that Hitler "has never lied yet. I believe in Hitler".

The final mode is misplaced faith. It involves the sort of self-deifying claims the president made when he said that "I alone can solve it" and "I am your voice". When faith decends from heaven to earth in this way, no room remains for the small truths of our individual discernment and experience. What terrified Klemperer was the way that this transition seemed permanent. Once truth had become oracular rather than factual, evidence was irrelevant. At the end of the war a worker told Klemperer that "understanding is useless, you have to have faith. I believe in the Führer".

Väldigt dystert alltsammans, men Snyder påminner oss om att framtiden inte är ristad i sten, och att vi genom att göra motstånd kan hejda tyranniets framväxt.

Som hastigast i P1:s Studio Ett

Med anledning av Elon Musks senaste utspel om hur artificiell intelligens (AI) kan utgöra ett hot mot mänskligheten sände Sveriges Radios Studio Ett idag ett knappt tolv minuter långt inslag om saken, med start cirka 1:18:45 in i programmet. Medverkade i inslaget gjorde jag och AI-forskaren Fredrik Heintz, som jag faktiskt uppträtt tillsammans med i P1 en gång tidigare.

En del blev sagt om behovet av att beakta säkerhet och risker, men inslaget hade kunnat bli betydligt bättre om programmakarna varit mer professionella såväl redaktionellt (diskussionen framstod som tämligen ostrukturerad och oförberedd från deras sida) som tekniskt (programteknikerna avböjde mitt förslag om att i förväg prova de olika möjligheter till uppkoppling jag har här ute i den obygd där jag just nu råkar befinna mig, ett beslut som fick uppenbara konsekvenser i programinslaget). Dessutom tycker jag att Fredrik avslutade det hela snudd på ovärdigt genom att reducera perspektivet på denna viktiga och för mänskligheten kanske avgörande fråga från det globala till ett snävt nationellt övervägande om att Sverige behöver skärpa sig för att hänga med i utvecklingen. Jag får trösta mig med att programledaren i alla fall gjorde lite relkam för min bok Here Be Dragons.

Required reading: Timothy Snyder

President Trump's encouragement of violence against media he perceives as oppositional, which took place on Twitter last week, is just one of his many many steps on the slippery slope towards authoritarianism and fascism. These steps by him and his administration urgently need to be resisted. I know of no better guide to such resistance than the American historian Timothy Snyder's marvelous little book On Tyranny: Twenty Lessons from the Twentieth Century.¹ The book contains exactly what the title says, thus drawing heavily on experiences from the twentieth century. It is generally considered bad manners to compare contemporary phenomena to counterparts in Nazi Germany, but I dont't think this particular code of polite behavior should be carried too far, as there are important parallels to be drawn between, e.g., Donald Trump and Adolf Hitler - parallels that we need to understand. Snyder does not shy away from this. His book is organized in the following twenty concrete lessons.

1. Do not obey in advance.
2. Defend institutions.
3. Beware the one-party state.
4. Take responsibility for the face of the world.
5. Remember professional ethics.
6. Be wary of paramilitaries.
7. Be reflective if you must be armed.
8. Stand out.
9. Be kind to our language.
10. Believe in truth.
11. Investigate.
12. Make eye contact and small talk.
13. Practice corporeal politics.
14. Establish a private life.
15. Contribute to good causes.
16. Learn from peers in other countries.
17. Listen for dangerous words.
18. Be calm when the unthinkable arrives.
19. Be a patriot.
20. Be as corageous as you can.

Each lesson begins with three to five sentences summarizing its take-home message, such as the following in Lesson 1:

Most of the power of authoritarianism is freely given. In times like these, individuals think ahead about what a more repressive government will want, and then offer themselves without being asked. A citizen who adapts in this way is teaching power what it can do.

Then follows just a few pages elaborating and giving historical examples, and then on to the next lesson. The entire book is just 126 sparsely typeset pages, and can easily be read in an hour or two, but deserves to be read again and - for someone who's a slow learner like myself - yet again. I warmly recommend it - no, I insist you should read it. Doing so and learning Snyder's lessons is, at the current moment, most urgent for Americans, but Europeans (and others) should do the same, because we are not immune to the development that is currently most visible in the United States. One day in the not-so-distant future, we may plausibly see a Marine Le Pen as president of France, and a Geert Wilders and a Jimmie Åkesson as prime ministers of the Netherlands and Sweden, respectively. Hungary is already there, and Poland is well on its way. When a government with an authoritarian inclination comes into power, we are in a better position to resist it the more prepared we are, and reading Snyder is one of the best ways to prepare.

I also recommend the May 29 episode of Sam Harris' podcast, where Harris interviews Snyder about the book. Some 26 minutes into the episode, Snyder emphasizes the pivotal role of Lesson 1:

[This lesson] is number 1 for a bunch of reasons. [...] It is at the core of what historians understand about authoritarian regime changes: Nazi Germany in particular but also in general. Namely, that at the very beginning, whether it's the takeover in Germany itself or it's the Anschluss in Austria, [...] authoritarian leaders require consent. This is a really important thought, because when we think of authoritarians, we then think of villains and then we think of super-villains, then we think of super-powers, we imagine these guys in uniforms who can stride across the stage of history and do whatever they want. And maybe towards the end, something like that is true, but at the beginning it's not. At the beginning, interestingly, people will in a sense have more power than they do normally, because they have the power to resist. The problem is that we don't usually realize that. [...] We tend to [...] look for the new true north and align [our compasses] with that. We follow along; we drift. Most of the time that's appropriate, but sometimes it's an absolute disaster.

See Lesson 1 in Snyder's book for a scholarly historical perspective on this, and for the remaining 19 lessons. If you are at all literate, if you care at all for liberal democracy, and if you can spare just a few bucks, then you have no excuse for not getting the book. Order it now. And then read it. Just do it.

Footnote

1) Also very much reading is Snyder's 2012 book with Tony Judt: Thinking the Twentieth Century. More than once in the last couple of years, I've found myself wishing that Tony Judt were still around to help us navigate these difficult times. Alas, he isn't, but Timothy Snyder is among his best replacements.