I P4 igen, om statistik och våra felkalibrerade hjärnor

Idag den 17 oktober har jag varit tillbaka hos Stefan Livh i P4 Göteborg igen. Diskussionen denna gång handlade om våra felkalibrerade hjärnor, om behovet av rigorösa statistiska metoder inom vetenskapen, om avståndet mellan Mölnlycke och Åmål, och lite grand på slutet om den kritik jag riktat här på bloggen mot Göran Lambertz angående dennes hemmagjorda sannolikhetskalkyl. Cirka 1:08:53 in i sändningen börjar vårt samtal, och det håller på (inklusive diverse avbrott för musik och nyheter) fram till cirka 1:42:15.

Litet snack i P4 om sociala medier, chatbots och AI

Igår medverkade jag åter¹ i radioprogrammet Förmiddag i P4 Göteborg för ett längre samtal med programledaren Stefan Livh. Denna gång behandlade vi ett knippe brännande frågor kring smartphones, sociala medier, chatbots och artificiell intelligens, samt vad dessa teknologier kan föra med sig för våra liv idag och i framtiden. Vårt samtal börjar cirka 1:03:54 in i sändningen och avrundas kring 1:37:55, i samband med att de drar igång den önskelåt jag beviljats med hänvisning till att det råkade vara min födelsedag.² Lyssna här!

Fotnoter

1) Det här var femte gången. De fyra tidigare samtalen ägde rum 22 februari 2016, 2 mars 2016, 21 september 2017 och 13 november 2017.

2) Härutöver omtalades jag också i lite småprat mellan Stefan Livh och programmets producet Per Dahlberg efter önskelåten.

My paper on the Omohundro—Bostrom framework for AI goals and motivations

My latest paper on artificial intelligence, Challenges to the Omohundro—Bostrom framework for AI motivations, has been accepted for publication in the journal Foresight. From the introduction:

The present paper is concerned with scenarios where AI development has succeeded in creating a machine that is superintelligent, in the sense of vastly outperforming humans across the full range of cognitive skills that we associate with intelligence, including prediction, planning and the elusive quality we speak of as creativity. [...]

While important, [...] matters of timing and suddenness of AI development will mostly be abstracted away in the present paper, in order to focus on issues about what happens next, once a superintelligent machine has been created. A widely accepted thesis in contemporary AI futurology is that we humans can then no longer expect to be in control of our own destiny, which will instead be up to the machine. [...]

This leads to the crucial issue of what the superintelligent machine will want – what will it be motivated to do? The question is extraordinarily difficult and any answer at present is bound to come with a high degree of uncertainty – to a large extent due to our limited understanding of how a superintelligent machine might function, but also because the answer may depend on what we choose to do during the development stage, up to the point when we lose control. [...]

So our inexperience with superintelligence puts us in a situation where any reasoning about such a machine’s goals and motivations need to be speculative to a large degree. Yet, we are not totally in the dark, and the discussion need not be totally speculative and ungrounded. The main (and pretty much only) theoretical framework available today for grounding our reasoning on this topic is what in an earlier publication I decided to call the Omohundro—Bostrom theory on instrumental vs final AI goals [...]. The two cornerstones of the theory are what Bostrom (2012) dubbed the Orthogonality Thesis (OT) and the Instrumental Convergence Thesis (ICT), which together give nontrivial and (at least seemingly) useful predictions – not about what will happen, but about what might plausibly happen under various circumstances. The OT and the ICT are, however, not precise and definite on the level that mathematical theorems can be: they are not written in stone, and they have elements of vagueness and tentativeness. The purpose of the present paper is to discuss some reasons to doubt the two theses – not with the intent of demonstrating that they are wrong or useless, but mostly to underline that further work is needed to evaluate their validity and range of applicability.

Read the entire paper here.

Blunda inte!

Blunda inte! Eller som jag uttrycker saken i min essä Blunda inte för riskerna med artificiell intelligens, publicerad idag den 27 september i Dagens Arena:

AI-utvecklingen har potential inte bara att göra världen bättre, utan också att göra den sämre, och i värsta fall orsaka katastrof. Jag ser därför framför mig ett abstrakt landskap av möjliga framtida AI-framsteg, där det bland guld och gröna skogar även finns blindskär och livsfarliga minor (för att nu ohämmat blanda metaforer). Den anda av att vi snabbast möjligt bör göra så stora teknikframsteg som möjligt, vilken präglade såväl det Chalmersmöte jag här berättat om som den mesta annan AI-diskussion vi ser i dag, är liktydig med att blint rusa rakt fram i detta minfält, eller att köra bil med gasen i botten och ögonen enbart på hastighetsmätaren utan en tanke på vilka hinder och andra farligheter som kan finnas där ute.

Detta duger inte. Vi behöver ta några djupa andetag och fundera över vilken slags framtid vi vill att AI-utvecklingen ska bidra till, vilka riskerna är, och hur vi bör agera för att skörda de största frukterna där ute samtidigt som vi undviker de farligaste minorna.

Läs hela essän här! Och för den händelse någon hellre lyssnar än läser, så kan jag tipsa om att jag i mitt föredrag Artificiell intelligens - hot eller möjlighet på Högskolan Dalarna den 12 september täckte in ungefär samma material som i essän:

An essential collection on AI safety and security

The xxix+443-page book Artificial Intelligence Safety and Security, edited by Roman Yampolskiy, has been out for a month or two. Among its 28 independent chapters (plus Yamploskiy's introduction), which have a total of 47 different authors, the first 11 (under the joint heading Concerns of Luminaries) have previously been published, with publication years ranging from 2000 to 2017, while the remaining 17 (dubbed Responses of Scholars) are new. As will be clear below, I have a vested interest in the book, so the reader may want to take my words with a grain of salt when I predict that it will quickly become widely accepted as essential reading in the rapidly expanding and increasingly important fields of AI futurology, AI risk and AI safety; nevertheless, that is what I think. I haven't yet read every single chapter in detail, but have seen enough to confidently assert that while the quality of the chapters is admittedly uneven, the book still offers an amazing amount of key insights and high-quality expositions. For a more systematic account by someone who has read all the chapters, see Michaël Trazzi's book review at Less Wrong.

Most of the texts in the Concerns of Luminaries part of the book are modern classics, and six of them were in fact closely familiar to me even before I had opened the book: Bill Joy's early alarm call Why the future doesn't need us, Ray Kurzweil's The deeply intertwined promise and peril of GNR (from his 2005 book The Singularity is Near), Steve Omohundro's The basic AI drives, Nick Bostrom's and Eliezer Yudkowsky's The ethics of artificial intelligence, Max Tegmark's Friendly artificial intelligence: the physics challenge, and Nick Bostrom's Strategic implications of openness in AI development. (Moreover, the papers by Omohundro and Tegmark provided two of the cornerstones for the arguments in Section 4.5 (The goals of a superintelligent machine) of my 2016 book Here Be Dragons.) Among those that I hadn't previously read, I was struck most of all by the urgent need to handle the near-term nexus of risks connecting AI, chatbots and fake news, outlined in Matt Chessen's The MADCOM future: how artificial intelligence will enhance computational propaganda, reprogram human cultrure, and threaten democracy... and what can be done about it.

The contributions in Responses of Scholars offer an even broader range of perspectives. Somewhat self-centeredly, let me just mention that three of the most interesting chapters were discussed in detail by the authors at the GoCAS guest researcher program on existential risk to humanity organized by Anders Sandberg and myself at Chalmers and the University of Gothenburg in September-October last year: James Miller's A rationally addicted artificial superintelligence, Kaj Sotala's Disjunctive scenarios of catastrophic AI risk, and Phil Torres' provocative and challenging Superintelligence and the future of governance: on prioritizing the control problem at the end of history. Also, there's my own chapter on Strategies for an unfriendly oracle AI with reset button. And much more.

Snyder on Putin and the threats to freedom and democracy

Earlier this year, I enthusiastically reviewed (in Swedish) Daniel Ellsberg's important book The Doomsday Machine: Confessions of a Nuclear War Planner. Based on unique inside information, Ellsberg makes such an overwhelming case that the nuclear balance of terror between the United States and the USSR/Russia has been (and still is) even more dangerous than most of us have realized, and that disarmament is the only sensible way forward, that one begins to wonder how anyone could possibly oppose disarmament. Well, for the sake of balance (no pun intended!), let me offer the best counterpoint I've seen, given to the world through the actions of Vladimir Putin, and reluctantly put into words by Timothy Snyder in his most recent book The Road to Unfreedom: Russia, Europe, America as follows:

[The Russian invasion of Crimea in 2014] violates basic consensual principles of international law, the United Nations Charter, every treaty signed between independent Ukraine and independent Russia, as well as a number of assurances that Russia has offered Ukraine about the protection of its frontiers. One of these was the Budapest Memorandum of 1994, in which the Russian Federation (along with the United Kingdom and the United States) had guaranteed Ukranian borders when Ukraine agreed to give up all nuclear weapons. In what was perhaps the greatest act of nuclear disarmament in history, Ukraine handed over some 1,300 intercontinental ballistic missiles. By invading a country that had engaged in complete nuclear disarmament, Russia offered the world the lesson that nuclear arms should be pursued. [p 142]

The Road to Unfreedom is Snyder's follow-up to his marvelous little book On Tyranny from 2017. His new book is very different but just as important. It offers a detailed history of Vladimir Putin's misdeeds in the 2010's, his multifaceted fight against democracy at home, in Europe and in the United States, his war on Ukraine, and his successful effort to install in the White House a person who for all practical purposes can be regarded as his puppet.¹ Solid sources are provided throughout, and the events are skillfully integrated into a highly readable narrative, including the necessary background on Stalin's, Brezhnev's and Gorbachev's Soviet Union and on Yeltsin's Russia, as well as on the fascist thinkers (mainly Ivan Ilyin) whom Putin has chosen as his and his country's pet philosophers to support his aggressive geopolitical views. The Road to Unfreedom is essential reading for anyone who wants to understand current events in Russia and in the West.

Let me add something to my Swedish compatriots who will go to the election polls on Sunday (September 9). One of the main lessons from Snyder's book is that Putin aspires to destabilize Europe and ultimately to dissolve the European Union, so as to make it easier for him to attain dominance over Eurasia. There is no end to the cynical things he will do to this end, including bombing Syria to fuel the refugee crisis. His other main tool to the same end is to support right-wing and EU-skeptical populist parties across Europe, for instance using his troll factories. If you vote for Sverigedemokraterna on Sunday, you play right into Putin's hands.

Footnote

1) This is convincingly argued in the book despite it being published several months prior to Putin's and Trump's July 2018 press conference in Helsinki, where Trump's puppet status was made overwhelmingly clear to anyone who cared to look.

Demokrati är fundamentalt - är alla med på det?

Nästa söndag, den 9 september, går vi till valurnorna i Sverige. Då gäller det att hålla ordning på fundamentala värden. Specifikt vill jag rekommendera röstandet på ett parti som inte slirar när det gäller att bevarandet av vår demokrati är så grundläggande att det går före alla andra frågor.

Hur avgör man om ett parti har den rätta demokratiska ryggraden? Jag tror att en bra proxy för det är huruvida partiledaren har detsamma, och för att avgöra vilka av partiledarna för våra åtta riksdagspartier som besitter sådan ryggrad vill jag mena att följande enkla tankeexperiment ger god ledning:

• Skulle Moderaternas partiledare Ulf Kristersson ställa sig bakom uttalandet "Sänkt skatt är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Det behöver vi inte undra över, svaret är tveklöst ja.
• Skulle Kristdemokraternas partiledare Ebba Busch Thor ställa sig bakom uttalandet "Hårdare straff för vålds- och sexbrott är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Tvivelsutan skulle hon det.
• Skulle Liberalernas partiledare Jan Björklund ställa sig bakom uttalandet "Höjda lärarlöner är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Självklart.
• Skulle Centerns partiledare Annie Lööf ställa sig bakom uttalandet "Levande landsbygd är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Det skulle hon såklart.
• Skulle Socialdemokraternas partiledare Stefan Löfven ställa sig bakom uttalandet "Schyssta villkor och löner i arbetslivet är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Det kan vi känna oss förvissade om.
• Skulle Miljöpartiets båda språkrör Gustav Fridolin och Isabella Lövin ställa sig bakom uttalandet "Omställning till förnyelsebara energikällor är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Självklart skulle båda två göra det.
• Skulle Vänsterpartiets partiledare Jonas Sjöstedt ställa sig bakom uttalandet "Sex timmars arbetsdag är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Givetvis.

Så här långt är utfallet något enahanda, men låt oss gå vidare till det åttonde partiet i Sveriges riksdag.

• Skulle Sverigedemokraternas partiledare Jimmie Åkesson ställa sig bakom uttalandet "Stoppad invandring är förvisso viktigt. Ett ännu mer grundläggande ideal för oss är emellertid bevarandet av demokratin, och med det skulle vi aldrig kompromissa"? Nja, inför en sådan jämförelse mellan partiets hjärtefråga och bevarandet av demokratin skulle han antagligen börja slira. Svärmorsdrömmen Åkesson är vanligtvis skicklig på att låta mer städad och rumsren än mer brutala sd-företrädare som Kenth Ekeroth, Linus Bylund och Björn Söder, men häromdagen avslöjade han sin bristande demokratiska ryggrad genom att vägra välja mellan Emmanuel Macron och Vladimir Putin. Han och hans parti är helt enkelt inte att lita på när det gäller att stå upp för demokratin.