'Oumuamua-mysteriet

Är vi ensamma, eller finns det andra civilisationer där ute bland stjärnorna? Den frågan hör till de största vi kan ställa oss, och som om den inte vore spännande nog i sig har den en praktisk sida, då svaret kan ha stora konsekvenser för mänsklighetens framtidsutsikter. Detta sista tydliggörs med den så kallade The Great Filter-formalismen, som i korthet utgår från observationen att från kanske 10²² (ge eller ta en tiopotens eller två) potentiellt livgivande planeter i det synliga universum så verkar det som om inte en enda har utvecklat en teknologisk supercivilisation av sådana dimensioner att den är synlig för astronomer var som helst i sagda universum, och konstaterar att någonstans på vägen från potentiellt livgivande planet till supercivilisation finns en flaskhals (eller flera) som är extremt svår att passera. Har vi (mänskligheten) passerat denna flaskhals, eller ligger den ännu framför oss? Om detta har jag skrivit här på bloggen, i Kapitel 9 i min senaste bok Here Be Dragons, och i en artikel i International Journal of Astrobiology tillsammans med Chalmerskollegan Vilhelm Verendel häromåret.

Ett problem för den som vill göra framsteg på det här området är bristen på direkta data, utöver den ensamma datapunkt som den stora tystnaden därute utgör, och det ständigt ökande antalet upptäckta exoplaneter som backar upp uppskattningar som den ovan om antalet potentiellt livgivande planeter därute. (Indirekta data om hur allmänt gästvänligt vårt universum är för härbärgerande av liv finns det mer gott om, och skall inte fnysas åt. Ämnet astrobiologi sysslar med sådant.)

Men när det plötsligt dyker upp något som är en helt ny och möjligen relevant datatpunkt, så förtjänar det vårt intresse. Som stenbumlingen (eller vad det nu är) 'Oumuamua.

'Oumuamua upptäcktes den 19 oktober 2017, och det kunde snabbt rekonstrueras att den 40 dagar tidigare passerat sitt preihelium i närheten av Merkurius omloppsbana (och några äldre fotografier där 'Oumuamua dittills obemärkt figurerat kunde rotas fram till stöd för det). Det väntade hade varit att notera den som ännu en asteroid eller komet. Sådana rör sig (med vanligtvis god precision) i elliptiska banor runt solen. Hur avlång ellipsen är beskrivs matematiskt av dess excentricitet e mellan 0 och 1, där e=0 svarar mot en perfekt cirkel, och banan blir alltmer avlång ju mer e närmar sig 1. Problemet med 'Oumuamua är att dess e-värde uppmättes till cirka 1.2, vilket innebär att banan inte är elliptisk utan hyperbolisk, vilket i sin tur tyder på att 'Oumuamua blott är en gäst (den första och hittills enda vi observerat) i vårt solsystem, alltså ett objekt som kommit inramlandes från den interstellära rymden.

Allt detta är spännande nog, men det finns mer att säga om 'Oumuamua med potential att kittla vår fantasi:

• Den är ovanligt avlång. Dess dimensioner är behäftade med osäkerhet, men den bästa uppskattningen pekar på en längd på 230 meter och bredd resepektive tjocklek på 35 meter vardera. Även om den ovanliga formen kan få den fantasifulle att associera till Clarkeska monoliter, så är det inte i sig tillräckligt för att vi på allvar skall börja fundera på om 'Oumuamua är ett artificiellt föremål från en utomjordisk civilisation, men det kommer mer:
• Robin Hanson (mannen bakom The Great Filter) påpekade samma höst att av interstellära objekt av 'Oumuamuas storlek som når tillräckligt långt in i vårt solsystem för att vi skall väntas observera dem, så träffar 'Oumuamua närmare Solen än 99% kan väntas göra, förutsatt att det inte suttit någon därute och avsiktligt siktat nära Solen. Källhänvisningen för denna sifferuppgift är inte klockren, men om vi ändå antar att den är riktig så har vi alltså ett p-värde på 0.01. Jag har i andra sammanhang framhållit att p-värden i den storleksordningen inte är fullt så imponerande som många tycks tro, och det gäller givetvis i än högre grad då nollhypotesen som i detta fall formulerats efter att man sett data. När alternativhypotesen är av så spektakulär natur som i detta fall - att någon avsiktligt skickat 'Oumuamua till vårt solsystem - är anledningen till skepsis ännu större, men jag kan inte se att det skulle vara något allvarligt fel att låta siffran inspirera oss att fundera vidare över den hypotesen. Och det kommer ännu mer:
• I en artikel i Nature tidigare i år påvisades att 'Oumuamua bana uppvisat avvikelser (med överväldigande statistisk signifikans) från vad gravitationsteorin förutsäger. En naturlig förklaring till en sådan avvikelse vore om 'Oumuamua likt en komet uppvisade avdunstning från ytan till följd av den infallande solstrålningen. Ett rykande (no pun intended) aktuellt preprint av astrofysikerna Shmuel Bialy och Abraham Loeb, och en kommentar till denna av Paul Gilster, hävdar dock att kometteorin inte håller. Istället föreslås solvind som en förklaring, vilket dock kräver att 'Oumuamua har så liten massa att den blott kan vara ett lövtunt skal (högst cirka 0.3 mm). Vad som kan skapa ett sådant objekt vet vi inte, men Bialy och Loeb föreslår att "one possibility is a lightsail floating in interstellar space as debris from an advanced technological equipment".

Och Gilster bjuder på andra överslagsräkningar som ytterligare förstärker intrycket att det är något skumt med 'Oumuamua.

Givet sin blygsamma storlek är 'Oumuamua nu bortom räckhåll för våra teleskop, men jag anser att gåtan om dess beskaffenhet och ursprung är tillräckligt angelägen för att vi inte skall låta en sådan detalj knäcka oss. Gilster hävdar visserligen att "it’s too late to get a mission off to chase it with chemical rockets", men det torde i så fall finnas andra tekniska lösningar. Till vilken kostnad det går att göra vet jag inte, men om det skulle gå att rymma inom en budget på säg 100 miljarder kronor (som två Large Hadron Colliders, typ) så tycker jag utan tvekan att vi skall försöka. Jag håller fortfarande för troligast att 'Oumuamua har naturligt ursprung, men tillräckligt mycket fog finns idag för spekulationer om motsatsen för att en närmare undersökning skall ha väldigt hög prioritet.

Edit: Knappt har jag tryckt på knappen för att publicera denna bloggpost förrän jag nås av tips om ett preprint av Andreas Hein et al med detaljer om hur den rymdexpedition jag efterfrågar i sista stycket skulle kunna genomföras.

Paul Christiano has just climbed to the top of my to-read list

The 80,000 Hours Podcast (run by the nonprofit organization 80,000 Hours, which offers career advice to young people guided by the principles of effective altruism) seems generally to be an incredibly good resource for learning about some of the most important yet underappreciated issues confronting humanity today. Its host Robert Wiblin (Director of Research at 80,000 hours) does the interviews extremely competently, having typically done some serious homework on the topics that come up.

Still, the amazing recent 3 hours and 52 minutes long episode with computer scientist Paul Christiano stands out. Despite its length, I found every minute of the episode highly worthwile and informative, and it convinces me that Christiano does some of today's most important, creative and cutting-edge work on AI alignment and AI safety. Highly recommended! One of my top near-term priorities right now is to become more closely acquainted with, e.g., his work on prosaic AI alignment, on iterated distillation and amplification, on "AI safety via debate", and on the possibility of unaligned yet morally valuable AI. And as a bonus, and mostly just for pleasure, I am about to read his Eight unusual science fiction plots.

I P4 igen, om statistik och våra felkalibrerade hjärnor

Idag den 17 oktober har jag varit tillbaka hos Stefan Livh i P4 Göteborg igen. Diskussionen denna gång handlade om våra felkalibrerade hjärnor, om behovet av rigorösa statistiska metoder inom vetenskapen, om avståndet mellan Mölnlycke och Åmål, och lite grand på slutet om den kritik jag riktat här på bloggen mot Göran Lambertz angående dennes hemmagjorda sannolikhetskalkyl. Cirka 1:08:53 in i sändningen börjar vårt samtal, och det håller på (inklusive diverse avbrott för musik och nyheter) fram till cirka 1:42:15.

Litet snack i P4 om sociala medier, chatbots och AI

Igår medverkade jag åter¹ i radioprogrammet Förmiddag i P4 Göteborg för ett längre samtal med programledaren Stefan Livh. Denna gång behandlade vi ett knippe brännande frågor kring smartphones, sociala medier, chatbots och artificiell intelligens, samt vad dessa teknologier kan föra med sig för våra liv idag och i framtiden. Vårt samtal börjar cirka 1:03:54 in i sändningen och avrundas kring 1:37:55, i samband med att de drar igång den önskelåt jag beviljats med hänvisning till att det råkade vara min födelsedag.² Lyssna här!

Fotnoter

1) Det här var femte gången. De fyra tidigare samtalen ägde rum 22 februari 2016, 2 mars 2016, 21 september 2017 och 13 november 2017.

2) Härutöver omtalades jag också i lite småprat mellan Stefan Livh och programmets producet Per Dahlberg efter önskelåten.

My paper on the Omohundro—Bostrom framework for AI goals and motivations

My latest paper on artificial intelligence, Challenges to the Omohundro—Bostrom framework for AI motivations, has been accepted for publication in the journal Foresight. From the introduction:

The present paper is concerned with scenarios where AI development has succeeded in creating a machine that is superintelligent, in the sense of vastly outperforming humans across the full range of cognitive skills that we associate with intelligence, including prediction, planning and the elusive quality we speak of as creativity. [...]

While important, [...] matters of timing and suddenness of AI development will mostly be abstracted away in the present paper, in order to focus on issues about what happens next, once a superintelligent machine has been created. A widely accepted thesis in contemporary AI futurology is that we humans can then no longer expect to be in control of our own destiny, which will instead be up to the machine. [...]

This leads to the crucial issue of what the superintelligent machine will want – what will it be motivated to do? The question is extraordinarily difficult and any answer at present is bound to come with a high degree of uncertainty – to a large extent due to our limited understanding of how a superintelligent machine might function, but also because the answer may depend on what we choose to do during the development stage, up to the point when we lose control. [...]

So our inexperience with superintelligence puts us in a situation where any reasoning about such a machine’s goals and motivations need to be speculative to a large degree. Yet, we are not totally in the dark, and the discussion need not be totally speculative and ungrounded. The main (and pretty much only) theoretical framework available today for grounding our reasoning on this topic is what in an earlier publication I decided to call the Omohundro—Bostrom theory on instrumental vs final AI goals [...]. The two cornerstones of the theory are what Bostrom (2012) dubbed the Orthogonality Thesis (OT) and the Instrumental Convergence Thesis (ICT), which together give nontrivial and (at least seemingly) useful predictions – not about what will happen, but about what might plausibly happen under various circumstances. The OT and the ICT are, however, not precise and definite on the level that mathematical theorems can be: they are not written in stone, and they have elements of vagueness and tentativeness. The purpose of the present paper is to discuss some reasons to doubt the two theses – not with the intent of demonstrating that they are wrong or useless, but mostly to underline that further work is needed to evaluate their validity and range of applicability.

Read the entire paper here.

Blunda inte!

Blunda inte! Eller som jag uttrycker saken i min essä Blunda inte för riskerna med artificiell intelligens, publicerad idag den 27 september i Dagens Arena:

AI-utvecklingen har potential inte bara att göra världen bättre, utan också att göra den sämre, och i värsta fall orsaka katastrof. Jag ser därför framför mig ett abstrakt landskap av möjliga framtida AI-framsteg, där det bland guld och gröna skogar även finns blindskär och livsfarliga minor (för att nu ohämmat blanda metaforer). Den anda av att vi snabbast möjligt bör göra så stora teknikframsteg som möjligt, vilken präglade såväl det Chalmersmöte jag här berättat om som den mesta annan AI-diskussion vi ser i dag, är liktydig med att blint rusa rakt fram i detta minfält, eller att köra bil med gasen i botten och ögonen enbart på hastighetsmätaren utan en tanke på vilka hinder och andra farligheter som kan finnas där ute.

Detta duger inte. Vi behöver ta några djupa andetag och fundera över vilken slags framtid vi vill att AI-utvecklingen ska bidra till, vilka riskerna är, och hur vi bör agera för att skörda de största frukterna där ute samtidigt som vi undviker de farligaste minorna.

Läs hela essän här! Och för den händelse någon hellre lyssnar än läser, så kan jag tipsa om att jag i mitt föredrag Artificiell intelligens - hot eller möjlighet på Högskolan Dalarna den 12 september täckte in ungefär samma material som i essän:

An essential collection on AI safety and security

The xxix+443-page book Artificial Intelligence Safety and Security, edited by Roman Yampolskiy, has been out for a month or two. Among its 28 independent chapters (plus Yamploskiy's introduction), which have a total of 47 different authors, the first 11 (under the joint heading Concerns of Luminaries) have previously been published, with publication years ranging from 2000 to 2017, while the remaining 17 (dubbed Responses of Scholars) are new. As will be clear below, I have a vested interest in the book, so the reader may want to take my words with a grain of salt when I predict that it will quickly become widely accepted as essential reading in the rapidly expanding and increasingly important fields of AI futurology, AI risk and AI safety; nevertheless, that is what I think. I haven't yet read every single chapter in detail, but have seen enough to confidently assert that while the quality of the chapters is admittedly uneven, the book still offers an amazing amount of key insights and high-quality expositions. For a more systematic account by someone who has read all the chapters, see Michaël Trazzi's book review at Less Wrong.

Most of the texts in the Concerns of Luminaries part of the book are modern classics, and six of them were in fact closely familiar to me even before I had opened the book: Bill Joy's early alarm call Why the future doesn't need us, Ray Kurzweil's The deeply intertwined promise and peril of GNR (from his 2005 book The Singularity is Near), Steve Omohundro's The basic AI drives, Nick Bostrom's and Eliezer Yudkowsky's The ethics of artificial intelligence, Max Tegmark's Friendly artificial intelligence: the physics challenge, and Nick Bostrom's Strategic implications of openness in AI development. (Moreover, the papers by Omohundro and Tegmark provided two of the cornerstones for the arguments in Section 4.5 (The goals of a superintelligent machine) of my 2016 book Here Be Dragons.) Among those that I hadn't previously read, I was struck most of all by the urgent need to handle the near-term nexus of risks connecting AI, chatbots and fake news, outlined in Matt Chessen's The MADCOM future: how artificial intelligence will enhance computational propaganda, reprogram human cultrure, and threaten democracy... and what can be done about it.

The contributions in Responses of Scholars offer an even broader range of perspectives. Somewhat self-centeredly, let me just mention that three of the most interesting chapters were discussed in detail by the authors at the GoCAS guest researcher program on existential risk to humanity organized by Anders Sandberg and myself at Chalmers and the University of Gothenburg in September-October last year: James Miller's A rationally addicted artificial superintelligence, Kaj Sotala's Disjunctive scenarios of catastrophic AI risk, and Phil Torres' provocative and challenging Superintelligence and the future of governance: on prioritizing the control problem at the end of history. Also, there's my own chapter on Strategies for an unfriendly oracle AI with reset button. And much more.