Johan Norberg is dead wrong about AI risk

I kind of like Johan Norberg. He is a smart guy, and while I do not always agree with his techno-optimism and his (related) faith in the ability of the free market to sort everything out for the best, I think he adds a valuable perspective to public debate.

However, like the rest of us, he is not an expert on everything. Knowing when one's knowledge on a topic is insufficient to provide enlightenment and when it is better to leave the talking to others can be difficult (trust me on this), and Norberg sometimes fails in this respect. As in the recent one minute and 43 seconds episode of his YouTube series Dead Wrong® in which he comments on the futurology of artificial intelligence (AI). Here he is just... dead wrong:

No more than 10 seconds into the video, Norberg incorrectly cites, in a ridiculing voice, Elon Musk as saying that "superintelligent robots [...] will think of us as rivals, and then they will kill us, to take over the planet". But Musk does not make such a claim: all he says is that unless we proceed with suitable caution, there's a risk that something like this may happen.

Norberg's attempt at immediate refutation - "perhaps super machines will just leave the planet the moment they get conscious [and] might as well leave the human race intact as a large-scale experiment in biological evolution" - is therefore just an invalid piece of strawmanning. Even if Norberg's alternative scenario were shown to be possible, that is not sufficient to establish that there's no risk of a robot apocalypse.

It gets worse. Norberg says that

even if we invented super machines, why would they want to take over the world? It just so happens that intelligence in one species, homo sapiens, is the result of natural selection, which is a competitive process involving rivalry and domination. But a system that is designed to be intelligent wouldn't have any kind of motivation like that.

Dead wrong, Mr Norberg! Of course we do not know for sure what motivations a superintelligent machine will have, but the best available theory we currently have for this matter - the Omohundro-Bostrom theory for instrumental vs final AI goals - says that just this sort of behavior can be predicted to arise from instrumental goals, pretty much no matter what the machine's final goal is. See, e.g., Bostrom's paper The superintelligent will, his book Superintelligence, my book Here Be Dragons or my recent paper Challenges to the Omohundro-Bostrom Framework for AI Motivations. Regardless of whether the final goal is to produce paperclips or to maximize the amount of hedonic well-being in the universe, or something else entirely, there are a number instrumental goals that the machine can be expected to adopt for purpose of promoting that goal: self-preservation (do not let them pull the plug on you!), self-improvement, and acquisition of hardware and other resources. There are other such convergent instrumental goals, but these in particular point in the direction of the kind of rivalrous and dominant behavior that Norberg claims a designed machine wouldn't exhibit.

Norberg cites Steven Pinker here, but Pinker is just as ignorant as Norberg of serious AI futurology. It just so happens that when I encountered Pinker in a panel discussion last year, he made the very same dead wrong argument as Norberg now does in his video - just minutes after I had explained to him the crucial parts of Omohundro-Bostrom theory needed to see just how wrong the argument is. I am sure Norberg can rise above that level of ineducability, and that now that I am pointing out the existence of serious work on AI motivations he will read at least some of references given above. Since he seems to be under the influence of Pinker's latest book Enlightenment Now, I strongly recommend that he also reads Phil Torres' detailed critique of that book's chapter on existential threats - a critique that demonstrates how jam-packed the chapter is with bad scholarship, silly misunderstandings and outright falsehoods.

Videofilmad i lärdomsstaden

Gårdagens Debatt i Lund (som jag annonserade i mina två föregående bloggposter) med Andreas Ekström (moderator), Anna Felländer, Thore Husfeldt, Alfred Ruth och mig på temat "Hur smart är konstgjord intelligens?" videofilmades och kan ses nedan. Det timslånga samtalet kretsade kring den artificiella intelligensens framtid, och blev bitvis intressant, men jag känner (liksom gissningsvis två av de andra panelisterna) att jag gott kunde ha tagit för mig lite mer. Kanske nästa gång - i Stockholm på torsdag.

Förhandssnack inför AI-debatten i Lund på torsdag

Det har varit lite förhandssnack här och var inför den AI-debatt i Lund på torsdag kl 20.00 som jag annonserade i min förra bloggpost.

• Med en av mina medpanelister på torsdag, datalogen Thore Husfeldt, har jag de senaste åren haft långa och givande diskussioner om AI-framtid, och trots att vi i vissa centrala frågor förbivit djupt oeniga har vi nu samlat oss till en gemensam artikel i dagens Sydsvenska Dagbladet med rubriken Om frihet är målet behövs en plan för hur ett samhälle utan arbete ska organiseras.¹

• Med anledning av paneldebatten kontaktades jag i slutet av förra veckan av Sveriges främsta schacknyhetssajt Inte bara schack och av Sveriges näst främsta schacknyhetssajt schack.se,² något som resulterade i bloggposter på båda ställena, rubricerade Paneldiskussioner i Lund och Stockholm respektive Efter Alpha Zero – ska vi vara rädda för AI.³

Fotnoter

1) Jag tar tillfället i akt att visa den kärleksfulla nidbild av mig som Thore, med anspelning på min bok Here Be Dragons, ritade i samband med min bemärkelsedag förra året.

2) Det är inte ofta som schacksverige uppmärksammar mina framträdanden, så att båda dessa sajter kom att göra det denna gång får mig att höja på ögonbrynet. En tillfällighet? Eller räcker den schackrelaterade bild som arrangörerna i Lund använt sig av i annonseringen som förklaring? Jag tror inte att redaktörerna på Inte bara schack och schack.se samarbetar, men det skulle kunna finnas en tredje part - någon AI-intresserad schackspelare någonstans i landet - som tipsat båda, och som därmed utgör den gemensamma nämnaren. Kan det rentav vara så att någon läsare av denna blogg sitter på information som kan stilla min nyfikenhet?

3) Vad gäller den sistnämnda vill jag en gnutta skamset framhålla att den inte är den bästa intervju jag givit. Jag svarade på frågorna via epost och hade ont om tid, och antog lite förhastat att det skulle komma följdfrågor. Jag borde åtminstone ha utvecklat att par av de mer korthuggna svaren. "Den potential AI har att berika samhällsekonomin och våra liv är enorm, men det gäller även riskerna" hade helt klart varit ett bättre och mer balanserat svar än "Riskerna är enorma" på frågan om huruvida vi bör vara rädda för AI.⁴ Och vad gäller jämförelsen mellan ett schackprogram och en robotiserad kassörska kunde jag exempelvis ha farmhållit att medan schackprogrammet har en välavgränsad spelplan, väldefinierade regler och en klockrent specificerad målfunktion så är allt detta ofantligt mycket mer komplicerat och oklart för en snabbköpskassörska, som behöver vara kapabel att hantera inte bara standardsituationer som att kvittorullen tar slut eller att kundens kreditkort visar sig ogiltigt, utan även en miljard andra situationer, som 6-åringen som gråter över att ha tappat bort sin förälder någonstans i den stora affären, pensionären som insisterar på att det stått i tidningen att grönkålen kostar 19:90, och fyllot som vomerar på varubandet eller som ställd inför upplysningen att endast personaltoalett finns svarar med att hota att urinera i lösgodiset.

4) Strängt taget tillför väl inte det längre svaret någon information som läsaren inte kan väntas redan känna till, men det handlar här mer om social signalering än om informationsöverföring i snäv mening. Det är viktigt för mig att framstå som en klok och balanserad tänkare snarare än som en extremist och en domedagspredikant.

Paneldiskussioner i Lund och Stockholm

De kommande två veckorna skall jag delta i paneldiskussioner i Lund respektive Stockholm, och få tillfälle att dryfta frågor om framtida teknikutveckling och dess sociala konsekvenser, med bland andra Helene Hellmark Knutsson, minister för högre utbildning och forskning i vår övergångsregering, och min favoritmotståndare i AI-frågor på senare år, datalogen Thore Husfeldt. Torsdagar klockan åtta verkar vara tiden som gäller numera:

• Hur smart är konstgjord intelligens? Debatt i Lund, AF-borgen, Lund, torsdagen den 22 november kl 20.00.
• Formas frukost: Forskning - på gott och ont? Nobelmuseet, Stockholm, torsdagen den 29 november kl 08.00.

Om effektiv altruism i P4

Idag har jag för tredje gången inom loppet av en månad besökt P4 Göteborgs förmiddagsprogram (jag var ju där såväl fredagen den 5 som onsdagen den 17 oktober). Stefan Livh, som brukar ta emot, var denna gång på semester, så jag fick istället snacka med den vikarierande programledaren Erika Löthberg. Vårt samtal börjar cirka 1:23:30 in i sändningen, och håller med diverse avbrott på tills min önskelåt för dagen (Over the Rainbow med Judy Garland från 1939) drar igång vid cirka 1:48:35.

Denna gång slog jag ett slag för effektiv altruism, som är den gemensamma beteckningen på ett gryende forskningsområde och en snabbt växande social rörelse, vilka båda handlar om hur man som individ med ambitionen att bidra till att göra världen bättre kan åstadkomma det så effektivt som möjligt. Den som vill veta mer om det vi pratade om kan exempelvis ta del av EA Sveriges introduktion till effektiv altruism, GiveWells topplista över effektiva välgörenhetsprojekt, och karriärrådgivningsorganisationen 80,000 hours.

'Oumuamua-mysteriet

Är vi ensamma, eller finns det andra civilisationer där ute bland stjärnorna? Den frågan hör till de största vi kan ställa oss, och som om den inte vore spännande nog i sig har den en praktisk sida, då svaret kan ha stora konsekvenser för mänsklighetens framtidsutsikter. Detta sista tydliggörs med den så kallade The Great Filter-formalismen, som i korthet utgår från observationen att från kanske 10²² (ge eller ta en tiopotens eller två) potentiellt livgivande planeter i det synliga universum så verkar det som om inte en enda har utvecklat en teknologisk supercivilisation av sådana dimensioner att den är synlig för astronomer var som helst i sagda universum, och konstaterar att någonstans på vägen från potentiellt livgivande planet till supercivilisation finns en flaskhals (eller flera) som är extremt svår att passera. Har vi (mänskligheten) passerat denna flaskhals, eller ligger den ännu framför oss? Om detta har jag skrivit här på bloggen, i Kapitel 9 i min senaste bok Here Be Dragons, och i en artikel i International Journal of Astrobiology tillsammans med Chalmerskollegan Vilhelm Verendel häromåret.

Ett problem för den som vill göra framsteg på det här området är bristen på direkta data, utöver den ensamma datapunkt som den stora tystnaden därute utgör, och det ständigt ökande antalet upptäckta exoplaneter som backar upp uppskattningar som den ovan om antalet potentiellt livgivande planeter därute. (Indirekta data om hur allmänt gästvänligt vårt universum är för härbärgerande av liv finns det mer gott om, och skall inte fnysas åt. Ämnet astrobiologi sysslar med sådant.)

Men när det plötsligt dyker upp något som är en helt ny och möjligen relevant datatpunkt, så förtjänar det vårt intresse. Som stenbumlingen (eller vad det nu är) 'Oumuamua.

'Oumuamua upptäcktes den 19 oktober 2017, och det kunde snabbt rekonstrueras att den 40 dagar tidigare passerat sitt preihelium i närheten av Merkurius omloppsbana (och några äldre fotografier där 'Oumuamua dittills obemärkt figurerat kunde rotas fram till stöd för det). Det väntade hade varit att notera den som ännu en asteroid eller komet. Sådana rör sig (med vanligtvis god precision) i elliptiska banor runt solen. Hur avlång ellipsen är beskrivs matematiskt av dess excentricitet e mellan 0 och 1, där e=0 svarar mot en perfekt cirkel, och banan blir alltmer avlång ju mer e närmar sig 1. Problemet med 'Oumuamua är att dess e-värde uppmättes till cirka 1.2, vilket innebär att banan inte är elliptisk utan hyperbolisk, vilket i sin tur tyder på att 'Oumuamua blott är en gäst (den första och hittills enda vi observerat) i vårt solsystem, alltså ett objekt som kommit inramlandes från den interstellära rymden.

Allt detta är spännande nog, men det finns mer att säga om 'Oumuamua med potential att kittla vår fantasi:

• Den är ovanligt avlång. Dess dimensioner är behäftade med osäkerhet, men den bästa uppskattningen pekar på en längd på 230 meter och bredd resepektive tjocklek på 35 meter vardera. Även om den ovanliga formen kan få den fantasifulle att associera till Clarkeska monoliter, så är det inte i sig tillräckligt för att vi på allvar skall börja fundera på om 'Oumuamua är ett artificiellt föremål från en utomjordisk civilisation, men det kommer mer:
• Robin Hanson (mannen bakom The Great Filter) påpekade samma höst att av interstellära objekt av 'Oumuamuas storlek som når tillräckligt långt in i vårt solsystem för att vi skall väntas observera dem, så träffar 'Oumuamua närmare Solen än 99% kan väntas göra, förutsatt att det inte suttit någon därute och avsiktligt siktat nära Solen. Källhänvisningen för denna sifferuppgift är inte klockren, men om vi ändå antar att den är riktig så har vi alltså ett p-värde på 0.01. Jag har i andra sammanhang framhållit att p-värden i den storleksordningen inte är fullt så imponerande som många tycks tro, och det gäller givetvis i än högre grad då nollhypotesen som i detta fall formulerats efter att man sett data. När alternativhypotesen är av så spektakulär natur som i detta fall - att någon avsiktligt skickat 'Oumuamua till vårt solsystem - är anledningen till skepsis ännu större, men jag kan inte se att det skulle vara något allvarligt fel att låta siffran inspirera oss att fundera vidare över den hypotesen. Och det kommer ännu mer:
• I en artikel i Nature tidigare i år påvisades att 'Oumuamua bana uppvisat avvikelser (med överväldigande statistisk signifikans) från vad gravitationsteorin förutsäger. En naturlig förklaring till en sådan avvikelse vore om 'Oumuamua likt en komet uppvisade avdunstning från ytan till följd av den infallande solstrålningen. Ett rykande (no pun intended) aktuellt preprint av astrofysikerna Shmuel Bialy och Abraham Loeb, och en kommentar till denna av Paul Gilster, hävdar dock att kometteorin inte håller. Istället föreslås solvind som en förklaring, vilket dock kräver att 'Oumuamua har så liten massa att den blott kan vara ett lövtunt skal (högst cirka 0.3 mm). Vad som kan skapa ett sådant objekt vet vi inte, men Bialy och Loeb föreslår att "one possibility is a lightsail floating in interstellar space as debris from an advanced technological equipment".

Och Gilster bjuder på andra överslagsräkningar som ytterligare förstärker intrycket att det är något skumt med 'Oumuamua.

Givet sin blygsamma storlek är 'Oumuamua nu bortom räckhåll för våra teleskop, men jag anser att gåtan om dess beskaffenhet och ursprung är tillräckligt angelägen för att vi inte skall låta en sådan detalj knäcka oss. Gilster hävdar visserligen att "it’s too late to get a mission off to chase it with chemical rockets", men det torde i så fall finnas andra tekniska lösningar. Till vilken kostnad det går att göra vet jag inte, men om det skulle gå att rymma inom en budget på säg 100 miljarder kronor (som två Large Hadron Colliders, typ) så tycker jag utan tvekan att vi skall försöka. Jag håller fortfarande för troligast att 'Oumuamua har naturligt ursprung, men tillräckligt mycket fog finns idag för spekulationer om motsatsen för att en närmare undersökning skall ha väldigt hög prioritet.

Edit: Knappt har jag tryckt på knappen för att publicera denna bloggpost förrän jag nås av tips om ett preprint av Andreas Hein et al med detaljer om hur den rymdexpedition jag efterfrågar i sista stycket skulle kunna genomföras.

Paul Christiano has just climbed to the top of my to-read list

The 80,000 Hours Podcast (run by the nonprofit organization 80,000 Hours, which offers career advice to young people guided by the principles of effective altruism) seems generally to be an incredibly good resource for learning about some of the most important yet underappreciated issues confronting humanity today. Its host Robert Wiblin (Director of Research at 80,000 hours) does the interviews extremely competently, having typically done some serious homework on the topics that come up.

Still, the amazing recent 3 hours and 52 minutes long episode with computer scientist Paul Christiano stands out. Despite its length, I found every minute of the episode highly worthwile and informative, and it convinces me that Christiano does some of today's most important, creative and cutting-edge work on AI alignment and AI safety. Highly recommended! One of my top near-term priorities right now is to become more closely acquainted with, e.g., his work on prosaic AI alignment, on iterated distillation and amplification, on "AI safety via debate", and on the possibility of unaligned yet morally valuable AI. And as a bonus, and mostly just for pleasure, I am about to read his Eight unusual science fiction plots.