Fortsatt diskussion om AI-risker i Göteborgs-Posten

Det är glädjande att fler forskare än jag ser behovet av publik diskussion om artificiell intelligens (AI), om dess risker och möjligheter, och om allas vår framtid. Specifikt välkomnar jag att mina Chalmerskollegor Devdatt Dubhashi och Moa Johansson tillsammans med (den här på bloggen välkände) David Sumpter från Uppsala universitet tar upp dessa saker i dagens GP. Deras debattartikel bär rubriken Sprid inte skrämselpropaganda om artificiell intelligens, och är ett svar på min GP-artikel från förra veckan med rubriken Ledande AI-företag spelar rysk roulette med mänsklighetens överlevnad (vilken jag rapporterade om i min förra bloggpost). Dessvärre brister deras artikel i framför allt ett par avseenden: dels slarvig läsning av vad jag skrivit, dels torgförandet av en polariserande falsk dikotomi.¹ Låt mig behandla dessa i tur och ordning.

1. Slarvig läsning

Det mest iögonfallande exemplet på så slarvig läsning att den nästan ser illvillig ut är Devdatts, Moas och Davids påstående att jag skulle "utmåla ChatGPT som ett direkt hot mot mänsklighetens överlevnad". Har ni hört så dumt? Om jag någonsin skulle beslås med ett sådant påstående om ChatGPT:s förmågor skulle jag naturligtvis rodna av skam. Det jag säger i min GP-artikel är emellertid något helt annat, nämligen att OpenAI:s ambition att utveckla artificiell generell intelligens (AGI) i kombination med deras otåliga och kapplöpningsinfluerade benägenhet att släppa produkter vilkas ofarlighet ännu inte ordentligt säkerställts utgör ett hot mot mänsklighetens överlevnad. Deras release av ChatGPT illustrerar denna benägenhet, men det är som sagt något helt annat än att ChatGPT i sig skulle utgöra ett sådant hot.

En annan mening som sticker ut är den där Devdatt, Moa och David hävdar att "Häggströms åsikt [är] att vi inom 10–20 år kommer ha självförbättrande, medveten och illvillig [...] AGI". Detta är en förvanskning av min position på så många plan att jag knappt vet var jag skall börja, men i alla fall:

• Den påstådda tidtabellen bygger på min GP-formulering "på sistone har allt fler bedömare pekat på 10-20 år fram i tiden som en fullt möjlig tidtabell [för AGI]". Här har finns alltså en glidning både från vad som är fullt möjligt till vad som faktiskt kommer att ske, och från vad "allt fler bedömare" anser till vad jag själv skulle anse. I själva verket vet åtminstone David (både från min bok Tänkande maskiner och från våra årliga debatter på Chalmers) att min subjektiva sannolikhetsfördelning för när ett AGI-genombrott är att vänta är väldigt mycket mer utspridd än så.
• Om vi hamnar i en situation med en "självförbättrande, medveten och illvillig AGI" är vi med all sannolikhet rökta, men tvärtemot den ståndpunkt Devdatt, Moa och David tillskriver mig så förutspår jag inte att så kommer att inträffa, utan alla mina debattinlägg på detta område syftar till att vi bör undvika att hamna i den situationen.
• Vadå "medveten"? Jag säger inte ett knyst om medvetande i min GP-artikel, och åter vill jag hänvisa till Tänkande maskiner, där jag ägnar ett helt kapitel (som jag bara inte begriper hur David kan ha missat) åt att förklara dels varför jag är agnostisk i frågan om huruvida AI-medvetande överhuvudtaget är möjligt, dels varför den frågan i själva verket har på sin höjd perifer betydelse för risken att vi går under i en AI-apokalyps.
• Det här med att AGI:n skulle vara "illvillig" är också ett misstförstånd. Jag ser det som tämligen osannolikt att vi drabbas av en superintelligent AGI som verkligen vill oss illa. Desto större är risken (om vi inte sköter våra kort väl när det gäller AI alignment) att en sådan AGI har en målsättning för vilken mänskligheten rätt och slätt är irrelevant och som aktualiserar det default-scenario jag i min GP-artikel lånade av Eliezer Yudkowsky: "AI:n varken hatar dig eller älskar dig, men du är gjord av atomer som den kan ha annan användning för".

2. Polariserande falsk dikotomi

I min ovan nämnda Tänkande maskiner från 2021 behandlar jag en bred uppsättning viktiga framtidsfrågor i samband med AI, vilka jag (lite grovt) delar upp i de jordnära och de högtflygande. De jordnära handlar om risker och möjligheter med AI-teknologier som antingen redan finns eller uppenbart står för dörren, medan de högtflygande handlar om AGI-genombrott, Singulariteter och liknande. Båda dessa kategorier av framtidsfrågor är väldigt viktiga, men tyvärr finns en tendens hos forskare och debattörer att ställa dem mot varandra. I ett föredrag i november förra året som jag tidigare uppmärksammat här på bloggen ger den amerikanske datalogen Scott Aaronson förljande tillspetsade men inte helt felaktiga beskrivning av läget:

To an outsider hearing the terms ''AI safety,'' ''AI ethics,'' ''AI alignment,'' they all sound like kind of synonyms, right? It turns out, and this was one of the things I had to learn going into this, that AI ethics and AI alignment are two communities that despise each other. It’s like the People’s Front of Judea versus the Judean People’s Front from Monty Python.

Tyvärr spelar Devdatt, Moa och David rakt in i denna polariserande och kontraproduktiva dynamik när de beskriver problemet med min GP-artikel som att tal om AGI "riskerar att förflytta uppmärksamheten från många viktiga utmaningar som verkligen behöver adresseras här och nu". Men vi behöver inte välja mellan de jordnära och de högtflygande AI-frågorna! Båda är viktiga! Vi kan ta båda på allvar! Och som bloggaren Scott Alexander skrev i en reaktion på ChatGPT i december:

[T]he people who want less racist AI now, and the people who want to not be killed by murderbots in twenty years, need to get on the same side right away. The problem isn't that we have so many great AI alignment solutions that we should squabble over who gets to implement theirs first. The problem is that the world's leading AI companies do not know how to control their AIs. Until we solve this, nobody is getting what they want. [kursivering i original]

Fotnot

1) Utöver detta ogillar jag artikelförfattarnas anklagelser om att jag skulle ägna mig åt "skrämselpropaganda" och "sensationslystna påståenden". Som jag förklarade mer utförligt i en bloggpost från 2017 rubricerad Killer robots and the meaning of sensationalism är det inte alla varningsord om extrema och fruktansvärda framtidsscenarier som förtjänar dylika stämplar, utan det hänger på om de risker som påtalas är reella eller påhittade. Troligtvis håller Devdatt, Moa och David med om detta i princip, men de trampar i så fall alldeles fel när de placerar mina varningsord i den senare kategorin.

* * *

Edit 27 februari 2023: När jag fick se debattinlägget av Devdatt, Moa och David bestämde jag mig omedelbart för att deras kritik mot min ursprungsartikel inte var substantiell nog att förtjäna ett bemötande i GP. Denna bloggpost kunde gott räcka, tänkte jag. Efter påstötning från GP:s debattredaktion om att en slutreplik trots allt var önskvärd så gick jag till slut med på att skriva en sådan. Den är nu publicerad, med rubriken Forskareliten är övertygad om att AI snart kan bli smartare än människan.

Scott Aaronson on AI safety

Many times over the last few years I've made attempts at lectures giving an overview about what kinds of futures for humanity the unfolding saga of AI development may lead to, and about what is being done within the still small but rapidly growing field of AI alignment with the goal of improving the odds for a benign outcome. Some of these attempts are available in video format in earlier Häggström hävdar blog posts and elsewhere. They have varied in quality, and in a few instances I've walked away from the podium with something resembling a sense of having nailed the topic as best as I can hope to, but to tell the truth I have never ever come even close to the level exhibited by the brilliant and inimitable Scott Aaronson in the talk hosted by AT Austin's EA (Effective Altruism) group he gave a couple of weeks ago, on November 14, 2022. Warmly recommended!

Disillusioned about the New York Times

Until not very long ago, I used to regard the New York Times (NYT) as a beacon of sanity, truth and enlightenment. But not any more. In terms of trustworthiness, I now rank it on the same level as Breitbart News, Alex Jones, Donald Trump's Twitter account, and various climate denialism blogs such as the Orwellianly named Klimatupplysningen.¹

Coming to this standpoint has been a painful and somewhat gradual process. So what triggers me to bring up the topic right now? Readers will be forgiven who think it must be NYT's intolerant and totemic witch hunt and word magic very similar to what was protrayed more than 40 years ago in the Jehova scene of the Monty Python movie Life of Brian.

But no. While that sort of thing does contribute to my change of hearts in how I view NYT, what triggers me today is their malicious hit piece yesterday against the rationalist movement in general and blogger Scott Alexander in particular. The piece is appallingly dishonest, and deals not so much in outright falsehoods (although one such untruth is the claim about the contents of James Damore's 2017 Google Memo) as in guilt-by-association routines and dozens of other insidious insinuations (such as the claim about rationalists that "some [of them] practiced polyamory", which is probably true, but is clearly meant to have the same effect on readers as the statement "some of them are rumoured to be homosexuals" would have had in the mid-20th century). If you absolutely must read the horrible NYT piece, then please make sure also to read the rebuttals by Scott Aaronson and by Scott Alexander himself. Especially the former makes clear that many of the misrepresentations in the NYT piece are not mistakes (which would be bad enough) but fully intentional.

Footnote

1) Well, not really. I'm exaggerating. But if the New York Times can allow itself to engage in sensationalist falsehoods, then so can I.

Rekommenderad läsning: Aaronson om Caplan om utbildning

Den amerikanske nationalekonomen Bryan Caplans The Case Against Education: Why the Education System is a Waste of Time and Money är en av de mest störande böcker jag läst på länge, och den är det i kraft av att presentera mångfacetterad empirisk evidens och starka argument för slutsatser jag finner motbjudande. Caplans slutsatser kan sammanfattas i två huvudpunkter. För det första att utbildning överlag handlar mindre om att skaffa sig kunskaper än om att signalera sin allmänna arbetsduglighet (vilken Caplan kokar ned till de tre huvudkomponenterna intelligens, arbetsvillighet, och foglighet). Och för det andra att medan utbildning (ofta) är lönsam för individen, så är den (på det hela taget) olönsam för samhället som helhet. De båda slutsatserna är relaterade på följande vis: om det stämmer att utbildning mest handlar om signalering för att skaffa sig konkurrenskraft på arbetsmarknaden, så är det naturligt att tänka sig att det positiva utbyte jag får av att utbilda mig i hög grad kancelleras av det negativa utbyte (fortfarande av min utbildning) som mina potentiella konkurrenter på arbetsmarknaden får genom att hamna i en svagare konkurrensställning gentemot mig. Om deras totala negativa utbyte är tillräckligt stort kan utbildningen gå från att vara lönsam för mig till att vara olönsam på aggregerad (dvs samhälls-)nivå.

Vad är det då jag finner motbjudande med dessa slutsatser? Mycket kort uttryckt handlar det om att jag är en varm vän av utbildning och att jag alltid har trott på det som en väg till allmänt välstånd, men om det verkligen stämmer som Caplan säger att utbildning är olönsam på samhällsnivå så blir jag tvungen att revidera åtminstone delen om utbildning som väg till allmänt välstånd.

Aningen mindre kort handlar det om externalitetsinternalisering, en nationalekonomisk princip som (i ofullständig sammanfattning) säger att när en individs handlande har negativa återverkningar på tredje part så blir det bäst för helheten om samhällssystemet korrigeras på sådant vis att individen själv bär kostnaderna för dessa återverkningar. Koldioxiden är ett bra exempel: när jag kör bil och därigenom släpper ut koldioxid i atmosfären ger det en negativ klimatpåverkan som till största delen drabbar andra än mig själv, och externalitetsinternaliseringsprincipen säger då att mina utsläpp borde beskattas. En mycket god idé, och jag är allmänt en vän av externalitetsinternalisering (som tumregel i samhällsplanering, om än inte som helig princip att följas dogmatiskt). Problemet här är att om vi håller fast vid det och om Caplans slutsatser är riktiga så borde utbildning beskattas, snarare än subventioneras såsom fallet är idag. Sannerligen en motbjudande tanke!

Problemet för mig personligen är att jag ömt vårdar en bild av mig själv såsom rationell, och om jag accepterar argument som starka utan att finna minst lika starka motargument så kräver rationaliteten att jag accepterar argumentens slutsatser. Detta har skapat en spänning i mitt huvud som legat kvar oförlöst allt sedan jag för ett par månader sedan läste Caplans bok, och jag har därför hett önskat finna motargument kraftfulla nog att skjuta de utbildningsskeptiska slutsatserna i sank. Jag har inte funnit dem ännu, men Scott Aaronsons ambitiösa recension av boken är ett steg i den önskade riktningen och det bästa sådant steg jag hittills tagit del av. Recensionen är verkligen läsvärd, inte minst för den som vill förstå huvuddragen i Caplans bok och den empiri som åberopas utan att behöva läsa en hel bok, för Aaronson ger en utförlig och rättvis sammanfattning av dessa innan han ger sig i kast med sina motargument. För den som med intellektuellt allvar intresserar sig för utbildningsfrågor är jag nästan böjd att utnämna det till obligatoriskt att ta del av Caplans tankegångar, antingen via Aaronson eller genom att gå direkt till boken.

Diverse om AI

Idag har jag samlat några korta saker om AI (artificiell intelligens):

• Igår chockades schackvärlden av DeepMinds offentliggörande av programmet AlphaZero, som utan annan schacklig förkunskap än själva reglerna tränade upp sig själv inom loppet av timmar (men stor datorkraft) att uppnå spelstyrka nog att i en match om 100 partier besegra regerande datorvärldsmästaren Stockfish 28 (som i sin tur är överlägsen alla mänskliga stormästare) med utklassningssiffrorna 64-36 (28 vinster, 72 remier och 0 förluster). Här finns tio av partierna för genomspelning, och förutom AlphaZeros fabulösa taktiska och strategiska färdigheter kan man fascineras av att den på egen hand återupptäckt en rad av våra traditionella spelöppningar (inklusive långtgående varianter i Damindiskt, Spanskt och Franskt), något som måhända kan tas som intäkt i att vi inte varit totalt ute och cyklat i vår mänskligt utvecklade spelöppningsteori.

  Att ett nytt schackprogram är bättre än de tidigare har givetvis hänt förut och är inte i sig sensationellt; paradigmskiftet består i att programmet uppnått sin spelstyrka på egen hand från scratch. Det kan hända att schacksajten chess24.com har rätt i sin spekulation att "the era of computer chess engine programming also seems to be over". Det kan också hända att jag överreagerar på grund av den nära relation till just schack jag haft i decennier (det är kanske inte ens givet att det vi fick veta igår är ett större genombrott än DeepMinds motsvarande framsteg i Go tidigare i år), men händelsen får mig att överväga en omvärdering av hur snabbt AI-utvecklingen mer allmänt går idag. Eliezer Yudkowskys uppsats There’s No Fire Alarm for Artificial General Intelligence är värd att åtminstone skänka en tanke i detta sammanhang.

• Jag hade verkligen hoppats att aldrig mer behöva höra talas om de så kallade No Free Lunch-satserna - ett knippe triviala och på det hela taget oanvändbara matematiska observationer som genom flashig paketering kunnat få ett oförtjänt gott rykte och användas som retoriskt tillhygge av kreationister. Med min uppsats Intelligent design and the NFL theorems (samt den uppföljande rapporten Uniform distribution is a model assumption) för ett årtionde sedan hoppades jag ta död på detta rykte. Och sedan dess har det faktiskt varit lite tystare kring NFL - även om det är som bäst oklart i vad mån jag har del i äran av det. Men när nu ännu en AI-debattör av det slag som inte tror på superintelligens och därmed förknippad AI-risk och som är beredd att ta till precis vilka argument som helst för denna ståndpunkt (sådana debattörer plockar jag ned då och då här på bloggen) dykt upp, så borde jag måhända inte förvånas över att denne klämmer till med NFL-satserna i sin argumentation. Trams!

• Frågan om superintelligent AI och huruvida sådan är inom räckhåll för AI-forskningen (och i så fall i vilket tidsperspektiv) är mycket svår, och även kunniga och intelligenta personers intuitioner går kraftigt isär. I ett sådant läge är jag såklart inte opåverkad av vad forskare och tänkare jag räknar som av yttersta toppklass tänker om saken även då de inte har så mycket att tillföra i sak. Därför är det av intresse att datalogen Scott Aaronson nu meddelat en justering av sin syn på superintelligens och AI-risk (händelsevis i samma bloggpost som uppmärksammade mig på det i föregående punkt omtalade NFL-tramset). Så här skriver han:
  A decade ago, it was far from obvious that known methods like deep learning and reinforcement learning, merely run with much faster computers and on much bigger datasets, would work as spectacularly well as they’ve turned out to work, on such a wide variety of problems, including beating all humans at Go without needing to be trained on any human game. But now that we know these things, I think intellectual honesty requires updating on them. And indeed, when I talk to the AI researchers whose expertise I trust the most, many, though not all, have updated in the direction of “maybe we should start worrying.” (Related: Eliezer Yudkowsky’s There’s No Fire Alarm for Artificial General Intelligence.)

  Who knows how much of the human cognitive fortress might fall to a few more orders of magnitude in processing power? I don’t—not in the sense of “I basically know but am being coy,” but really in the sense of not knowing.

  To be clear, I still think that by far the most urgent challenges facing humanity are things like: resisting Trump and the other forces of authoritarianism, slowing down and responding to climate change and ocean acidification, preventing a nuclear war, preserving what’s left of Enlightenment norms. But I no longer put AI too far behind that other stuff. If civilization manages not to destroy itself over the next century—a huge “if”—I now think it’s plausible that we’ll eventually confront questions about intelligences greater than ours: do we want to create them? Can we even prevent their creation? If they arise, can we ensure that they’ll show us more regard than we show chimps? And while I don’t know how much we can say about such questions that’s useful, without way more experience with powerful AI than we have now, I’m glad that a few people are at least trying to say things.

• Som meddelades i en tidigare bloggpost så hade Stockholm besök förra månaden av två av vår tids vassaste och kanske viktigaste filosofer: Nick Bostrom och Daniel Dennett. I samband med marknadsföringen av de svenska översättningarna av deras respektive senaste böcker hade Fri Tankes förlagschef Christer Sturmark lyckat få till stånd ett seminarium med dem båda, under rubriken Medvetandets mysterium och tänkande maskiner. Jag var där, tillsammans med cirka 800 andra (en fantastisk siffra för ett filosofiseminarium!), och mina förväntningar var ganska höga. Framför allt hoppades jag att Dennett äntligen skulle pressas att ge solida argument för den ståndpunkt han ofta ventilerat men sällan eller aldrig motiverat: att det slags AI-risk (förknippad med uppkomsten av superintelligens) som Bostrom behandlar i sin bok inte är något att bry sig om.

  Så hur gick det? Vad tyckte jag om seminariet? Gav Dennett det slags besked jag hoppades på? Istället för att orda om detta här hänvisar jag till det poddsamtal som Sturmark och jag spelade in dagen efter seminariet, och som i hög grad kretsade kring vad Bostrom och Dennett hade talat om. Jag tror att vi fick till ett hyfsat givande samtal, så lyssna gärna på det! Men framför allt, tag gärna del av videoinspelningen av själva seminariet!

Dagsaktuellt om termodynamikens andra lag

Olika områden av fysiken verkar lämpa sig olika väl för att belysa mer vardagliga företeelser. När någon försöker sig på att använda kvantmekaniken på det viset landar resonemanget oftast i ren bullshit. Hänvisningar till termodynamikens andra lag (som säger att ett isolerat systems entropi aldrig minskar, och att systemet istället tenderar att utvecklas mot ett tillstånd av maximal entropi - maximal oordning) brukar gå bättre. När datalogen Scott Aaronson nyligen tillgrep termodynamikens andra lag i en kommentar till det fortfarande chockerande faktum att Donald Trump lyckats bli vald till USA:s president,¹ så reagerade jag med omedelbar förtjusning. Så här förklarar han det kanske vanligaste och mest grundläggande fel de väljare gjort som fått för sig att det är i deras intresse att Trump blir president:

[O]ne of humanity’s tragic flaws is to take for granted the gargantuan effort needed to create and maintain even little temporary pockets of order. Again and again, people imagine that, if their local pocket of order isn’t working how they want, then they should smash it to pieces, since while admittedly that might make things even worse, there’s also at least 50/50 odds that they’ll magically improve. In reasoning thus, people fail to appreciate just how exponentially more numerous are the paths downhill, into barbarism and chaos, than are the few paths further up. So thrashing about randomly, with no knowledge or understanding, is statistically certain to make things worse: on this point thermodynamics, common sense, and human history are all in total agreement. The implications of these musings for the present [is] left as exercises for the reader.

Citatet är från Aaronsons bloggpost State den 1 januari i år, men jag är skyldig Luke Muehlhauser ett tack som via sin egen blogg uppmärksammat mig på det. Muehlhauser tillfogar följande skämtteckning som illustrerar samma poäng:

Fotnot

1) Lustigt nog sammanfaller denna Aaronson-hänvisning till termodynamikens andra lag nästan exakt i tiden med en annan sådan, i ett helt annat sammanhang. I hans välskrivna, lärorika och formidabelt kunskapstäta nyss släppta 121-sidiga översiktsuppsats om P kontra NP - måhända det viktigaste öppna problemet i hela matematiken - drar han i Fotnot 20 på sidan 24 en humoristisk men likväl träffsäker parallell mellan termodyamikens andra lag och P≠NP:

I like to joke that, if computer scientists had been physicists, we’d simply have declared P≠NP to be an observed law of Nature, analogous to the laws of thermodynamics. A Nobel Prize would even be given for the discovery of that law. (And in the unlikely event that someone later proved P=NP, a second Nobel Prize would be awarded for the law’s overthrow.)

Some not-quite-mainstream voices about the perils of electing Donald Trump

In yesterday's blog post, I offered (links to) some very good reasons why it would be a bad idea to elect Donald Trump US president in November. My sources were highly mainstream, and probably already familiar to many of my readers and all US presidential election zealots. Today I offer links to thoughts about the frightening possibility of a Trump presidency by three highly intelligent and wise thinkers who are less mainstream. They belong not to the usual circle of politicians, political pundits and journalists, but rather to the kind of loosely knit math/physics/CS/AI/futurology community that I consider myself to be part of. In my opinion, all three raise interesting points that deserve further spread:

• Eliezer Yudkowsky (who is heavily quoted in my latest book as well as here on this blog) has a short and somewhat unpolished but nevertheless very interesting piece in which he tells us about an experience that left him "with a suddenly increased respect for any administration that gets to the end of 4 years without nuclear weapons being used", and why a Trump administration may turn out less competent than most others in this respect.

• Scott Alexander, in a rather longer text which however is well worth the effort of reading, focuses mostly on possible societal consequences of a Trump presidency less extreme than global nuclear war. He writes very clearly from a kind of conservative viewpoint that I have much respect for (despite not being much of a fan of most other political positions with that label).

• Scott Aaronson (whose book Quantum Computing since Democritus is one of the best I've read this year) has a very substance-rich blog post about Trump which dates back to June but which is just as important and interesting now as it was then. After an overwhelmingly convincing 10-item list of reasons why a Trump presidency can be expected to wreak havoc on American society and the rest of the world, he urges us to try to understand the social psychology behind Trump's rise in popularity:
  There’s one crucial point on which I dissent from the consensus of my liberal friends. Namely, my friends and colleagues constantly describe the rise of Trump as "incomprehensible" - or at best, as comprehensible only in terms of the US being full of racist, xenophobic redneck scumbags who were driven to shrieking rage by a black guy being elected president. Which - OK, that’s one aspect of it, but it’s as if any attempt to dig deeper, to understand the roots of Trump’s appeal, if only to figure out how to defeat him, risks "someone mistaking you for the enemy."
  This is followed by some well considered thoughts on this social psychology problem, and then finally a discussion on some concrete proposals for what we can do to minimize the probability that Trump wins the election.

Det här med att vi kanske bor i en datorsimulering

Det är något med den här bilden som håller mig kvar. Kanske kattens lugn och mjukhet i kontrast med astronautens brådska och raketens hårdhet. Men helt klart också bildens antydan om att den fysiska verklighet vi tycker oss leva i inte är den fundamentala, att det finns en högre verklignet vars invånare kan kika ned på oss som i en låda.

Idén är inte ny. Den dyker upp i många sammanhang, från de stora världsreligionerna till populärkulturella filmer som The Matrix och The Truman Show. Den har emellertid haft svårt att vinna acceptans såsom seriös hypotes värdig vetenskapligt studium.

Det sistnämnda har emellertid börjat luckras upp en liten smula på senare år, mest tack vare filosofen Nick Bostroms så kallade simuleringsargument, som han presenterade i sin uppsats Are you living in a computer simulation i tidskriften Philosophical Quarterly 2003, och som sedan dess tilldragit sig en del uppmärksamhet. Jag skriver mycket om Bostroms olika arbeten i min senaste bok Here Be Dragons: Science, Technology and the Future of Humanity, men just simuleringsargumentet tar jag inte upp annat än som allra hastigast, i en fotnot på sidan 151. I min föregående bok Riktig vetenskap och dåliga imitationer från 2008 ägnar jag däremot simuleringsargumentet en längre diskussion på sidorna 126-128:

Bostrom konstaterar [...] att om vi - den mänskliga civilisationen - överlever de faror som lurar det närmaste århundradet eller så, så kommer den teknologi vi (eller de robotar som eventuellt efterträder oss) då förfogar över att vara närmast ofattbart mer avancerad än den vi har idag. Bland annat kommer vi att ha tillgång till praktiskt taget outtömlig datorkraft. Framtidens historiker kan väntas vara mycket intresserade av vad som egentligen hände de där kritiska årtiondena som föregick "det stora teknologiska språnget". De kommer att använda delar av den enorma datorkraften till att göra omfattande och detaljerade datorsimuleringar av vad som egentligen hände då, och dessa simuleringar kommer att vara så verklighetstrogna att de virtuella människor som befolkar dem får medvetanden, så som vi själva. Men tack vare att så ofantligt många sådana datorsimuleringar genomförs, så överstiger det antal virtuella människor genom historien som tror sig leva år 2007 vida det antal om knappt 7 miljarder människor som verkligen upplevde (originalversionen av) 2007. Och därför är det långt troligare att vi hör till de virtuella människorna i dessa datorsimuleringar än att vi utgör originalen. Vi lever alltså i the Matrix.

Man kan spekulera vidare kring detta scenario. Varför skulle det vara förbehållet professionella historiker att köra dessa simuleringar? Nog kunde det bli ett populärt nöje, åtminstone bland lagom nördigt inriktade personer, att i sina datorer upprepa historien, eller ännu hellre se hur den hade utvecklats då förutsättningarna varieras på olika sätt? Kanske Gud egentligen är en pubertetsfinnig 15-åring anno 2243 som kommit att fundera över det otroligt jämna amerikanska presidentvalet år 2000 och över vad som egentligen hade kunnat hända om den där religiöse och halvt imbecille alkoholisten till motkandidat faktiskt hade vunnit?

[...]

Bostroms uppsats kan förstås som att han inte blott hävdar att det är möjligt att vi lever i the Matrix, utan rentav att det är ytterst troligt. Och även om jag inte kan slå fast att han har fel, så går det att peka på ett antal obevisade antaganden som hans resonemang hänger på. (Av de följande pekar Bostrom själv på de första två, medan han däremot inte säger något om det tredje.) För det första behöver det, som Bostrom själv påpekar, föreligga en icke-försumbar sannolikhet att vi - den mänskliga civilisationen - lyckas nå den tänkta teknologiska nivån innan vi förgör oss själva. Jag vill gärna tro att så är fallet, men om man skall vara realistisk så framstår det som en vidöppen fråga. [...] För det andra förutsätter Bostroms argument den så kallade datorteorin för medvetande, som säger att fenomenet medvetande inte är beroende av något specifikt slags materiellt medium för att kunna uppstå, så att t.ex. kisel kan gå lika bra som kött och blod; detta behövs för att datorsimuleringarnas virtuella människor skall erhålla medvetanden. Åter har vi att göra med en vidöppen fråga. Och för det tredje bygger Bostroms sannolikhetsargument på det implicita antagandet att det existerar en mekanism enligt vilken "vi" - de medvetna varelser du och jag råkar finna oss identiska med - väljs ut på måfå enligt likformig fördelning bland alla medvetanden i universum. Vad som skulle ligga bakom en sådan mekanism har jag svårt att se, men vem vet?

Under de år som passerat sedan jag skrev dessa rader har jag kommit att se något mer positivt på simuleringsargumentet och tanken att vi faktiskt bor i en datorsimulering. Ja, argumentet vilar alltjämt på obevisade premisser, men detta gör det inte irrelevant för frågan om världens yttersta beskaffenhet. Inte så att jag tror att vi bor i en datorsimulering, men idén synes mig långt ifrån orimlig. Den mer allmänna tanken att det skulle existera en högre verklighet än den fysiska som vi upplever, och att det skulle kunna finnas en skapare och en avsikt bakom vårt världsallt, ter sig därmed inte heller orimlig. Detta har lett till en förskjutning i min syn på religion. Tanken på en skapare går inte längre lika lätt att utan vidare avfärda, även om jag fortfarande finner andra delar av det kristna (för att nu nämna den religion jag råkar vara närmast bekant med) tankegodset lika orimligt som tidigare: evidentiellt ogrundade och fullkomligt godtyckliga bisarrerier om äpplen, ormar och jungfrufödslar, om en hämndlysten Gud som håller sig med detaljerade föreskrifter om vad samtyckande vuxna människor får lov att företa sig bak sovrummets dörrar, och om hur vår väg till evigt liv går via det bestialiska ihjältorterandet av en man i 30-årsåldern för snart 2000 år sedan.

Men är inte tanken på att vi kanske bor i en datorsimulering djupt oroande? Är det inte fasansfullt att tänka sig att hela det som vi uppfattar som vår värld och vår tillvaro bara är på låtsas? Njae, inte så farligt, har jag varit böjd att svara på dessa frågor, och ansluta mig till den uppfattning som David Chalmers försvarar i sin utomordentligt läsvärda uppsats The Matrix as metaphysics, att även om det skulle existera en högre verklighet relativt vilken vår tillvaro och vår värld spelar rollen av en datorsimulering, så ändrar inte den saken på det faktum att våra liv och vår värld är verkliga.

Emellertid. När jag i förra månaden tog del av filosofen Eric Schwitzgebels aktuella bloggpost If you/I/we live in a sim, it might well be a short-lived one så kändes tanken på att vi bor i en datorsimulering betydligt läskigare:

We need to ask what proportion of the conscious AIs (at least the ones relevantly epistemically indistinguishable from us) live in large, stable sims, and what proportion live in small or unstable sims?

I see no reason here for high levels of optimism. Maybe the best way for the beings at the base level of reality to create a sim is to evolve up billions or quadrillions of conscious entities in giant stable universes. But maybe it's just as easy, just as scientifically useful or fun, to cut and paste, splice and spawn, to run tiny sims of people in little offices reading and writing philosophy for thirty minutes, to run little sims of individual cities for a couple of hours before surprising everyone with Godzilla. It's highly speculative either way, of course! That speculativeness should undermine our confidence about which way it might be.

If we're in a sim, we probably can't know a whole lot about the motivations and computational constraints of the gods at the base level of reality. (Yes, "gods".) Maybe we should guess 50/50 large vs. small? 90/10? 99/1? (One reason to skew toward 99/1 is that if there are very large simulated universes, it will only take a few of them to have the sims inside them vastly outnumber the ones in billions of small universes. On the other hand, they might be very much more expensive to run!)

If you/I/we are in a small sim, then some version of radical skepticism seems to be warranted. The world might be only ten minutes old. The world might end in ten minutes. Only you and your city might exist, or only you in your room.

Detta snuddar vid den mardröm som benämns Boltzmannhjärnor, och som vore väldigt skön att kunna avfärda som overklig. Scott Aaronson, som i sin underbart infallsrika uppsats The ghost in the quantum Turing machine tar upp Bolzmannhjärneproblemet (som en bland en rad andra frågor av jämförbart bråddjup) utifrån ett perspektiv som påminner om Bostroms simuleringsargument, och föreslår en väg ut ur mardrömmen - en väg som jag dessvärre finner en smula långsökt och lam. Eller döm själva!

Elon Musk säger sig vara nästan bombsäker på att vi bor i en datorsimulering. Få andra uttrycker denna ståndpunkt så tvärsäkert, men frågan finns idag på den filosofiska och vetenskapliga agendan på ett helt annat sätt än för 15 år sedan. Dess ökade legitimitet manifesterades tidigare i år i hur den togs som tema för 2016 års upplaga av den så kallade Isaac Asimov Memorial Debate - en paneldiskussion på American Museum of Natural History i New York. Panelens samlade vetenskapliga kompetens var blytung, eller vad sägs om följande namn: David Chalmers, Zohreh Davoudi, James Gates, Lisa Randall, Max Tegmark och Neil deGrasse Tyson (moderator). Och diskussionen blev klart sevärd!

Wästlund om Newcombs paradox

Denna bloggpost är en uppföljare till mitt ett par veckor gamla inlägg Aaronson om Newcombs paradox, till vilket jag nu tillåter mig hänvisa för en sammanfattning av paradoxen. Med det inlägget lyckades jag uppmärksamma vännen och kollegan Johan Wästlund på Scott Aaronsons förslag till lösning, samt trigga honom att fundera vidare kring problemet; jag betraktar detta som inläggets överlägset viktigaste konsekvens så här långt (och vem vet, kanske det rentav visar sig vara det viktigaste inflytande min blogg haft överhuvudtaget... den som lever får se). För var och en som intresserar sig för Newcombs paradox och de filosofiska frågor denna ansluter till vill jag varmt rekommendera läsning av Johans nedteckning av sina funderingar, och nu syftar jag inte på hans initiala reaktion (som visserligen är väldigt rolig, men som istället för att på allvar ta sig an paradoxen snabbt spinner iväg i en diskussion om grammatik och genus), utan på hans andra bloggpost i ämnet, där han fördjupar sig i paradoxen och kopplar den till idén om självmedvetna datorprogram och en kanske ännu svårare paradox som sådana datorprogram verkar ge upphov till, via en variant av Turings halting problem. Jag kan här omöjligt göra rättvisa åt Johans bloggpost, men jag kan i alla fall klippa ut några små smakprov. Här är hans egen telegrafiska sammanfattning av vad bloggposten går ut på:

In this post I argue that the Newcomb experiment is not only feasible, but might very well be significant to the design of intelligent autonomous robots [...]. Finally, as requested by some readers of my previous post, I will reveal my own Newcombian orientation.

(Orden "some readers" syftar här, om jag förstått saken rätt, åtminstone delvis på mig.)

Beträffande Aaronsons förslag till hur Newcombs paradox kan lösas upp, kallar Johan detta "a very neat argument", men hans djupdykning i begreppet kausalitet leder honom till att avvisa förslaget:

Although I like this argument, I don't think it holds.

Jag hoppar här över den argumentation som leder Johan till denna ståndpunkt (men se hans bloggpost!), och nöjer mig med att konstatera att den är såpass bestickande att jag eventuellt tvingas ändra ståndpunkt igen rörande Newcombs paradox; jag har inte bestämt mig ännu. Istället vill jag citera hans sammanfattning av den patologiska situation för intelligenta och självmedvetna datorprogram som han kommer fram till - i hopp om att trigga läsaren att ta del av hur han når dessa slutsatser:

The strange moral here is that once the program becomes aware of its own correctness (the fact that it never concludes that a program is safe if it isn't), it becomes incorrect! Also notice that we have no reason to think that the AI would be unable to follow this argument. It is not only aware of its own correctness, but also aware of the fact that if it thinks it is correct, it isn't. So an equally conceivable scenario is that it ends up in complete doubt of its abilities, and answers that it can't know anything.

The Newcomb problem seems to be just one of several ways in which a self-aware computer program can end up in a logical meltdown. Faced with the two boxes, it knows that taking both gives more than taking one, and at the same time that taking one box gives $1,000,000 and taking both gives $1000.

It might even end up taking none of the boxes: It shouldn't take the small one because that bungles a million dollars. And taking only the large one will give you a thousand dollars less than taking both, which gives you $1000. Ergo, there is no way of getting any money!?

The last paragraph illustrates the danger with erroneous conclusions. They diffuse through the system. You can't have a little contradiction in an AI capable of reasoning. If you believe that 0=1, you will also believe that you are the pope (how many popes are identical to you?).

Aaronson om Newcombs paradox

Igår berättade jag om Scott Aaronsons underbara bok Quantum Computing since Democritus, och om hans charmerande tendens att bjuda läsaren på spännande små utvikningar. En av dessa utvikningar rör det fantasieggande filosofiska tankeexperiment som bär namnet Newcombs paradox. Jag sammanfattade själv häromåret tankeexperimentet med följande ord:

An incredibly intelligent donor, perhaps from outer space, has prepared two boxes for you: a big one and a small one. The small one (which might as well be transparent) contains $1,000. The big one contains either $1,000,000 or nothing. You have a choice between accepting both boxes or just the big box. It seems obvious that you should accept both boxes (because that gives you an extra $1,000 irrespective of the content of the big box), but here’s the catch: The donor has tried to predict whether you will pick one box or two boxes. If the prediction is that you pick just the big box, then it contains $1,000,000, whereas if the prediction is that you pick both boxes, then the big box is empty. The donor has exposed a large number of people before you to the same experiment and predicted correctly [every] time, regardless of whether subjects chose one box or two.¹

Så vad väljer du, att ta den stora lådan, eller båda lådorna? Är du en så kallad one-boxer, eller en two-boxer? I en av de tidiga artiklarna om paradoxen, från 1969, skriver Robert Nozick så här:

To almost everyone, it is perfectly clear and obvious what should be done. The difficulty is that these people seem to divide almost evenly on the problem, with large numbers thinking that the opposing half is just being silly.²

Jag har själv (fram tills nu) inte riktigt kunnat ta ställning inför den spänning mellan å ena sidan kausalt och å andra sidan statistiskt-prediktivt tänkande som problemställningen lyfter fram, och därmed inte kunnat svara på om jag är en one-boxer eller en two-boxer. Därför triggades min nyfikenhet rejält av följande löfte från Aaronson:

I can give you my own attempt at a resolution, which has helped me to be an intellectually fulfilled one-boxer. [Quantum Computing since Democritus, s 296]

Och när jag ser hans argument så sliter jag mitt hår över att inte ha kommit på det själv, för argumentet föreslår ju praktiskt taget sig självt för den som är bekant med antingen Nick Bostroms simuleringsargument (vilket jag är) eller Stuart Armstrongs tankeexperiment med den aggressivt förhandlande nyblivet superintelligenta AI:n (vilket jag också är).

Now let's get back to the earlier question of how powerful a computer the Predictor has. Here's you, and here's the Predictor's computer. Now, you could base your decision to pick one or two boxes on anything you want. You could just dredge up some childhood memory and count the letters in the name of your first-grade teacher or something and based on that, choose whether to take one or two boxes. In order to make its prediction, therefore, the Predictor has to know absolutely everything about you. It's not possible to state a priori what aspects of you are going to be relevant in making the decision. To me, that seems to indicate that the Predictor has to solve what one might call a "you-complete" problem. In other words, it seems the Predictor needs to run a simulation of you that's so accurate it would essentially bring into existence another copy of you.

Let's play with that assumption. Suppose that's the case, and that now you're pondering whether to take one box or two boxes. You say, "all right, two boxes sounds really good to me because that's another $1,000." But here's the problem: when you're pondering this, you have no way of knowing whether you're the "real" you, or just a simulation running in the Predictor's computer. If you're the simulation, and you choose both boxes, then that actually is going to affect the box contents: it will cause the Predictor not to put the million dollars in the box. And that's why you should take just the one box. [Quantum Computing since Democritus, s 296-297]

I ljuset av detta argument ansluter jag mig härmed till lägret av one-boxers.

Fotnoter

1) Jag har här förvrängt mitt eget citat en smula genom att ändra "90% of the time" till "every time", för att bättre ansluta mig till hur tankeexperimentet vanligtvis (och så även i Aaronsons bok) framställs. För den centrala problematiken gör detta inte någon större skillnad. Skälet till att jag i mitt ursprungliga citat talar om 90% är att stycket är hämtat från min recension av William Eckhardts bok Paradoxes in Probability Theory, där författaren insisterar på 90%-formuleringen.

2) Nozicks påstående om "almost evenly" kan jämföras med David Chalmers opinionsundersökning 40 år senare om filosofers inställning till filosofiska spörsmål, där (bland 931 svarande) 21% säger sig vara one-boxers, mot 31% two-boxers (medan återstående 47% kategoriseras under det mer svårtolkade svaret "others").

Scott Aaronsons underbara bok om kvantdatorberäkningar

Jag har nyss läst ut den unge briljante datalogen Scott Aaronsons bok Quantum Computing since Democritus från 2013, och jag rekommenderar den å det varmaste. Utöver att behandla teorin för kvantdatorberäkningar är den i minst lika hög grad en introduktion för den gren av teotetisk datalogi som benämns komplexitetsteori, och som studerar hur resurskrävande (i termer av exempelvis antal beräkningssteg eller mängden minnesutrymme) olika beräkningsproblem är, vanligtvis asymptotiskt då problemstorleken växer mot oändligheten. Komplexitetsteorin kan sägas handla om vilka problem som kan lösas effektivt, och till väldigt stor del är den uppbyggd kring den viktiga men infernaliskt svåra matematiska frågeställningen P kontra NP.¹ Till bokens rikedom bidrar de många utvikningar författaren gör till angränsande områden, som kvantmekanik, relativitetsteori (inklusive avsnitt om huruvida tidsresor är möjliga och vad det i så fall kan väntas ha för konsekvenser för komplexitetsteorin), sannolikhetsteori, kryptologi, antropiska resonemang à la Nick Bostrom, mänskligt medvetande (med precisa och lätt lustfyllda sågningar av John Searles och Roger Penroses respektive bidrag till området), kreationism, och det fantasieggande tankeexperiment som benämns Newcombs paradox och som jag skall återkomma till i morgondagens bloggpost. Mer än en gång ser sig Aaronson manad att leverera disclaimern att han inom fysiken blott är en amatör, men det står klart att i den mån detta överhuvudtaget är sant så är han en extraordinärt bildad sådan. Referensen till Demokritos - den grekiske filosof som verkade under 400- och 300-talen före Kristus och som införde atomteorin - är givetvis en anakronism av rang, men Aaronson begår den av goda skäl.

Genremässigt är boken, som ett slags lite egensinnigt mellanting mellan lärobok och populärvetenskap, en smula svårkategoriserad. Såsom akademiker med min huvudsakliga utbildning inte i datalogi men i ett annat matematiktungt STEM-ämne tror jag att jag har precis rätt sorts bakgrund för att få maximalt utbyte av boken. Det jag framför allt tar med mig från boken är vilket fantastiskt rikt tankebygge komplexitetsteorin utgör, med alla dess intrikata samband i den djungel av olika komplexitetsklasser (jämte ovan nämnda P och NP) som definierats. För mig fungerar också bokens originella stil utmärkt, men jag kan föreställa mig att en och annan läsare kan komma att reta sig på Aaronsons drivna jargong, där ironin sällan är långt borta. Smaka t.ex. på följande inledningsmening på det kapitel i vilket komplexitetsteorin först introduceras:

By any objective standard, the theory of computational complexity ranks as one of the greatest intellectual achievements of humankind - along with fire, the wheel, and computability theory. That it isn't taught in high schools is really just an accident of history. [s 44]

Eller följande inledning till kapitlet om kvantmekanik:

There are two ways to teach quantum mechanics. The first way - which for most physicists today is still the only way - follows the historical order in which the ideas were discovered. So, you start with classical mechanics and electrodynamics, solving lots of grueling differential equations at every step. Then you learn about the "blackbody paradox" and various strange experimental results, and the great crisis these things posed for physics. Next you learn a complicated patchwork of ideas that physicists invented between 1900 and 1926 to try to make the crisis go away. Then, if you're lucky, after years of study you finally get around to the central conceptual point: that nature is described not by probabilities (which are always nonnegative), but by numbers called amplitudes that can be positive, negative, or even complex.

Look, obviously the physicists had their reasons for teaching quantum mechanics this way, and it works great for a certain kind of student. But the "historical" approach also has disadvantages, which in the quantum information age becomes increasingly apparent. For example, I've had experts in quantum field theory - people who've spent years calculating path integrals of mind-boggling complexity - ask me to explain the Bell inequality to them, or other simple conceptual things like Grover's algorithm. I felt as if Andrew Wiles had asked me to explain the Pythagorean Theorem.

As a direct result of this "QWERTY" approach to explaining quantum mechanics - which you can see reflected in almost every popular book and article, down to the present - the subject acquired an unnecessary reputation for being complicated and hard. Educated people memorized the slogans - "light is both a wave and a particle," "the cat is neither dead nor alive until you look," "you can ask about the position or the momentum, but not both," "one particle instantly learns the spin of the other through spooky action-at-a-distance," etc. But they also learned that they shouldn't even try to understand such things without years of painstaking work.

The second way to teach quantum mechanics eschews a blow-by-blow account of its discovery, and instead starts directly from the conceptual core - namely, a certain generalization of probability theory to allow minus signs (and more generally, complex numbers). Once you understand that core, you can then sprinkle in physics to taste, and calculate the spectrum of whatever atom you want. This second approach is the one I'll be following here. [s 109-110]

Fotnot

1) Det som gör sambandet mellan komplexitetsteori och kvantdatorberäkningar särskilt hett är att ett kvantdatorgenombrott kan komma att utöka klassen av problem som vi kan lösa effektivt. Här finns dock utbredda vanföreställningar om hur radikal denna utökning kan väntas bli. Aaronson plockar ned dessa:

From reading newspapers, magazines, and so on, one would think a quantum computer could "solve NP-complete problems in a heartbeat" by "trying every possible solution in parallell," and then instantly picking the correct one.

Well, arguably that's the central misconception about quantum computing among laypeople. [s 145]

Och vad som kraftigt bidrar till denna "central misconception" är missförståndet att primtalsfaktorisering av stora heltal skulle vara ett NP-komplett problem. Det är visserligen sant att problemet tillhör NP, och att de snabbast kända klassiska (dvs icke-kvant) algoritmerna tar exponentiell tid på sig (något som, tack vare Shors algoritm, ett kvantdatorgenombrott skulle ändra på), men detta gör inte primtalsfaktorisering NP-komplett. Aaronson igen:

Over the course of my life, I must've met at least two dozen people who "knew" that factoring is NP-complete, and therefore that Shor's algorithm - since it lets us factor on a quantum computer - also lets us solve NP-complete problems on a quantum computer. Often these people were supremely confident of their "knowledge". [s 64-65]

Om Löbs sats och dess eventuella betydelse inom AI-forskning

Matematisk logik är långt ifrån det område av matematiken som jag har störst håg och fallenhet för, men jag blev för en tid sedan uppmärksammad på Löbs sats - en intressant släkting till Gödels båda ofullständighetssatser. På sidan 26 i sin bok Quantum Computing since Democritus (som jag rekommenderar mycket varmt och som jag alldeles säkert kommer att återkomma till här på bloggen) förklarar datalogen Scott Aaronson i omisskännlig stil vad satsen går ut på:

If a statement can be proved by using as an axiom that it's provable, then it can also be proved without using that axiom. This result is known as Löb's Theorem [...], though personally I think that a better name would be the "You-Had-the-Mojo-All-Along Theorem".

Förutom att vara ett fantasieggande och förbluffande resultat i sig självt, så verkar det som om Löbs sats eventuellt kan vara av betydelse inom AI (artificiell intelligens), och mer specifikt ett potentiellt hinder för det slags AI-självförbättringsspiral som annars eventuellt kan väntas ge upphov till en intelligensexpolsion, även kallad Singulariteten. Åtminstone är det något man funderar intensivt över på MIRI - Machine Intelligence Research Institute, som är (den här på bloggen ofta citerade) Eliezer Yudkowskys skötebarn. MIRI-matematikern Patrick LaVictoire behandlar Löbs sats och dess eventuella AI-relevans i sin välskrivna översiktsuppsats An introduction to Löb's Theorem in MIRI research.