fredag 11 januari 2019

Recognized by the BBC for our work on the long-term future of humanity

Yesterday (January 10), BBC and their features editor Richard Fisher published a long but highly comprehensible and easy-to-read article on The perils of short-termism: Civilisation's greatest threat. It focuses on the central human predicament of needing to weigh short-term versus long-term concerns, and highlights work we did at the GoCAS guest researcher program on existential risk to humanity during September-October 2017 which Anders Sandberg and I organized at Chalmers and the University of Gothenburg. That particular piece of work was turned into the paper Long-term trajectories of human civilization,1 which I've reported on before on this blog.2 Here's an extract from the BBC piece:
    In early September 2017, the world’s attention was focused on various pieces of salient news: Hurricane Irma was brewing in the Caribbean, Donald Trump’s administration had announced plans to dismantle an Obama-era immigration policy, and photographers captured Prince George’s first day at school.

    Around the same time, a small, little-known group of researchers were meeting at a workshop in Gothenburg, Sweden with a goal to look much, much further ahead – far beyond this latest news cycle. Motivated by a moral concern for our descendants, their goal was to discuss the existential risks facing humanity.

    The meeting would lead to an intriguing and readable co-authored paper called Long-term Trajectories of Human Civilisation, which attempts to “formalise a scientific and ethical field of study” for thousands of years hence. As they write: “To restrict attention to near-term decades may be akin to the drunk searching for his keys under the streetlight: it may be where empirical study is more robust, but the important part lies elsewhere.”

    The Trajectories group began with the assumption that, while the future is uncertain, it is not unknown. We can predict many things with reasonable confidence, via observed patterns, repeating events, and established behaviours throughout human history. For example: biology suggests that each mammalian species exists, on average, for roughly 1 million years before it becomes extinct; history shows that humanity has continually colonised new lands and strived to transform our abilities with technology; and the fossil record demonstrates that global extinction events can and do happen.

    Extrapolating these patterns and behaviours into the future allowed them to map out four possible long-term trajectories for our species:

    • Status quo trajectories, in which human civilisation persists in a broadly similar state into the distant future.

    • Catastrophe trajectories, in which one or more events cause significant harm to human civilisation.

    • Technological transformation trajectories, in which radical technological breakthroughs put human civilisation on a fundamentally different course.

    • Astronomical trajectories, in which human civilisation expands beyond its home planet and into the accessible portions of the cosmos.
    Following their discussions in Sweden and afterwards, the Trajectories group concluded that the ‘status quo’ path would be a pretty unlikely scenario once you get to longer-term timescales. “Instead, civilisation is likely to either end catastrophically or expand dramatically,” they write.

    So on the optimistic path, merging with some as-yet-unimagined technology or colonising the stars are two scenarios that are entirely possible with the passage of enough time, they suggest. Both paths could lead to our descendants thriving for millions if not billions of years, spreading out into the Universe or evolving into a more advanced species.

    But we also are almost certain to face serious existential risks along the way. Natural disasters have pruned life on Earth continually – this much we know. What worries the Trajectories researchers more is that in the 20th and early 21st Century we've added a whole host of additional human-made risks into the mix too – from nuclear armageddon to AI apocalypse to anthropogenic climate change.

    In their paper, they lay out a variety of chilling scenarios where civilisation is rewound back to pre-industrial times, or wiped out altogether. [...]

    The researchers can't predict which order any of this will play out. They can predict, though, that it’s our trajectory to shape – for better or worse, the decisions we make this century could shape the next one and far beyond. “The stakes are extremely large, and there may be a lot that people today can do to have a positive impact,” they write.

    The question is: will we?

"The Trajectories group" - well, why not, it has a nice ring to it. Read the entire BBC article here!

Footnotes

1) Seth D. Baum, Stuart Armstrong, Timoteus Ekenstedt, Olle Häggström, Robin Hanson, Karin Kuhlemann, Matthijs M. Maas, James D. Miller, Markus Salmela, Anders Sandberg, Kaj Sotala, Phil Torres, Alexey Turchin and Roman V. Yampolskiy (2019) Long-term trajectories of human civilization, Foresight, to appear.

2) The same paper recently also caught the attention of Swedish public radio.

måndag 7 januari 2019

Om existentiell risk och mänsklighetens framtid i P1:s Vetandets värld idag

Jag vill varmt rekommendera dagens avsnitt av P1:s Vetandets värld, trots att dess rubrik Så räknar man ut mänsklighetens framtid lovar något mer än avsnittet och dess medverkande kan leverera. Jag kommer utförligt till tals, jämte en rad andra forskare: Anders Sandberg, Simon Beard, Luke Kemp och Lauren Holt, samt David Sumpter1 vars korta inhopp på slutet tjänar att illustrera hur kontroversiell det slags radikal och långsiktig framtidsforskning är som avsnittet behandlar.

Det gästforskarprogram om existentiell risk som Anders och jag organiserade på Chalmers och Göteborgs universitet hösten 2017 omnämns, med särskilt fokus på den artikel rubricerad Long-term trajectories of human civilization som en rad av de medverkande gästforskarna, med Seth Baum i spetsen, bidrog till. Även den ökända gemapokalypsen behandlas kort, liksom min artikel Challenges to the Omohundro—Bostrom framework for AI motivations.

Fotnot

1) Jag uppskattar varmt matematikerkollegan David Sumpters och mina återkommande diskussioner om vetenskap och futurologi, trots (eller tack vare!) vår djupa meningsskiljaktighet i synen på vetenskap, som läsaren kan få en partiell inblick i genom Davids gästinlägg här på bloggen i oktober 2013 och mitt svar.

fredag 4 januari 2019

A draft on ethical guidlines from the European Commission's High-Level Expert Group on Artificial Intelligence

On December 18 last year, the European Commission's High-Level Expert Group on Artificial Intelligence released a draft for their Ethics Guidlines for Trustworthy AI. They are now inviting stakeholders to submit comments on the draft, with a deadline on January 18. As a world citizen and a human being, I consider myself very much a stakeholder (and perhaps one or two of the readers of this blog will feel the same?), so I took the time to submit some comments (see this pdf) on a few of the central sections of the report.

torsdag 3 januari 2019

Debattörer som irriterat mig i julhelgen, del 2: Ruin

Det här handlar inte om Hans Ruin personligen. Det är visserligen sant att jag tidigare haft starkt kritiska synpunkter på denne professor i filosofi vid Södertörns högskola, vad gäller såväl hans syn på sitt ämne1 som hans privatmoral2, men det jag skriver här har lite eller inget alls med de diskussionerna att göra, utan är snarare att betrakta som en brandkårsutryckning för att rätta till en del av dumheterna i hans understreckare i SvD häromdagen, rubricerad Den envisa myten om intelligenta maskiner.

Större delen av texten utgörs av en visserligen summarisk och starkt förenklad, men givet det någorlunda godtagbar, redogörelse för delar av den artificiella intelligensens (AI:ns) idéhistoria.3 Det är när Ruin mot slutet av texten lämnar idéhistorien bakom sig och ger sig i kast med att förutsäga hur AI kommer att vidareutvecklas i framtiden som problemen hopar sig. Han låtsas ha läst Nick Bostroms Superintelligence från 2014 och Max Tegmarks Life 3.0 från 2017, men avslöjar omdelebart sin bluff genom att påstå att båda utgår "från premissen att dagens självlärande maskiner inom en nära framtid kan alstra en 'intelligensexplosion'". Nej, detta är inte en premiss i någon av böckerna. Såväl Bostrom som Tegmark diskuterar intelligensexplosionsscenarier, men i båda fallen handlar det blott om ett bland flera möjliga scenarier, och i synnerhet Bostrom diskuterar noggrant och med en väl tilltagen dos epistemisk ödmjukhet vad som talar för respektive emot en intelligensexplosion.

Redan i påföljande mening kommer nästa ruinska felaktighet, då han påstår att "genom att hänvisa till hjärnans oerhört komplexa uppbyggnad av neuroner och synapser menar [såväl Bostrom som Tegmark] att superintelligens endast är en fråga om när maskinerna närmar sig en jämförbar komplexitet i beräkningskapacitet". Helt fel igen. Vad Ruin här gör är att (till synes blint och oreflekterat) återge en av de vanligast förekommande och samtidigt fånigaste vanföreställningarna kring AI-futurologi. Sanningen är att varken Bostrom eller Tegmark eller någon annan seriös AI-futurolog hävdar att beräkningskapacitetsutveckling ensam skulle få sådana konsekvenser. Tvärtom: utan rätt slags mjukvara ingen superintelligens. Det närmaste ett korn av sanning som finns i den av Ruin återgivna missuppfattningen är att en utbredd (och rimlig) ståndpunkt bland experter på området är att ju mer beräkningskapacitet som hårdvaruutvecklingen leder fram till, desto bättre är utsikterna att skapa den mjukvara som krävs för så kallad AGI (artificiell generell intelligens) eller superintelligens.

Med stöd i sitt fria fabulerande kring vad som står i Bostroms och Tegmarks respektive böcker kommer Ruin fram till att skapandet av superintelligens är "varken tekniskt eller filosofiskt sannolikt". Inför denna fras blir jag en smula perplex, ty trots mina mer än 25 år som forskare i sannolikhetsteori har jag aldrig hört talas om den påstådda distinktionen mellan "teknisk" och "filosofisk" sannolikhet. Så vad menar Ruin här? Troligtvis inget annat än att han tyckte att det skulle låta fräsigare och mer kunnigt med "varken tekniskt eller filosofiskt sannolikt" än att kort och gott skriva "osannolikt".

Så hur står det i själva verket till med den sannolikhet som här diskuteras? Det vet vi inte. Frågan om huruvida och i så fall på vilken tidsskala som vi kan vänta oss att AI-utvecklingen når fram till AGI och superintelligens är vidöppen, något som framgår med all önskvärd tydlighet såväl av Bostroms bok som av Tegmarks, och som omvittnas ytterligare av de enkätundersökningar som gjorts bland AI-forskare (se t.ex. Dafoe och Russell, och Grace et al). Det förståndiga att göra i detta läge är att acceptera den stora osäkerheten, inklusive konstaterandet att möjligheten att superintelligens kan komma att utvecklas under innevarande århundrade förtjänar att tas på allvar, givet hur många experter som gör just det.

Ändå träder den ene efter den andre publike debattören, med en expertis (i Ruins fall en omfattande belästhet på den gamle kontinentalfilosofen Martin Heidegger) som är av i bästa fall oklar relevans för AI-futurologi, fram och meddelar att det där med superintelligens och AI-risk, det är minsann inget att bry sig om. För Ruin är långt ifrån ensam om att dra fram en sådan bedömning mer eller mindre ur röven, och med stöd i sin professorstitel eller annan vida accepterad kredibilitetsgrund basunera ut den för folket. För bara någon månad sedan gjorde den populäre nyliberale ideologen Johan Norberg samma sak. För att inte tala om kungen av AI-riskförnekeri, Steven Pinker. Och det finns många fler: se gärna den amerikanske futurologen Seth Baums studium av fenomenet.

Figurer som Ruin, Norberg och Pinker verkar dock komma mycket lindrigare undan med sitt AI-bullshitteri jämfört med motsvarande uttalanden från klimatförnekare om den globala uppvärmningen och dess orsaker. En trolig förklaring till detta är att kunskapsläget inom AI-futurologin är så väldigt mycket osäkrare än det inom klimatvetenskapen. Men att använda sin auktoritet i det offentliga rummet till att tvärsäkert torgföra grundlösa påståenden i vetenskapliga frågor, det är lika fel oavsett vilken grad av vetenskaplig osäkerhet som råder på det aktuella området.

Fotnoter

1) Min kritik på denna punkt handlar mest om hur Ruin positionerade sig i debatter med Torbjörn Tännsjö under 2016. Det är knappast någon större överdrift att hävda att han uttryckte en önskan att reducera filosofiämnet till läsandet av gamla klassiker, och dömde ut alla försök att tänka nya tankar. Det var också från denna förgrämda gammelmansposition han samma år yttrade sig om Macchiarini-skandalen.

2) Jag syftar här på Ruins åtgärder (som rapporterats om här och var) i syfte att tysta ned offer för sin gode vän Jean-Claude Arnaults sexuella övergrepp. Saken försatte mig i vissa smärre bryderier sedan jag anmält mig att delta i ett akademiskt symposium i Göteborg den 8 oktober förra året, och därefter fått klart för mig att Ruin fanns med bland talarna. Jag kände omedelbart att jag inte ville sitta tyst och utan minsta markering mot Ruin på mötet, då det skulle kunna förstås som en form av bekräftelse av att jag överser med hans illgärningar och välkomnar honom på mötet. Att utebli från mötet ville jag heller inte då mycket av intresse stod på programmet. Vidare skulle det ha varit alltför avigt och antisocialt att under frågestunden efter hans föredrag resa mig och säga något i stil med "Det här är måhända en smula off topic, men hur ser du på etiken kring nedtystandet av offer för sexuella övergrepp?". Den kompromiss jag till slut fastnade för, efter att först ha hört av mig till mötesarrangörerna med mina reservationer kring Ruins medverkan i symposiet (något som i alla fall förde det goda med sig att arrangörerna meddelade honom förekomsten av sådana synpunkter bland anmälda deltagare), var att under mötet bära den egenhändigt designade t-shirt som avbildas här intill. (Hashtagen på t-shirten kom till inom den amerikanska grenen av metoo, som stöd för Christine Blasey Ford (och protest mot den backlash som drabbade henne) när hon i september förra året vittnade mot den supreme court-nominerade domaren Brett Kavanaugh.)

3) Jag kan dock inte låta bli att påpeka att Ruin ger på tok för stor kredibilitet åt John Searles starkt suggestiva men i grunden feltänkta tankeexperiment Det kinesiska rummet. Se exempelvis Avsnitt 3 i min uppsats Aspects of mind uploading för en motivering till mitt stränga ordval "feltänkt".

onsdag 2 januari 2019

Debattörer som irriterat mig i julhelgen, del 1: Andersson

Den som följt min blogg från start känner till min beundran för Lena Andersson, bl.a. från en närmast devot reflektion från 2011 kring hennes bok Förnuft och högmod. Hennes romaner Egenmäktigt förfarande (2013) och Utan personligt ansvar (2014) fick mig att om möjligt uppvärdera hennes författarskap ytterligare, och det var först ett eller två år senare, då allt fler av hennes DN-krönikor kom att ägnas åt det något uttjatade och i längden ointressanta ämnet "skatt är stöld", som kurvan började dala.

Föga anade jag då vilket nadir hennes DN-kolumn skulle nå framemot juletid 2018, då hon ägnade sina kolumner den 8 december och den 22 december åt att angripa våldtäktsdomarna mot Jean-Claude Arnault och att försvara dennes rätt att fritt ta för sig av unga kvinnor i sin omgivning. Speciellt i den senare av dessa visar hon, med formuleringar som "När nu så gott som all lustlös sexualitet ska rubriceras som våldtäkt", och lite senare i samma text motsvarande påstående om "de flesta sexuella obehag", att hon helt missat vad såväl metoo som själva begreppet sexuella övergrepp handlar om. Ingen har väl förespråkat förbud mot sexuella handlingar som inte väcker lust och behagskänslor hos den andre? För att åtminstone skänka Lena Andersson en vokabulär som gör det möjligt för henne att förstå vad saken egentligen handlar om vill jag lära henne ett ord:

samtycke

S-A-M-T-Y-C-K-E

Samtycke betyder ungefär medgivande, eller att den andre går med på den aktuella aktiviteten. Samtycka kan man göra (eller inte göra) oavsett lust/olust/behag/obehag/etc. Detta kan tyckas ganska enkelt, men att döma av hennes DN-kolumner verkar Lena Andersson inte ha tillstymmelse till susning om att det är samtycket som är den springande punkten.

Det är en smula smärtsamt att läsa sådana dumheter av en författare man i grunden beundrar, och som om inte detta vore nog drabbades jag på själva julafton av P1:s utsändning av hennes så kallade julberättelse En kör av röster, där hon broderar ut sina missförstånd än längre än i DN-kolumnerna, och redovisar en närmast Jonas Millardsk tankevärld. För att bespara läsaren eländet att behöva lyssna på den återger jag här (SPOILER ALERT!) julberättelsens budskap i kondenserad form:
    Åh stackars stackars alla dessa oskyldiga men (oturligt nog) sexuellt attraktiva stackars män som nu tvingas skaka galler på grund av metoo. Och stackars alla oss som drar på oss PK-omgivningens brännmärkning sedan vi haft mage att ifrågasätta antingen metoo eller att all koldioxid härrör ur mänsklig aktivitet. Och kanske märkligast av allt i denna underliga nya tid är att man tydligen inte ens inom äktenskapets ramar längre fritt kan förfoga över den andres kropp. Förresten så kommer nog inom kort en lag som tvingar kommuner att ingripa så snart en av deras invånare känner sig lite moloken och ensam.