torsdag 7 december 2017

Diverse om AI

Idag har jag samlat några korta saker om AI (artificiell intelligens):
  • Igår chockades schackvärlden av DeepMinds offentliggörande av programmet AlphaZero, som utan annan schacklig förkunskap än själva reglerna tränade upp sig själv inom loppet av timmar (men stor datorkraft) att uppnå spelstyrka nog att i en match om 100 partier besegra regerande datorvärldsmästaren Stockfish 28 (som i sin tur är överlägsen alla mänskliga stormästare) med utklassningssiffrorna 64-36 (28 vinster, 72 remier och 0 förluster). Här finns tio av partierna för genomspelning, och förutom AlphaZeros fabulösa taktiska och strategiska färdigheter kan man fascineras av att den på egen hand återupptäckt en rad av våra traditionella spelöppningar (inklusive långtgående varianter i Damindiskt, Spanskt och Franskt), något som måhända kan tas som intäkt i att vi inte varit totalt ute och cyklat i vår mänskligt utvecklade spelöppningsteori.

    Att ett nytt schackprogram är bättre än de tidigare har givetvis hänt förut och är inte i sig sensationellt; paradigmskiftet består i att programmet uppnått sin spelstyrka på egen hand från scratch. Det kan hända att schacksajten chess24.com har rätt i sin spekulation att "the era of computer chess engine programming also seems to be over". Det kan också hända att jag överreagerar på grund av den nära relation till just schack jag haft i decennier (det är kanske inte ens givet att det vi fick veta igår är ett större genombrott än DeepMinds motsvarande framsteg i Go tidigare i år), men händelsen får mig att överväga en omvärdering av hur snabbt AI-utvecklingen mer allmänt går idag. Eliezer Yudkowskys uppsats There’s No Fire Alarm for Artificial General Intelligence är värd att åtminstone skänka en tanke i detta sammanhang.

  • Jag hade verkligen hoppats att aldrig mer behöva höra talas om de så kallade No Free Lunch-satserna - ett knippe triviala och på det hela taget oanvändbara matematiska observationer som genom flashig paketering kunnat få ett oförtjänt gott rykte och användas som retoriskt tillhygge av kreationister. Med min uppsats Intelligent design and the NFL theorems (samt den uppföljande rapporten Uniform distribution is a model assumption) för ett årtionde sedan hoppades jag ta död på detta rykte. Och sedan dess har det faktiskt varit lite tystare kring NFL - även om det är som bäst oklart i vad mån jag har del i äran av det. Men när nu ännu en AI-debattör av det slag som inte tror på superintelligens och därmed förknippad AI-risk och som är beredd att ta till precis vilka argument som helst för denna ståndpunkt (sådana debattörer plockar jag ned och här på bloggen) dykt upp, så borde jag måhända inte förvånas över att denne klämmer till med NFL-satserna i sin argumentation. Trams!

  • Frågan om superintelligent AI och huruvida sådan är inom räckhåll för AI-forskningen (och i så fall i vilket tidsperspektiv) är mycket svår, och även kunniga och intelligenta personers intuitioner går kraftigt isär. I ett sådant läge är jag såklart inte opåverkad av vad forskare och tänkare jag räknar som av yttersta toppklass tänker om saken även då de inte har så mycket att tillföra i sak. Därför är det av intresse att datalogen Scott Aaronson nu meddelat en justering av sin syn på superintelligens och AI-risk (händelsevis i samma bloggpost som uppmärksammade mig på det i föregående punkt omtalade NFL-tramset). Så här skriver han:
      A decade ago, it was far from obvious that known methods like deep learning and reinforcement learning, merely run with much faster computers and on much bigger datasets, would work as spectacularly well as they’ve turned out to work, on such a wide variety of problems, including beating all humans at Go without needing to be trained on any human game. But now that we know these things, I think intellectual honesty requires updating on them. And indeed, when I talk to the AI researchers whose expertise I trust the most, many, though not all, have updated in the direction of “maybe we should start worrying.” (Related: Eliezer Yudkowsky’s There’s No Fire Alarm for Artificial General Intelligence.)

      Who knows how much of the human cognitive fortress might fall to a few more orders of magnitude in processing power? I don’t—not in the sense of “I basically know but am being coy,” but really in the sense of not knowing.

      To be clear, I still think that by far the most urgent challenges facing humanity are things like: resisting Trump and the other forces of authoritarianism, slowing down and responding to climate change and ocean acidification, preventing a nuclear war, preserving what’s left of Enlightenment norms. But I no longer put AI too far behind that other stuff. If civilization manages not to destroy itself over the next century—a huge “if”—I now think it’s plausible that we’ll eventually confront questions about intelligences greater than ours: do we want to create them? Can we even prevent their creation? If they arise, can we ensure that they’ll show us more regard than we show chimps? And while I don’t know how much we can say about such questions that’s useful, without way more experience with powerful AI than we have now, I’m glad that a few people are at least trying to say things.

  • Som meddelades i en tidigare bloggpost så hade Stockholm besök förra månaden av två av vår tids vassaste och kanske viktigaste filosofer: Nick Bostrom och Daniel Dennett. I samband med marknadsföringen av de svenska översättningarna av deras respektive senaste böcker hade Fri Tankes förlagschef Christer Sturmark lyckat få till stånd ett seminarium med dem båda, under rubriken Medvetandets mysterium och tänkande maskiner. Jag var där, tillsammans med cirka 800 andra (en fantastisk siffra för ett filosofiseminarium!), och mina förväntningar var ganska höga. Framför allt hoppades jag att Dennett äntligen skulle pressas att ge solida argument för den ståndpunkt han ofta ventilerat men sällan eller aldrig motiverat: att det slags AI-risk (förknippad med uppkomsten av superintelligens) som Bostrom behandlar i sin bok inte är något att bry sig om.

    Så hur gick det? Vad tyckte jag om seminariet? Gav Dennett det slags besked jag hoppades på? Istället för att orda om detta här hänvisar jag till det poddsamtal som Sturmark och jag spelade in dagen efter seminariet, och som i hög grad kretsade kring vad Bostrom och Dennett hade talat om. Jag tror att vi fick till ett hyfsat givande samtal, så lyssna gärna på det! Men framför allt, tag gärna del av videoinspelningen av själva seminariet!

torsdag 30 november 2017

Från Bollstabruk till Hägersten

I Mats Jonssons nya serieroman Nya Norrland löper två historier parallellt, för att då och då mötas och knyta ihop boken till en fungerande helhet. Dels har vi historien om den ångermanländska bruksorten Bollstabruks uppgång och fall, dels har vi den om författarens egen tidstypiska kluvenhet mellan samma Bollstabruk i vilket han växte upp och det Stockholm där han hunnit tillbringa halva sitt liv. Båda historierna är påfallande nyansrika. Den första spänner över århundraden men har sitt främsta fokus på 1900-tal och i ännu högre grad nutid, och kan fungera utmärkt som ännu en fallstudie ihop med Po Tidholms briljanta och bredare Norrland: essäer och reportage. I den andra kommer självbiografikern Jonsson fram på nytt - det är just i den rollen som han tidigare gjort sig ett namn. Han tecknar inte vackert, men är en skicklig berättare och beskriver sitt liv med skoningslös (mot sig själv och andra) skaprsynthet. I den nya boken får man (frånsett några barndomsåterblickar) ta del av det skede i hans liv som kan beskrivas som modern medelklassig urban familjefarstillvaro. Livet i 2010-talets Hägersten med dess bostadsrättsföreningar och fria skolval framstår inte som lika dramatiskt som tidigare faser i Jonssons liv, men en viss lättnad är det faktiskt att få veta att han tagit sig dit och att han inte återfallit i det slags mestadels beklämmande kärlekshistorier som skildras i hans tidigare bok Hey Princess.

lördag 25 november 2017

900 grader

Att vinkelsumman i en triangel är 180° känner de flesta till, och ganska många känner nog också till att det bara gäller i det euklidiska planet. I icke-euklidisk geometri (som exempelvis sfärisk) uppstår andra vinkelsummor.

I kaffepausen till en sannolikhetsteoriworkshop tidigare i höstas frågade matematikerkollegan Johan Wästlund mig om jag händelsevis någon gång tänkt på hur stor vinkelsumman som mest kan bli i sfärisk geometri. Det hade jag inte, men då jag blev klar över svaret frågade jag Johan om det möjligen skulle kunna gå att bädda in svaret i en ny text till någon gammal Ebba Grön-låt. Han tände direkt på idén, och återkom till mig några dagar senare med följande text:
    Om du mäter en triangel så blir dess
    vinkelsumma enligt Euklides
    alltid samma, men om du kan kröka
    på själva ytan, kan vinklarna öka!

    Vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv
    Ja, vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv

    Det blir
    Nio hundra grader
    du kan lita på mig du kan lita på mig
    Nio hundra grader
    du kan lita på mig du kan lita på mig

    Euklides hade fem axiom,
    men sen kom det en astronom
    och sa det femte det kan inte gälla,
    där inga linjer är parallella

    Vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv
    Ja, vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv

    Det blir
    Nio hundra grader
    du kan lita på mig du kan lita på mig
    Nio hundra grader
    du kan lita på mig du kan lita på mig

    Jag ska förklara om du slutat tro
    Triangelns hörn de har rendez-vous
    på andra sidan, där sfären tar slut
    upp-och-ner, och med insidan ut

    Vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv
    Ja, vi ryser i själen, det är så ballt,
    vi snackar ett plan, som går ett varv

    Det blir
    Nio hundra grader
    du kan lita på mig du kan lita på mig
    Nio hundra grader
    du kan lita på mig du kan lita på mig

    Nio hundra grader...

Och nu har YouTube äntligen begåvats med en inspelning av denna sång! Det är jazzkvartetten Da Möbius band (bestående av matematikerna Mats Andersson, Samuel Bengmark, Torbjörn Lundh och Klas Richardsson) som står för det eminenta framförandet:

tisdag 21 november 2017

Killer robots and the meaning of sensationalism

When I give talks on AI (artificial intelligence) futurology, I usually point out autonomous weapons development as the most pressingly urgent problem we need to deal with. The open letter on autonomous weapons that I co-signed (among thousands of other scientists) in 2015 phrases the problem well, and I often quote the following passage:
    If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.
Some of these points were made extremely vividly in a video (featuring Stuart Russell) released a couple of weeks ago by the Campaign to Stop Killer Robots. The video is very scary, but I encourage you to watch it nevertheless:

In an op-ed last Wednesday in The Guardian that has gained much attention, computer scientist Subbarao Kambhampati criticizes the video and the campaign. Kambhampati does have have some important points, in particular his main concern, which is that a UN ban on killer robots is unlikely to be successful. There is much to say about this, but here I'd just like to comment on a much narrower issue,1 namely Kambhampati's use of the term sensationalism. He repeatedly calls the video sensationalist, and adds that it is "more an exercise at inflaming rather than informing public opinion". While it is true that the content of the video is sensational, the term sensationalism also signals the claim that the video's message is unwarranted, exaggerated and overblown. But it is not, or at least Kambhampati does not provide any evidence that it is; in fact, his main concern in the op-ed about the implausibility of a weapons ban being effective just adds to the plausibility of the nightmarish scenario depicted in the video becoming reality. The severe badness of a future scenario does not in itself warrant calling warnings about such a scenario sensationalism.2 For that, one would need the scenario to be farfetched and improbable. Kambhampati's dichotomy between "inflaming" and "informing" is also unwarranted. The video is highly informative, and if the severe danger that it informs about makes people agitated, then that is as it should be.

Footnotes

1) I can't resist, however, commenting on one more thing about Kambhampati's op-ed, namely his full disclosure at the end, containing the passage "However, my research funding sources have no impact on my personal views". This, in my opinion, is almost synonymous to saying "I am incredibly naive, and I expect my readers to be so as well".

2) Thus, Kambhampati's use of the term sensationalism is analogous to how climate denialists have for a long term routinely used the term alarmism whenever results from climate science indicate that global warming may turn out to have severe conequences.

tisdag 14 november 2017

Nya framträdanden i radio och TV

På två dagar har jag nu hunnit medverka i två mediala direktsändningar, där jag fått tillfälle att prata om mänsklighetens famtid och lite av den forskning vi bedrev i det nyligen avslutade GoCAS-gätforskarprogrammet om existentiell risk. De går båda att ta del av i efterhand: I samtalet med Stefan Livh kom jag in på det seminarium i Stockholm med Nick Bostrom och Daniel Dennett som jag avsåg att besöka senare samma dag (vilket också skedde). Den som vill höra vad jag tyckte om seminariet får ge sig till tåls en smula, tills Fri Tanke förlag publicerar (troligen nästa vecka) det poddsamtal jag nyss hade med förlagschefen Christer Sturmark, ett samtal som kom att beröra både Bostrom-Dennett-seminariet och diverse relaterade frågeställningar kring medvetande, artificiell intelligens och existentiell risk.

fredag 3 november 2017

Lidande - en filosofisk läslista

Häromveckan satt jag i en taxi i Bryssel tillsammans med kognitionsvetaren Steven Pinker och filosofen Thomas Metzinger. Vi kom in på frågan om huruvida det är glädjande att vi har medvetanden, eller om detta är något som mest bara för med sig en massa lidande. Att de flesta människor väljer att leva vidare snarare än att ta livet av sig kan peka mot att livet och våra medvetna upplevelser mestadels är något gott, men jag framhöll viss skepsis mot sådan argumentation, ty nog finns det evolutionsbiologiska skäl att anta att oavsett den faktiska hedoniska nivån (uttryckt exempelvis i proportionen välbefinnande kontra lidande) i våra liv, så hittar våra hjärnor ett sätt att få oss att tro att livet är värt att leva. Pinker invände genast att det förefaller omöjligt att missta sig på huruvida man mår bra eller lider, men Metzinger gjorde en ansats att försvara min tankegång. Tyvärr avbröts vi i det läget av att den korta taxiresan tog slut, men han (Metzinger alltså) hänvisade mig senare1 till sin essä Suffering - en läsvärd filosofisk studie av fenomenet lidande, där vår svårighet att rätt bedöma den hedoniska nivån i våra liv är en av flera intressanta poänger som inskärps.

I det två månader långa och nyligen avslutade GoCAS-gästforskarprogrammet i Göteborg om existentiell risk talade vi en hel del om lidande. Det är lätt gjort inom existentiell risk-studier att oreflekterat betrakta mänsklighetens utplåning som det värsta som kan hända, men det kan finnas anledning att ifrågasätta den implicita premissen, till förmån för ståndpunkten att ett ännu värre utfall skulle kunna vara ett scenario där vi lyckas med en intergalaktisk rymdkolonisering men råkar fylla universum med astronomiska mängder svårt lidande. Triggad av diskussionerna i GoCAS-programmet, jämte den avbrutna taxidiskussionen i Bryssel, tänker jag här bjuda på en liten (och föga systematisk) läslista på temat lidande och hur vi bör se på det i moralfilosofiska termer. Inklusion av en text i listan betyder inte att jag ställer mig bakom dess ståndpunkter, utan bara att jag finner dem värda att reflektera över. Varsågoda!
  • Först har vi som sagt Thomas Metzingers uppsats Suffering.
  • En annan filosof, David Benatar, är känd för sin bok Better Never to Have Been: The Harm of Coming into Existence. Jag har (ännu) inte läst boken, men rekommenderar hans färska uppsats Having children is not life-affirming: it's immoral i vilken han argumenterar för den ytterst kontroversiella ståndpunkten att ett människoliv tenderar att föra med sig så mycket lidande att det helt enkelt är omoraliskt att skaffa barn. Följande passage i uppsatsen ansluter till ovan nämnda taxidiskussion:
      The suggestion that life is worse than most people think is often met with indignation. How dare I tell you how poor the quality of your life is! Surely the quality of your life is as good as it seems to you? Put another way, if your life feels as though it has more good than bad, how could you possibly be mistaken?

      It is curious that the same logic is rarely applied to those who are depressed or suicidal. In these cases, most optimists are inclined to think that subjective assessments can be mistaken. However, if the quality of life can be underestimated it can also be overestimated. Indeed, unless one collapses the distinction between how much good and bad one’s life actually contains and how much of each a person thinks it contains, it becomes clear that people can be mistaken about the former. Both overestimation and underestimation of life’s quality are possible, but empirical evidence of various cognitive biases, most importantly an optimism bias, suggests that overestimation is the more common error.

  • En klassiker på Scott Alexanders formidabelt läsvärda blogg Slate Star Codex är bloggposten Meditations on Moloch, som bättre än något annat jag läst visar hur ofantligt svårt det är att skapa och i det långa loppet bevara ett gott samhälle (i betydelsen ett samhälle där invånarna upplever lycka och välbefinnande), och hur starka de evolutionära, ekonomiska och spelteoretiska krafter är som driver på i motsatt riktning. Detta understryker relevansen i framtidsscenarier med astronomiska mängder lidande.
  • Negativ utilitarism (NU) är en moralfilosofisk inriktning som fokuserar på minimering av lidande (och mindre eller inte alls på förbättringar i den andra änden av den hedoniska skalan, ökandet av välbefinnande). Påverkad av Toby Ords eminenta uppsats Why I'm Not a Negative Utilitarian har jag tenderat att avfärda NU, men saken är möjligen inte fullt så enkel som jag tidigare tänkt, och Simon Knutssons kritik av Ord är värd att ta del av (se även Knutssons The World Destruction Argument).
  • Relaterad till NU, men inte samma sak (genom att vara inte ett moralsystem utan snarare en teori om hur vi är funtade) är så kallad tranquilism; se Lukas Gloors uppsats om saken.
Notera slutligen att jag här helt har ignorerat skönlitteraturen, som givetvis har ofantligt mycket intressant att bjuda på i ämnet lidande.

Fotnot

1) Vilket skedde i samband med vårt seminarium i EU-parlamentet dagen efter.

fredag 27 oktober 2017

On Tegmark's Life 3.0

I've just read Max Tegmark´s new book Life 3.0: Being Human in the Age of Artificial Intelligence.1 My expectations were very high after his previous book Our Mathematical Universe, and yes, his new book is also good. In Tegmark's terminology, Life 1.0 is most of biological life, whose hardware and software are both evolved; Life 2.0 is us, whose hardware is mostly evolved but who mostly create our own software through culture and learning; and Life 3.0 is future machines who design their own software and hardware. The book is about what a breakthrough in artificial intelligence (AI) might entail for humanity - and for the rest of the universe. To a large extent it covers the same ground as Nick Bostrom's 2014 book Superintelligence, but with more emphasis on cosmological perspectives and on the problem of consciousness. Other than that, I found less novelty in Tegmark's book compared to Bostrom's than I had expected, but one difference is that while Bostrom's book is scholarly quite demanding, Tegmark's is more clearly directed to a broader audience, and in fact a very pleasant and easy read.

There is of course much I could comment upon in the book, but to keep this blog post short, let me zoom in on just one detail. The book's Figure 1.2 is a very nice diagram of ways to view the possibility of a future superhuman AI, with expected goodness of the consequences (utopia vs dystopia) on the x-axis, and expected time until its arrival on the y-axis. In his discussion of the various positions, Tegmark emphasizes that "virtually nobody" expects superhuman AI to arrive within the next few years. This is what pretty much everyone in the field - including myself - says. But I've been quietly wondering for some time what the actual evidence is for the claim that the required AI breakthrough will not happen in the next few years.2 Almost simultaneously with reading Life 3.0, I read Eliezer Yudkowsky's very recent essay There’s No Fire Alarm for Artificial General Intelligence, which draws attention to the fact that all of the empirical evidence that is usually held forth in favor of the breakthrough not being imminent describes a general situation that can be expected to still hold at a time very close to the breakthrough.3 Hence the purported evidence is not very convincing.

Now, unless I misremember, Tegmark doesn't actually say in his book that he endorses the view that a breakthrough is unlikely to be imminent - he just says that this is the consensus view among AI futurologists. Perhaps this is not an accident? Perhaps he has noticed the lack of evidence for the position, but chooses not to advertise this? I can see good reasons to keep a low profile on this issue. First, when one discusses topics that may come across as weird (AI futurology clearly is such a topic), one may want to somehow signal sobriety - and saying that an AI breakthrough in the next few years is unlikely may serve as such a signal. Second, there is probably no use in creating panic, as solving the so-called Friendly AI problem seems unlikely to be doable in just a few years. Perhaps one can even make the case that these reasons ought to have compelled me not to write this blog post.

Footnotes

1) I read the Swedish translation, which I typically do not do with books written in English, but this time I happened to receive it as a birthday gift from the translators Helena Sjöstrand Svenn and Gösta Svenn. The translation struck me as highly competent.

2) An even more extreme version of this question is to ask what the evidence is that, in a version of Bostrom's (2014) notion of the treacherous turn, the superintelligent AI already exists and is merely biding its time. It was philosopher John Danaher, in his provocative 2015 paper Why AI doomsayers are like sceptical theists and why it matters, who brought attention to this matter; see my earlier blog post A disturbing parallel between AI futurology and religion.

3) Here is Yudkowsky's own summary of this evidence:
    Why do we know that AGI is decades away? In popular articles penned by heads of AI research labs and the like, there are typically three prominent reasons given:

    (A) The author does not know how to build AGI using present technology. The author does not know where to start.

    (B) The author thinks it is really very hard to do the impressive things that modern AI technology does, they have to slave long hours over a hot GPU farm tweaking hyperparameters to get it done. They think that the public does not appreciate how hard it is to get anything done right now, and is panicking prematurely because the public thinks anyone can just fire up Tensorflow and build a robotic car.

    (C) The author spends a lot of time interacting with AI systems and therefore is able to personally appreciate all the ways in which they are still stupid and lack common sense.