torsdag 14 mars 2019

Hårt angripen i Humanisten

Igår fick jag hem det nya numret 1/2019 av Humanisternas medlemstidning Humanisten i brevlådan. Bland mycket annat bjuder det på ett rasande angrepp på mig av en medlem vid namn Ernst Herslow, som är så upprörd över vad jag i det föregående numret 4/2018 skriver om klimatfrågan och hur jag tycker att Humanisterna bör förhålla sig, att han villkorar sitt fortsatta medlemskap med att styrelsen tar avstånd från mina ståndpunkter. Med anledning av det utmärkta svaret till Herslow från styrelseledamoten Patrik Lindenfors förmodar jag att han (Herslow) nu lämnar Humanisterna.

Jag har ingen anledning att tro att Ernst Herslow läser denna blogg, men om någon läsare råkar känna honom undrar jag om ni kan hälsa honom följande.

Herslow är givetvis i sin fulla rätt att ha vilka (miss-)uppfattningar i klimatfrågan han vill, att torgföra dessa, och att gå till storms mot mig. Men jag skulle önska att, om han nu känner ett så trängande behov av att göra det sistnämnda, han höll sig till att angripa ståndpunkter jag faktiskt har och yttranden jag faktiskt gjort, istället för att fabulera och fantisera. Det irriterar mig en smula när han tillskriver mig ordvalet "avfälling"1 och den gravt felaktiga uppfattningen att "ett så komplext och kaotiskt system [som klimatet], med så många okända faktorer, styrs av en enda komponent, nämligen koldioxid"2.

Fotnoter

1) Såpass språkkänsla har jag att jag uppfattar det ordets sektmentalitetskonnotationer, och jag kan inte minnas att jag någonsin skulle ha tagit det i min mun.

2) Atmosfärens koldioxidhalt har stor betydelse för klimatet, men är givetvis inte den enda faktor som påverkar. Se t.ex. min gamla Uppsalainitiativet-bloggpost Koldioxid och procentsiffror för en närmare diskussion.

onsdag 13 mars 2019

Köpenhamnsapokalypsen

Torsdagen den 25 april uppträder jag på ITU (IT-universitetet i Köpenhamn) tillsammans med datalogen Thore Husfeldt med en debatt rubricerad "AI: Are we heading for the apocalypse?" (eller på ett annat språk "Kunstig intelligens: På vej mod apokalypsen?"). Kom och ta del av (och i) vår diskussion, om inte annat så för att äntligen få veta vad Thore och jag egentligen menade när vi i en gemensam debattartikel i Sydsvenska Dagbladet den 19 november förra året framhöll att "vi två som skriver denna text är djupt oeniga".

Skälet till att jag meddelar detta redan nu är att förhandsanmälan är obligatorisk och att mer än hälften av platserna till föreställningen redan gått åt. Så skynda fynda!

måndag 11 mars 2019

Our special issue on existential risk to humanity is now published

Regular visitors to this blog may recall the GoCAS guest resarcher program on existential risk to humanity that Anders Sandberg and I co-organized at Chalmers and the University of Gothenburg in September-October 2017; see, e.g., this blog post, and this one, and the one with links to talks from the two-day public workshop on September 7-8. The program featured daily discussion seminars that tended to be very creative and fruitful, and to go on for hours. After a long editorial process, a special issue of the journal Foresight has now been published, where ten papers outlining work discussed at these seminars are collected under the joint heading Existential risk to humanity. While the set of topics considered in this collection of papers is far from exhausting the set of topics discussed at our seminars, it nevertheless does offer a reasonably representative sample. From the guest editorial by Catherine Rhodes and myself:
    Existential risks are those that threaten the extinction of humanity or, somewhat more broadly, those “where an adverse outcome would either annihilate Earth-originating intelligent life or permanently and drastically curtail its potential” (Bostrom, 2002). While it has long been widely recognized that global nuclear war and catastrophic climate change have potentially civilization-threatening consequences, it is only in the last decade or two that scholars have begun, in work that is typically highly interdisciplinary, to systematically investigate a broader range of existential risks. A landmark event was a conference on global catastrophic risks in Oxford in 2008, and the accompanying book edited by Bostrom and Cirkovic (2008). Subsequent research has tended to confirm the impression from that event that, in the time frame of a century or so, natural risks (such as asteroid impacts) are out shadowed by anthropogenic ones. In addition, while much work remains to be done in identifying and understanding the various risks, there is at present an increasing focus also on how to avoid or mitigate them.

    We are not yet at a stage where the study of existential risk is established as an academic discipline in its own right. Attempts to move in that direction are warranted by the importance of such research (considering the magnitude of what is at stake). One such attempt took place in Gothenburg, Sweden, during the fall of 2017: an international guest researcher program on existential risk at Chalmers University of Technology and the University of Gothenburg, featuring daily seminars and other research activities over the course of two months, with Anders Sandberg serving as scientific leader of the program and Olle Häggström as chief local organizer, and with participants from a broad range of academic disciplines. The nature of this program brought substantial benefits in community building and in building momentum for further work in the field: of which the contributions here are one reflection. The present special issue of Foresight is devoted to research carried out and/or discussed in detail at that program. All in all, the issue collects ten papers that have made it through the peer review process.

Read the full editorial here. The ten papers:

måndag 4 mars 2019

Vår framtid med AI innebär stora möjligheter och stora risker

"Vår framtid med AI innebär stora möjligheter och stora risker" är rubriken dels på min artikel i senaste numret av Fysikatuellt, dels på mitt föredrag på det heldagsseminarium betitlat "Ansvarsfull teknisk utveckling - AI, robotik och etik" som Vetenskapsrådet arrangerar i Stockholm nu på fredag den 8 mars. Seminariet är fullbokat, så ni som inte redan är anmälda dit får hålla till godo med artikeln.

måndag 25 februari 2019

Om djurförsök och etik i Göteborgs-Posten

Idag skriver jag i GP, tillsammans med Bengt Brülde, Fredrik Hedenus, Therese Hellberg, Olof Johansson Stenman, Martin Persson, Frances Sprei, Joakim Sandberg och Per-Anders Tengland, under rubriken "Hur mycket ska djur få lida för att människor ska få det lite bättre?". Här några passager ur artikeln:
    Enligt svensk lagstiftning är det tillåtet att utsätta djur för svåra lidanden om den förväntade nyttan för människan är tillräckligt stor. Vad gäller forskning på människor gör man avvägningar mellan risker och förväntad nytta, men man inhämtar alltid informerat samtycke och det finns dessutom en lågt satt gräns för maximalt acceptabel risk som man aldrig får överskrida, inte ens om den förväntade nyttan är stor.

    Är det moraliskt försvarbart att behandla djur och människor så olika? Bör det inte finnas ett största acceptabelt lidande även för djuren, oavsett den förväntade nyttan för människor? Detta är svåra och viktiga frågor, där inte ens vi som skriver under denna artikel är helt eniga. Vi är dock eniga om att dessa frågor måste ges större utrymme i samhällsdebatten.

    En fråga som nog är ännu viktigare i praktiken handlar om lagstiftningens tillämpning, där de djuretiska nämndernas bedömningar spelar en avgörande roll. [...]

    Det är [...] mycket svårt att bedöma lidandet i praktiken, för att inte tala om forskningens potentiella nytta. Frågan är om dagens nämnder klarar av att göra dessa bedömningar. En av oss [...] har fem års erfarenhet som ledamot i Göteborgs djurförsöksetiska nämnd. Under dessa år upplevde han aldrig att någon meningsfull diskussion fördes kring avvägningen mellan djurens lidande och försökets nytta.

    [...]

    De beskrivningar som finns av hur avvägningarna mellan lidande och nytta görs i praktiken [...] tyder på att de är mycket rudimentära, och att de enbart fokuserar på om någon nämnvärd nytta för människor alls föreligger eller om det går att minska djurens lidande på något uppenbart sätt. Någon seriös diskussion kring hur nämnderna bör arbeta i de viktiga fall där djurens lidande är uppenbart samtidigt som nyttan för människor är begränsad [...] förs egentligen aldrig.

tisdag 19 februari 2019

I P4 om det allra senaste på AI-fronten

I höstas besökte jag P4 Göteborgs förmiddagsprogram tre gånger inom loppet av en månad. Därefter följde några månaders radiotystnad1 för min del, men idag var jag tillbaka i studion hos Stefan Livh; vårt samtal börjar vid pass 1:44:50 in i programmet och pågår till cirka 2:10:05.

Ämnet för dagen var AI (artificiell intelligens), och mer specifikt den AI-programvara kallad GPT-2 som i torsdags offentliggjordes av det San Francisco-baserade icke-kommersiella företaget OpenAI, vilket drogs igång 2015 med pengar från bl.a. Elon Musk, och har som uttalat mål att driva AI-utvecklingen i en riktning som gynnar mänskligheten som helhet. I huvudsak är GPT-2 ett generellt textgenereringsprogram som, givet en eller ett par korta inledningsfraser från användaren, fortsätter texten på egen hand. Dess häpnadsväckande förmåga att ansluta till genre, tonfall och sakinnehåll framgår av en rad konkreta exempel.

Lite på tvärs mot hur de tidigare brukat göra har OpenAI valt att inte släppa GPT-2 fri, av oro för hur den skulle kunna komma att användas för dåliga syften: den förefaller idealisk för massproduktion av fake news, och det är lätt att föreställa sig hur dess teknik kan kombineras med något i stil med Google Duplex för att skapa allt bedrägligare imitationer av människor. Genom att ändå offentliggöra sitt framsteg säger sig OpenAI skänka samhället åtminstone ett visst mått av förvarning och handlingsutrymme innan det troligtvis oundvikliga sker - att andra AI-utvecklare lanserar liknande program med motsvarande eller bättre prestanda. För min del tror jag att det är viktigt att inte stanna vid att diskutera vad dessa programvaror förmår göra idag. Vi bör försöka blicka lite längre än så, för det är knappast troligt att teknikutvecklingen nu hux flux skulle ha kommit till vägs ände.

Mer om GPT-2 kan läsas bland annat i Wired och The Guardian, men överlag är mediarapporteringen tunnare än väntat. I Sverige är det ännu så vitt jag kunnat finna bara Ny Teknik (och nu som sagt P4 Göteborg) som uppmärksammat genombrottet.

Fontot

1) I P4 alltså. I P1:s Vetandets värld gick det ju att höra mig den 7 januari.

torsdag 7 februari 2019

Samtal i Ängelholm

Rubriken Inspirational People gjorde mig tillräckligt smickrad för att ställa upp, och oavsett om jag egentligen förtjänar att platsa eller inte så är det inte någon dum idé att försöka skänka inspiration och råg i ryggen åt ungdomar genom att visa upp intervjuer med vuxna människor som gjort något intressant av sina liv. Den 19 september förra året begav jag mig till Ängelholm för att samtala framför en videokamera med Daniel Swärd som driver detta projekt. Det 70 minuter långa samtalet blev lite vindlande och ostrukturerat, men till slut kom vi i alla fall in på vad jag trodde var det jag kommit dit för att tala om: existentiell risk.

onsdag 6 februari 2019

I Curie om etik, forskning och framtida teknikutveckling

Vetenskapsrådets nättidning Curie publicerade idag en artikel rubricerad Forskning på gott och ont. Artikeln bygger på intervjuer med mig och med Uppsalafilosofen Jessica Nihlén Fahlquist, och våra svar på de forskningsetiska spörsmålen sammanfaller till ganska stor del med vad som kom fram i den paneldiskussion på Formas i november förra året som vi båda deltog i. För egen del lutar jag mig dessutom till stor del mot den argumentation jag lade fram tidigare under 2018 i min essä Vetenskap på gott och ont - en argumentation som kretsar kring den moralregel jag formulerat och som citeras i Curie-artikeln:
    Det kan aldrig vara acceptabelt att bedriva forskning vars risk att störta mänskligheten i fördärv och utplåning inte uppvägs av dess potential att skapa mänsklig blomstring och välfärd. Ej heller går det an att inleda ett forskningsprojekt utan att noggrant och uppriktigt ha övervägt denna aspekt.

onsdag 30 januari 2019

Some notes on Pinker's response to Phil Torres

The day before yesterday I published my blog post Steven Pinker misleads systematically about existential risk, whose main purpose was to direct the reader to my friend and collaborator Phil Torres' essay Steven Pinker's fake enlightenment. Pinker has now written a response to Phil's essay, and had it published on Jerry Coyne's blog Why Evolution is True. The response is feeble. Let me expand a little bit on that.

After a highly undignified opening paragraph with an uncharitable and unfounded speculation about Phil's motives for writing the essay,1 Pinker goes on throughout most of his response to explain, regarding all of the quotes that he exibits in his book Enlightenment Now and that Phil points out are taken out of context and misrepresent the various authors' intentions, that... well, that it doesn't matter that they are misrepresentations, because what he (Pinker) needed was words to illustrate his ideas, and for that it doesn't matter what the original authors meant. He suggests that "Torres misunderstands the nature of quotation". So why, then, doesn't Pinker use his own words (he is, after all, one of the most eloquent science writers of our time)? Why does he take this cumbersome detour via other authors? If he doesn't actually care what these authors mean, then the only reason I can see for including all these quotes and citations is that Pinker wants to convey to his readers the misleading impression that he is familiar with the existential risk literature and that this literature gives support to his views.

The most interesting case discussed in Phil's essay and Pinker's response concerns AI researcher Stuart Russell. In Enlightenment Now, Pinker places Russell in the category of "AI experts who are publicly skeptical" that "high-level AI pose[s] the threat of 'an existential catastrophe'." Everyone who has actually read Russell knows that this characterization is plain wrong, and that he in fact takes the risk for an existential catastrophe caused by an AI breakthrough extremely seriously. Phil points this out in his essay, but Pinker insists. In his response, Pinker quotes Russell as saying that "there are reasons for optimism", as if that quote were a demonstration of Russell's skepticism. The quote is taken from Russell's answer to the 2015 Edge question - an eight-paragraph answer that, if one reads it from the beginning to the end rather than merely zooming in on the phrase "there are reasons for optimism", makes it abundantly clear that to Russell, existential AI risk is a real concern. What, then, does "there are reasons for optimism" mean? It introduces a list of ideas for things we could do to avert the existential risk that AI poses. Proposing such ideas is not the same thing as denying the risk.

It seems to me that this discussion is driven by two fundamental misunderstandings on Pinker's part. First, he has this straw man image in his head of an existential risk researcher as someone proclaiming "we're doomed", whereas in fact what existential risk researchers say is nearly always more along the lines of "there are risks, and we need to work out ways to avoid them". When Pinker actually notices that Russell says something in line with the latter, it does not fit the straw man, leading him to the erroneous conclusion that Russell is "publicly skeptical" about existential AI risk.

Second, by shielding himself from the AI risk literature, Pinker is able to stick to his intuition that avoiding the type of catastrophe illustrated by Paperclip Armageddon is easy. In his response to Phil, he says that
    if we built a system that was designed only to make paperclips without taking into account that people don’t want to be turned into paperclips, it might wreak havoc, but that’s exactly why no one would ever implement a machine with the single goal of making paperclips,
continuing his light-hearted discourse from our encounter in Brussells 2017 where he said (as quoted on p 24 of the proceedings from the meeting) that
    the way to avoid this is: don’t build such stupid systems!
The literature on AI risk suggests that, on the contrary, the project of aligning the AI's goals with ours to an extent that suffices to avoid catastrophe is a difficult task, filled with subtle obstacles and traps. I could direct Pinker to some basic references such as Yudkowsky (2008, 2011), Bostrom (2014) or Häggström (2016), but given his plateau-shaped learning curve on this topic since 2014, I fear that he would either just ignore the references, or see them as sources to mine for misleading quotes.

Footnote

1) Borrowing from the standard climate denialist's discourse about what actually drives climate scientists, Pinker says this:
    Phil Torres is trying to make a career out of warning people about the existential threat that AI poses to humanity. Since [Enlightenment Now] evaluates and dismisses that threat, it poses an existential threat to Phil Torres’s career. Perhaps not surprisingly, Torres is obsessed with trying to discredit the book [...].

måndag 28 januari 2019

Steven Pinker misleads systematically about existential risk

The main purpose of this blog post is to direct the reader to existential risk scholar Phil Torres' important and brand-new essay Steven Pinker's fake enlightenment.1 First, however, some background.

Steven Pinker has written some of the most enlightening and enjoyable popular science that I've come across in the last couple of decades, and in particular I love his books How the Mind Works (1997) and The Blank Slate (2002) which offer wonderful insights into human psychology and its evolutionary background. Unfortunately, not everything he does is equally good, and in recent years the number of examples I've come across of misleading rhetoric and unacceptably bad scholarship on his part has piled up to a disturbing extent. This is especially clear in his engagement (so to speak) with the intertwined fields of existential risk and AI (artificial intelligence) risk. When commenting on these fields, his judgement is badly tainted by his wish to paint a rosy picture of the world.

As an early example, consider Pinker's assertion at the end of Chapter 1 in his 2011 book The Better Angels of Our Nature, that we "no longer have to worry about [a long list of barbaric kinds of violence ending with] the prospect of a nuclear world war that would put an end to civilization or to human life itseslf". This is simply unfounded. There was ample reason during the cold war to worry about nuclear annihilation, and from about 2014 we have been reminded of those reasons again through Putin's aggressive geopolitical rhetoric and action and (later) the inauguration of a madman as president of the United States, but the fact of the matter is that the reasons for concern never disappeared - they were just a bit less present in our minds during 1990-2014.

A second example is a comment Pinker wrote at Edge.org in 2014 on how a "problem with AI dystopias is that they project a parochial alpha-male psychology onto the concept of intelligence". See p 116-117 of my 2016 book Here Be Dragons for a longer quote from that comment, along with a discussion of how badly misinformed and confused Pinker is about contemporary AI futurology; the same discussion is reproduced in my 2016 blog post Pinker yttrar sig om AI-risk men vet inte vad han talar om.

Pinker has kept on repeating the same misunderstandings he made in 2014. The big shocker to me was to meet Pinker face-to-face in a panel discussion in Brussels in October 2017, and hear him make the same falsehoods and non sequiturs again and to add some more, including one that I had preempted just minutes earlier by explaining the relevant parts of Omohundro-Bostrom theory for instrumental vs final AI goals. For more about this encounter, see the blog post I wrote a few days later, and the paper I wrote for the proceedings of the event.

Soon thereafter, in early 2018, Pinker published his much-praised book Enlightenment Now: The Case for Reason, Science, Humanism, and Progress. Mostly it is an extended argument about how much better the world has become in many respects, economically and otherwise. It also contains a chapter named Existential threats which is jam-packed with bad scholarship and claims ranging from the misleading to outright falsehoods, all of it pointing in the same direction: existential risk research is silly, and we have no reason to pay attention to such concerns. Later that year, Phil Torres wrote a crushing and amazingly detailed but slightly dry rebuttal of that chapter. I've been meaning to blog about that, but other tasks kept coming in the way. Now, however, when Phil's Salon essay... ...is available, is the time. In the essay he presents some of the central themes from the rebuttal in more polished and reader-friendly form. If there is anyone out there who still thinks (as I used to) that Pinker is an honest and trustworthy scholar, Phil's essay is a must-read.

Footnote

1) It is not without a bit of pride that I can inform my readers that Phil took part in the GoCAS guest researcher program on existential risk to humanity that Anders Sandberg and I organized in September-October 2017, and that we are coauthors of the paper Long-term trajectories of human civilization which emanates from that program.

fredag 11 januari 2019

Recognized by the BBC for our work on the long-term future of humanity

Yesterday (January 10), BBC and their features editor Richard Fisher published a long but highly comprehensible and easy-to-read article on The perils of short-termism: Civilisation's greatest threat. It focuses on the central human predicament of needing to weigh short-term versus long-term concerns, and highlights work we did at the GoCAS guest researcher program on existential risk to humanity during September-October 2017 which Anders Sandberg and I organized at Chalmers and the University of Gothenburg. That particular piece of work was turned into the paper Long-term trajectories of human civilization,1 which I've reported on before on this blog.2 Here's an extract from the BBC piece:
    In early September 2017, the world’s attention was focused on various pieces of salient news: Hurricane Irma was brewing in the Caribbean, Donald Trump’s administration had announced plans to dismantle an Obama-era immigration policy, and photographers captured Prince George’s first day at school.

    Around the same time, a small, little-known group of researchers were meeting at a workshop in Gothenburg, Sweden with a goal to look much, much further ahead – far beyond this latest news cycle. Motivated by a moral concern for our descendants, their goal was to discuss the existential risks facing humanity.

    The meeting would lead to an intriguing and readable co-authored paper called Long-term Trajectories of Human Civilisation, which attempts to “formalise a scientific and ethical field of study” for thousands of years hence. As they write: “To restrict attention to near-term decades may be akin to the drunk searching for his keys under the streetlight: it may be where empirical study is more robust, but the important part lies elsewhere.”

    The Trajectories group began with the assumption that, while the future is uncertain, it is not unknown. We can predict many things with reasonable confidence, via observed patterns, repeating events, and established behaviours throughout human history. For example: biology suggests that each mammalian species exists, on average, for roughly 1 million years before it becomes extinct; history shows that humanity has continually colonised new lands and strived to transform our abilities with technology; and the fossil record demonstrates that global extinction events can and do happen.

    Extrapolating these patterns and behaviours into the future allowed them to map out four possible long-term trajectories for our species:

    • Status quo trajectories, in which human civilisation persists in a broadly similar state into the distant future.

    • Catastrophe trajectories, in which one or more events cause significant harm to human civilisation.

    • Technological transformation trajectories, in which radical technological breakthroughs put human civilisation on a fundamentally different course.

    • Astronomical trajectories, in which human civilisation expands beyond its home planet and into the accessible portions of the cosmos.
    Following their discussions in Sweden and afterwards, the Trajectories group concluded that the ‘status quo’ path would be a pretty unlikely scenario once you get to longer-term timescales. “Instead, civilisation is likely to either end catastrophically or expand dramatically,” they write.

    So on the optimistic path, merging with some as-yet-unimagined technology or colonising the stars are two scenarios that are entirely possible with the passage of enough time, they suggest. Both paths could lead to our descendants thriving for millions if not billions of years, spreading out into the Universe or evolving into a more advanced species.

    But we also are almost certain to face serious existential risks along the way. Natural disasters have pruned life on Earth continually – this much we know. What worries the Trajectories researchers more is that in the 20th and early 21st Century we've added a whole host of additional human-made risks into the mix too – from nuclear armageddon to AI apocalypse to anthropogenic climate change.

    In their paper, they lay out a variety of chilling scenarios where civilisation is rewound back to pre-industrial times, or wiped out altogether. [...]

    The researchers can't predict which order any of this will play out. They can predict, though, that it’s our trajectory to shape – for better or worse, the decisions we make this century could shape the next one and far beyond. “The stakes are extremely large, and there may be a lot that people today can do to have a positive impact,” they write.

    The question is: will we?

"The Trajectories group" - well, why not, it has a nice ring to it. Read the entire BBC article here!

Footnotes

1) Seth D. Baum, Stuart Armstrong, Timoteus Ekenstedt, Olle Häggström, Robin Hanson, Karin Kuhlemann, Matthijs M. Maas, James D. Miller, Markus Salmela, Anders Sandberg, Kaj Sotala, Phil Torres, Alexey Turchin and Roman V. Yampolskiy (2019) Long-term trajectories of human civilization, Foresight, to appear.

2) The same paper recently also caught the attention of Swedish public radio.

måndag 7 januari 2019

Om existentiell risk och mänsklighetens framtid i P1:s Vetandets värld idag

Jag vill varmt rekommendera dagens avsnitt av P1:s Vetandets värld, trots att dess rubrik Så räknar man ut mänsklighetens framtid lovar något mer än avsnittet och dess medverkande kan leverera. Jag kommer utförligt till tals, jämte en rad andra forskare: Anders Sandberg, Simon Beard, Luke Kemp och Lauren Holt, samt David Sumpter1 vars korta inhopp på slutet tjänar att illustrera hur kontroversiell det slags radikal och långsiktig framtidsforskning är som avsnittet behandlar.

Det gästforskarprogram om existentiell risk som Anders och jag organiserade på Chalmers och Göteborgs universitet hösten 2017 omnämns, med särskilt fokus på den artikel rubricerad Long-term trajectories of human civilization som en rad av de medverkande gästforskarna, med Seth Baum i spetsen, bidrog till. Även den ökända gemapokalypsen behandlas kort, liksom min artikel Challenges to the Omohundro—Bostrom framework for AI motivations.

Fotnot

1) Jag uppskattar varmt matematikerkollegan David Sumpters och mina återkommande diskussioner om vetenskap och futurologi, trots (eller tack vare!) vår djupa meningsskiljaktighet i synen på vetenskap, som läsaren kan få en partiell inblick i genom Davids gästinlägg här på bloggen i oktober 2013 och mitt svar.

fredag 4 januari 2019

A draft on ethical guidlines from the European Commission's High-Level Expert Group on Artificial Intelligence

On December 18 last year, the European Commission's High-Level Expert Group on Artificial Intelligence released a draft for their Ethics Guidlines for Trustworthy AI. They are now inviting stakeholders to submit comments on the draft, with a deadline on January 18. As a world citizen and a human being, I consider myself very much a stakeholder (and perhaps one or two of the readers of this blog will feel the same?), so I took the time to submit some comments (see this pdf) on a few of the central sections of the report.

torsdag 3 januari 2019

Debattörer som irriterat mig i julhelgen, del 2: Ruin

Det här handlar inte om Hans Ruin personligen. Det är visserligen sant att jag tidigare haft starkt kritiska synpunkter på denne professor i filosofi vid Södertörns högskola, vad gäller såväl hans syn på sitt ämne1 som hans privatmoral2, men det jag skriver här har lite eller inget alls med de diskussionerna att göra, utan är snarare att betrakta som en brandkårsutryckning för att rätta till en del av dumheterna i hans understreckare i SvD häromdagen, rubricerad Den envisa myten om intelligenta maskiner.

Större delen av texten utgörs av en visserligen summarisk och starkt förenklad, men givet det någorlunda godtagbar, redogörelse för delar av den artificiella intelligensens (AI:ns) idéhistoria.3 Det är när Ruin mot slutet av texten lämnar idéhistorien bakom sig och ger sig i kast med att förutsäga hur AI kommer att vidareutvecklas i framtiden som problemen hopar sig. Han låtsas ha läst Nick Bostroms Superintelligence från 2014 och Max Tegmarks Life 3.0 från 2017, men avslöjar omdelebart sin bluff genom att påstå att båda utgår "från premissen att dagens självlärande maskiner inom en nära framtid kan alstra en 'intelligensexplosion'". Nej, detta är inte en premiss i någon av böckerna. Såväl Bostrom som Tegmark diskuterar intelligensexplosionsscenarier, men i båda fallen handlar det blott om ett bland flera möjliga scenarier, och i synnerhet Bostrom diskuterar noggrant och med en väl tilltagen dos epistemisk ödmjukhet vad som talar för respektive emot en intelligensexplosion.

Redan i påföljande mening kommer nästa ruinska felaktighet, då han påstår att "genom att hänvisa till hjärnans oerhört komplexa uppbyggnad av neuroner och synapser menar [såväl Bostrom som Tegmark] att superintelligens endast är en fråga om när maskinerna närmar sig en jämförbar komplexitet i beräkningskapacitet". Helt fel igen. Vad Ruin här gör är att (till synes blint och oreflekterat) återge en av de vanligast förekommande och samtidigt fånigaste vanföreställningarna kring AI-futurologi. Sanningen är att varken Bostrom eller Tegmark eller någon annan seriös AI-futurolog hävdar att beräkningskapacitetsutveckling ensam skulle få sådana konsekvenser. Tvärtom: utan rätt slags mjukvara ingen superintelligens. Det närmaste ett korn av sanning som finns i den av Ruin återgivna missuppfattningen är att en utbredd (och rimlig) ståndpunkt bland experter på området är att ju mer beräkningskapacitet som hårdvaruutvecklingen leder fram till, desto bättre är utsikterna att skapa den mjukvara som krävs för så kallad AGI (artificiell generell intelligens) eller superintelligens.

Med stöd i sitt fria fabulerande kring vad som står i Bostroms och Tegmarks respektive böcker kommer Ruin fram till att skapandet av superintelligens är "varken tekniskt eller filosofiskt sannolikt". Inför denna fras blir jag en smula perplex, ty trots mina mer än 25 år som forskare i sannolikhetsteori har jag aldrig hört talas om den påstådda distinktionen mellan "teknisk" och "filosofisk" sannolikhet. Så vad menar Ruin här? Troligtvis inget annat än att han tyckte att det skulle låta fräsigare och mer kunnigt med "varken tekniskt eller filosofiskt sannolikt" än att kort och gott skriva "osannolikt".

Så hur står det i själva verket till med den sannolikhet som här diskuteras? Det vet vi inte. Frågan om huruvida och i så fall på vilken tidsskala som vi kan vänta oss att AI-utvecklingen når fram till AGI och superintelligens är vidöppen, något som framgår med all önskvärd tydlighet såväl av Bostroms bok som av Tegmarks, och som omvittnas ytterligare av de enkätundersökningar som gjorts bland AI-forskare (se t.ex. Dafoe och Russell, och Grace et al). Det förståndiga att göra i detta läge är att acceptera den stora osäkerheten, inklusive konstaterandet att möjligheten att superintelligens kan komma att utvecklas under innevarande århundrade förtjänar att tas på allvar, givet hur många experter som gör just det.

Ändå träder den ene efter den andre publike debattören, med en expertis (i Ruins fall en omfattande belästhet på den gamle kontinentalfilosofen Martin Heidegger) som är av i bästa fall oklar relevans för AI-futurologi, fram och meddelar att det där med superintelligens och AI-risk, det är minsann inget att bry sig om. För Ruin är långt ifrån ensam om att dra fram en sådan bedömning mer eller mindre ur röven, och med stöd i sin professorstitel eller annan vida accepterad kredibilitetsgrund basunera ut den för folket. För bara någon månad sedan gjorde den populäre nyliberale ideologen Johan Norberg samma sak. För att inte tala om kungen av AI-riskförnekeri, Steven Pinker. Och det finns många fler: se gärna den amerikanske futurologen Seth Baums studium av fenomenet.

Figurer som Ruin, Norberg och Pinker verkar dock komma mycket lindrigare undan med sitt AI-bullshitteri jämfört med motsvarande uttalanden från klimatförnekare om den globala uppvärmningen och dess orsaker. En trolig förklaring till detta är att kunskapsläget inom AI-futurologin är så väldigt mycket osäkrare än det inom klimatvetenskapen. Men att använda sin auktoritet i det offentliga rummet till att tvärsäkert torgföra grundlösa påståenden i vetenskapliga frågor, det är lika fel oavsett vilken grad av vetenskaplig osäkerhet som råder på det aktuella området.

Fotnoter

1) Min kritik på denna punkt handlar mest om hur Ruin positionerade sig i debatter med Torbjörn Tännsjö under 2016. Det är knappast någon större överdrift att hävda att han uttryckte en önskan att reducera filosofiämnet till läsandet av gamla klassiker, och dömde ut alla försök att tänka nya tankar. Det var också från denna förgrämda gammelmansposition han samma år yttrade sig om Macchiarini-skandalen.

2) Jag syftar här på Ruins åtgärder (som rapporterats om här och var) i syfte att tysta ned offer för sin gode vän Jean-Claude Arnaults sexuella övergrepp. Saken försatte mig i vissa smärre bryderier sedan jag anmält mig att delta i ett akademiskt symposium i Göteborg den 8 oktober förra året, och därefter fått klart för mig att Ruin fanns med bland talarna. Jag kände omedelbart att jag inte ville sitta tyst och utan minsta markering mot Ruin på mötet, då det skulle kunna förstås som en form av bekräftelse av att jag överser med hans illgärningar och välkomnar honom på mötet. Att utebli från mötet ville jag heller inte då mycket av intresse stod på programmet. Vidare skulle det ha varit alltför avigt och antisocialt att under frågestunden efter hans föredrag resa mig och säga något i stil med "Det här är måhända en smula off topic, men hur ser du på etiken kring nedtystandet av offer för sexuella övergrepp?". Den kompromiss jag till slut fastnade för, efter att först ha hört av mig till mötesarrangörerna med mina reservationer kring Ruins medverkan i symposiet (något som i alla fall förde det goda med sig att arrangörerna meddelade honom förekomsten av sådana synpunkter bland anmälda deltagare), var att under mötet bära den egenhändigt designade t-shirt som avbildas här intill. (Hashtagen på t-shirten kom till inom den amerikanska grenen av metoo, som stöd för Christine Blasey Ford (och protest mot den backlash som drabbade henne) när hon i september förra året vittnade mot den supreme court-nominerade domaren Brett Kavanaugh.)

3) Jag kan dock inte låta bli att påpeka att Ruin ger på tok för stor kredibilitet åt John Searles starkt suggestiva men i grunden feltänkta tankeexperiment Det kinesiska rummet. Se exempelvis Avsnitt 3 i min uppsats Aspects of mind uploading för en motivering till mitt stränga ordval "feltänkt".

onsdag 2 januari 2019

Debattörer som irriterat mig i julhelgen, del 1: Andersson

Den som följt min blogg från start känner till min beundran för Lena Andersson, bl.a. från en närmast devot reflektion från 2011 kring hennes bok Förnuft och högmod. Hennes romaner Egenmäktigt förfarande (2013) och Utan personligt ansvar (2014) fick mig att om möjligt uppvärdera hennes författarskap ytterligare, och det var först ett eller två år senare, då allt fler av hennes DN-krönikor kom att ägnas åt det något uttjatade och i längden ointressanta ämnet "skatt är stöld", som kurvan började dala.

Föga anade jag då vilket nadir hennes DN-kolumn skulle nå framemot juletid 2018, då hon ägnade sina kolumner den 8 december och den 22 december åt att angripa våldtäktsdomarna mot Jean-Claude Arnault och att försvara dennes rätt att fritt ta för sig av unga kvinnor i sin omgivning. Speciellt i den senare av dessa visar hon, med formuleringar som "När nu så gott som all lustlös sexualitet ska rubriceras som våldtäkt", och lite senare i samma text motsvarande påstående om "de flesta sexuella obehag", att hon helt missat vad såväl metoo som själva begreppet sexuella övergrepp handlar om. Ingen har väl förespråkat förbud mot sexuella handlingar som inte väcker lust och behagskänslor hos den andre? För att åtminstone skänka Lena Andersson en vokabulär som gör det möjligt för henne att förstå vad saken egentligen handlar om vill jag lära henne ett ord:

samtycke

S-A-M-T-Y-C-K-E

Samtycke betyder ungefär medgivande, eller att den andre går med på den aktuella aktiviteten. Samtycka kan man göra (eller inte göra) oavsett lust/olust/behag/obehag/etc. Detta kan tyckas ganska enkelt, men att döma av hennes DN-kolumner verkar Lena Andersson inte ha tillstymmelse till susning om att det är samtycket som är den springande punkten.

Det är en smula smärtsamt att läsa sådana dumheter av en författare man i grunden beundrar, och som om inte detta vore nog drabbades jag på själva julafton av P1:s utsändning av hennes så kallade julberättelse En kör av röster, där hon broderar ut sina missförstånd än längre än i DN-kolumnerna, och redovisar en närmast Jonas Millardsk tankevärld. För att bespara läsaren eländet att behöva lyssna på den återger jag här (SPOILER ALERT!) julberättelsens budskap i kondenserad form:
    Åh stackars stackars alla dessa oskyldiga men (oturligt nog) sexuellt attraktiva stackars män som nu tvingas skaka galler på grund av metoo. Och stackars alla oss som drar på oss PK-omgivningens brännmärkning sedan vi haft mage att ifrågasätta antingen metoo eller att all koldioxid härrör ur mänsklig aktivitet. Och kanske märkligast av allt i denna underliga nya tid är att man tydligen inte ens inom äktenskapets ramar längre fritt kan förfoga över den andres kropp. Förresten så kommer nog inom kort en lag som tvingar kommuner att ingripa så snart en av deras invånare känner sig lite moloken och ensam.