Midvinterbetraktelse över filosofi, utilitarism och det akademiska samtalet

Moralfilosofi är ett viktigt kunskapsområde, och jag gillar när det uppmärksammas i den allmänna debatten. Därför borde jag rimligtvis välkomna att filosofistudenten och kulturskribenten Lapo Lappin häromdagen fick en artikel i ämnet publicerad i tidskriften Kvartal. Ändå vill jag meddela vissa reservationer rörande Lappins text, vilken bär den braskande rubriken Statens etiska råd bjöd in förespråkare av spädbarnsmord. I tur och ordning:

1. Artikeln tar formen av en rapport från en akademisk tillställning i Stockholm veckan innan, nämligen Statens medicinsk-etiska råds etikpristagarseminarium, och skjuter in sig på två av deltagarna, nämligen den välkände svenske moralfilosofen Torbjörn Tännsjö (som i egenskap av pristagare stod i centrum för mötet), och hans ännu mer kände australiensiske kollega Peter Singer. Lappins moralfilosofiska grundsyn skiljer sig kraftigt från Tännsjös och Singers, och det är givetvis helt i sin ordning, men istället för att koncentrera sig på vilka argument dessa förde fram vid seminariet lägger han så stor emfas vid vilka förgripligheter de yttrat i andra sammanhang att hans text blir till en del av den kancelleringskultur i vilken meningsmotståndare skall tystas.^1,2 Han uttrycker stor upprördhet över att Tännsjö och Singer erbjuds plattform av Statens medicinsk-etiska råd (SMER) att framföra sina ståndpunkter, trots att dessa "torde vara välkända för medlemmarna" i detta råd.³ Särskilt anstötligt verkar vara att Singer "fick [...] varma applåder av de församlade etikerna". Artikeln kan knappast förstås som annat än ett försök av Lappin att deplattformera Tännsjö och Singer, vilket enligt min mening är fel sätt att hantera akademiska meningsmotsättningar: bättre än att försöka tysta sina meningsmotståndare är att diskutera med dem.

2. Både Tännsjö och Singer har förvisso uttalat en och annan moraliskt svårsmält tanke, som exempelvis Tännsjös funderingar kring klimatdiktatur, och den singerska idé om postnatal abort som åsyftas i rubriken till Lappins artikel. Jag vill dock mena att det är viktigt att ha en levande och förutsättningslös akademisk diskussion som ifrågasätter de tabun och går utanför det Overtonfönster som för närvarande råder. Bland de olika akademiska discipliner som finns är det just filosofin som oftast varit bäst på detta gränsöverskridande och kritiska tankearbete; Tännsjö och Singer är föredömliga utövare av detta arbete, och jag hoppas se dem fortsätta i många år till.

3. Lappin avvisar den moralfilosofiska inriktning som benämns utilitarism och som både Tännsjö och Singer bekänner sig till. Och fastän jag för egen del känner en försiktig dragning till utilitaristiskt tänkande så kan jag förstå argumenten emot. När motståndet mot utilitarism blir så dogmatisk att man avvisar varje kvantiativ konsekvensetisk avvägning i varje läge blir det dock snudd på absurt, men det är här Lappin hamnar när han gör (det antytt skandalösa) avslöjandet att en av Tännsjös tidigare elever, "Christian Munthe, professor i praktisk filosofi på Göteborgs universitet samt sakkunnig i flera etiska råd, erkände att han förlitar sig flitigt på utilitaristiska resonemang", och när han mot slutet av sin artikel ansluter sig till ståndpunkten att "spridningen av ett utilitaristisk tankesätt [...] bör hindras oavsett vad".⁴

Jag har här inte alls berört själva ämnet för SMER-mötet, nämligen prioriteringar inom vården. Detta förefaller sekundärt även för Lappin vid sidan av hans allmänna angrepp på sina måltavlor Tännsjö och Singer, men han ställer de utilitaristiska principer de förordar mot den så kallade människovärdesprincipen. I ett svar till Lappin i samma tidskrift problematiserar Tännsjö på ett belysande vis begreppet människovärde. Jag vill också rekommendera Christer Sturmarks vittförgrenade och mycket intressanta samtal med Tännsjö och Singer i Fri Tanke-podden, inspelat i nära anslutning till SMER-mötet.

EDIT 22 december: En videoupptagning av SMER-mötet finns nu på YouTube.

Fotnoter

1) Jag känner till en del om kancelleringskulturen, bland annat genom att jag en gång i tiden var en del av den.

2) Lyssna gärna till det senaste avsnittet av Vetenskapligt med Häggström och Livh i vilket vi för ett djuplodande samtal med datalogen och vännen Thore Husfeldt om den skadliga kancelleringskulturen och besläktade frågor om akademisk frihet.

3) Till Lappins försvar skall dock sägas att han så sent som förra året bjöd in Tännsjö som gäst i sin egen podcast och bidrog till ett intressant samtal kring dennes moralfilosofiska ståndpunkter.

4) Frågan är såklart hur bokstavligt "oavsett vad" är tänkt att läsas. Jag skulle knappast tro att Lappin vore beredd att ta till (låt oss säga) spädbarnsmord eller krig om det skulle behövas för att hejda de utilitaristiska tankefigurernas utbredning. Deplatformering av en och annan universitetsprofessor verkar däremot ligga inom ramen för de medel han anser helgas av detta angelägna ändamål.

Ruin vs Tännsjö

I det senaste numret (nr 3/2016) av den kolorerade populärtidskriften Modern Filosofi finns ett belysande samtal mellan filosofiprofessorerna Hans Ruin (Södertörns högskola) och Torbjörn Tännsjö (Stockholms universitet). Samtalet handlar om ämnet moralfilosofi, om hur det bedrivs, och hur det bör bedrivas. Om det sistnämnda är Ruin och Tännsjö fundamentalt oense. Samtidigt är de frispråkiga: ingen av dem drar sig för att använda ordet anti-intellektualism för att beskriva den andres position.

Vanligtvis väntar man sig i konfrontationer av detta slag att kunna urskilja några korn av sanning och klokskap hos båda parter, och jag hade nog förväntat mig att behöva nyansera den bild av Ruin som jag gav uttryck för i en bloggkommentar i februari. Men icke. I den här diskussionen hamnar jag entydigt på Tännsjös sida.¹

Väldigt kortfattat är meningsmotsättningen denna: Torbjörn Tännsjö tror på värdet av filosofisk analys, såsom att bena ut begrepp och moraliska föreställningar i deras beståndsdelar, och renodla dessa i exempelvis trolleyologiska och andra tankeexperiment, för att på så vis försöka förstå vari grunden för våra oartikulerade moraliska intuitioner egentligen består, och om denna är riktig eller om vi behöver korrigera våra moraliska ställningstaganden. Hans Ruin ser all denna tankeverksamhet som meningslös, och förordar att vi håller oss till att läsa Aristoteles, Kant och andra gamla klassiker.

Jag har stor respekt för idéhistoria, men jag förstår inte varför ett intresse åt det hållet skulle behöva paras med det slags motstånd mot analys, rationalitet och framsteg som Ruin här uppvisar, och som jag uppriktigt talat finner chockerande. När jag ändå försöker förstå vad som kan tänkas driva honom till sådana bakåtsträvande ståndpunkter kommer jag inte längre än till misstanken att det handlar om ett desperat uttryck för akademisk revirstrid: att han tycker om idéhistoria, men anser att dess plats i universitetsvärlden är alltför undanskymd, något som leder honom till att attackera andra verksamheter. (Jag har ofta och på närmare håll sett samma tråkiga tendens hos matematiker.)

Läs hela meningsutbytet mellan Ruin och Tännsjö här!

Fotnot

1) Därmed inte sagt att jag delar Tännsjös trosvisshet ifråga om existensen av en objektivt sann moral och att denna åtmistone på ett ungefär fångas av hedonistisk utilitarism, något han i artikeln uttrycker så här:

Jag tror att det faktiskt finns ett generellt svar på frågan om vilken handling som är rätt eller fel, och jag tror att svaret ligger åtminstone i närheten av det utilitaristiska kriteriet. Det innebär att en handling är riktig endast om den maximerar lyckan i världen, och den är det just för att den maximerar lyckan i världen.

The Simone de Beauvoir Chronicles

Den senaste episoden av Existential Comics, rubricerad Terminator: The Simone de Beauvoir Chronicles, är något alldeles extra (men se för all del även min bloggpost från den 26 november förra året för en lista över några av mina tidigare favoriter).

Jag gillar den nya episoden för dess remarkabla förening av ett antal av mina intressen - tillfälliga såväl som mer långvariga. Först och främst har vi Simone de Beauvoir själv - en av centralfigurerna i 1900-talets franska existentialism, liksom i Sarah Bakewells aktuella bok At the Existentialist Café som jag för närvarande läser med stort intresse. Mitt intresse för filosofi har alltid dragit mer åt det anglosaxiska och analytiska hållet, och jag har därför i hög grad försummat existentialismen, men jag har (mycket tack vare Existential Comics) kommit att ana att den har viktiga saker att säga om vad det innebär att vara människa. Bakewells bok känns som en utmärkt och engagerande introduktion till ledande existentialistiska tänkare som de Beauvoir, Jean-Paul Sartre, Albert Camus och Martin Heidegger, för att nämna några av bokens huvudpersoner.

Jag roas också av hur de Beauvoir i Existential Comics-episoden avbildas på Terminator-hjälten Sarah Connor. Jag har ju, en smula populistiskt, använt mig flitigt av Terminator-filmerna som avstamp för diskussioner om en eventuell robotapokalyps i verkligheten, bland annat i ett framträdande i svensk TV förra sommaren.

Den nya episoden behandlar ett centralt moralfilosofiskt problem i samband med ett eventuellt genombrott i artificiell intelligens som leder till övermänskligt intelligenta maskiner: vilka värderingar vill vi att dessa maskiner skall ha? Denna frågeställning leder snabbt till stora svårigheter, vilka bl.a. behandlas i Avsnitt 4.6 av min bok Here Be Dragons, och mer utförligt i Nick Bostroms Superintelligence.

Till slut får vi i Terminator: The Simone de Beauvoir Chronicles nosa lite på den förtjusande inriktning av modern moralfilosofi som benämns trolleyologi, och vi får klart för oss bakgrunden till att de Beauvoir/Connor är en sådan "badass motherfucker". Läs den!

Tännsjö om en framtid utan människan

Torbjörn Tännsjö behandlar i en stort uppslagen artikel i DN idag en fråga som ligger mig varmt om hjärtat: den om en eventuell robotapokalyps som tar kål på mänskligheten. Hans vinkling framgår av rubriken "Därför blir universum en bättre plats när människan är borta" och ännu mer av ingressen:

Anta att vi kan ersätta människorna med varelser som är bättre på att leva i fred och harmoni. Vore det verkligen så fruktansvärt? I själva verket bör vi bejaka en framtid då universum befolkas av lyck­saliga robotar.

Jag känner stor sympati för hans perspektiv - en utilitarism där inte bara mänskligt välbefinnande och lidande räknas, utan alla kännande varelsers - även om jag inte riktigt kan förmå mig att med samma totala tvärsäkerhet som han döma ut de perspektiv som tillskriver just mänsklighetens överlevnad och blomstring ett särskilt värde. På det stora hela finner jag hans artikel vettig, och jag känner mig glad och smickrad över att han funnit min bok Here Be Dragons värd att ta spjärn emot, men jag har två invändningar mot vad han skriver.

Min första invändning. Tännsjö avfärdar dem som fruktar robotapokalypsen såsom varandes förhäxade av en "märklig och missriktad form av inlevelse" med våra barnbarns barnbarn. Så här tror han att världen efter att robotarna tagit över och gjort sig av med mänskligheten kommer att te sig:

Utvecklingen kommer att fortsätta med artificiella intelligenser, successivt i mindre och mindre format, men med hög sensibilitet, klok kreativitet, gott handlag och obetydliga anspråk på ändliga resurser. Genom deras konstruktion – det är nu kloka maskiner som konstruerar ännu klokare maskiner – kommer det att skapas utrymme för en exponentiell tillväxt av antalet glada varelser i universum, vilka lever i ömsesidig symbios, utan att ställa sig i vägen för varandra. Tänk dig en gnistrande stjärnhimmel, där varje ljus som blinkar mot dig är en lycksalig robot. Och bakom varje ljus, nya himlar.

En vacker vision. Men är det verkligen säkert att det kommer att gå så väl? Personer som lagt mer kraft och tankemöda än Tännsjö på AI-futurologi, som Eliezer Yudkowsky och Nick Bostrom, menar att detta långt ifrån kan tas för givet, eller ens upphöjas till default-scenario. En robotrevolution kan också leda till Paperclip Armageddon (där den maskin som drar igång det stora AI-genombrottet lite obetänksamt programmerats att maximera framtida gemproduktion, med följden att hela det synliga universum omvandlas till en grotesk ansamling gem) eller någon liknande kosmisk meningslöshet. Därför har vi all anledning att oroa oss för vad ett AI-genombrott kan föra med sig, och göra vad vi kan för att se till att utfallet blir bra. Att (som Tännsjö verkar göra) tro att övermänsklig intelligens automatiskt medför övermänsklig klokskap är att förbise Humes lag och distinktionen mellan fakta och värderingar. Det kan visa sig att världen är så beskaffad (dvs att intelligens och klokskap på tillräckligt hög nivå alltid går hand i hand), men att ta det för givet synes mig våghalsigt i överkant.

Min andra invändning. Denna invändning är av underordnat intresse då den inte har så mycket med sakfrågan att göra, utan mest med hur min egen ståndpunkt framställs. Tännsjö gör (som Joar Guterstam redan hunnit påpeka) inte någon riktig rättvisa åt min bok då han tillskriver mig ovan nämnda "märklig[a] och missriktad[e] form av inlevelse", bland annat med följande ord:

Vår omedelbara och ogenomtänkta reaktion, då detta framtidsscenario [att robotarna tar över] kommer på tal, brukar vara just fasa. Hur ska det gå för oss? Hur ska dessa överlägsna varelser komma att behandla oss? [...] Så tänker Häggström.

Här framgår inte att jag i min bok i själva verket lägger stor kraft på att distansera mig från det slags antropocentriska moraluppfattning som Tännsjö kritiserar. Så t.ex. nämner jag på sidan 230, i en uppräkning av stora och svåra värderingsfrågor som vi behöver ta ställning till innan vi kan svara på hur vi bör försöka styra teknikutvecklingen, följande:

(vi) Comparing a future where humans prosper to one in which we are replaced by robots that prosper similarly, is the former automatically preferable to the latter? This question is related to (v), as well as to the moral status of machines. Does a robot with human-level cognitive capacities have the same value as a human? Here, the issue of machine consciousness (discussed in Section 3.8) seems relevant. A future in which humans are replaced by unconscious machines that go on to colonize the rest of the universe seems pointless and absurd. But if the machines are conscious, perhaps there is reason to look more favorably on the scenario.

Se även min diskussion på sidorna 122-123, där jag kritiserar idén att, genom att avdela ett mindre stycke av världsalltet (t.ex. vår egen galax Vintergatan) som ett människoreservat, kompromissa med en hedonistiskt utilitetsmaximerande superintelligent AI:s projekt att omvandla hela universum till hedonium; denna passage är väsentligen en återgivning av argumentationen i min gamla bloggpost Superintelligence odds and ends II: The Milky Way preserve.

Två fall för Streisandeffekten

För tre år sedan skrev jag här på bloggen om den så kallade Streisandeffekten:

Streisandeffekten - så uppkallad efter sångerskan Barbara Streisands misslyckade försök 2003 att hejda spridningen av bilder på hennes residens i Malibu - betecknar hur åtgärder för att hejda informationsspridning lätt kan bli kontraproduktiva. Begreppet har snabbt blivit mycket populärt i bloggosfären, och jag tycker mig i sociala media se en utbredd önskan att vilja medverka till informationsspridningen så snart något luktar Streisandeffekt. Intresset för själva sakfrågan är ofta sekundärt; det är informationsspridandet i sig som, när någon försökt hejda det, upplevs som angeläget och ett slag för yttrandefriheten.

Nu finns ett par aktuella fall, båda med anknytning till bioetik men i övrigt tämligen olika, där jag gärna bidrar till Streisandeffekten, och jag uppmanar därför läsekretsen att ta del av och gärna också sprida följande båda texter:

• Torbjörn Tännsjö: Here's the Philosophy Essay Vox Found Too Upsetting to Publish.
• William Peace: Head Nurses, s 20-22 i Winter 2014-numret av Atrium.

Att jag på detta vis pushar för Tännsjös och Peaces texter betyder inte att jag står bakom deras innehåll.^1,2 Däremot finner jag båda texterna vara läsvärda och intressanta bidrag till den ständigt pågående intellektuella diskussionen kring hur vi bör leva och hur samhället bör utformas.

Fallet Tännsjö är egentligen inte särskilt upprörande, och kan inte förstås som att någon akademisk frihet skulle vara hotad. Hans text beställdes av (en redaktör på) den amerikanske nyhetssajten Vox, men när han levererade den befanns innehållet (trots att det rimligtvis inte kan ha bjudit på några överraskningar för beställaren) vara alltför magstarkt för publicering, och den refuserades (läs gärna Brian Leiters sammanfattning av händelseförloppet). Häri ligger inget brott mot några viktiga yttrandefrihets- eller andra principer (jag har i stora drag inget att invända emot att Vox är fria att själva välja vad de skall publicera), utan mitt deltagande i Streisandeffektsdrevet handlar i detta fall om ren och skär skadeglädje över en sällsynt klantig redaktionell hantering.

Fallet Peace är långt allvarligare. Hans text publicerades i tidskriften Atrium, utgiven av Northwestern Universitys medicinska fakultet, vars dekanus Eric Neilson kort därefter fick syn på den och protesterade mot utgivningen med (den besynnerliga) förevändningen att texten var pronografisk, vilket fick en underhuggare att plocka bort tidskriftsnumret från nätet. Tidskriftsnumrets redaktör Alice Dreger (som också är aktuell med boken Galileo's Middle Finger vilken raffinerat nog (för den här historien) handlar om inskränkningar i akademisk frihet; jag rekommenderar den varmt) protesterade upprepade gånger, men det dröjde 14 månader innan numret åter lades upp på tidskriftens webbsida. Någon avbön från Neilson eller från universitetet har dock inte kommit, och häromdagen fick Dreger nog och meddelade att hon lämnar sin professur vid Northwestern. Här en central passage ur avgångsbrevet:

We all make mistakes, but this was a profound mistake that cut to the very heart of academic freedom. It should have been acknowledged and corrected immediately. That is most definitely not what happened. Instead, what happened was denial, avoidance, blame-shifting, and evasion. To this day, the university has not admitted its mistake, and it has not affirmed its commitment to academic freedom in a way that makes clear that similar incidents will not occur in the future. This failure should be embarrassing to an otherwise great university.

Se även Dregers FAQ om fallet.

Fotnoter

1) Tännsjö driver, med den hedonistiska utilitarismen som utgångspunkt, tesen att världen blir bättre om vi sätter fler barn till världen, och att vi därför har en moralisk förpliktelse att föröka oss. Men hans resonemang håller inte, även om vi skulle acceptera hans utgångspunkt i den hedonistiska utilitarismen. Här är hans enligt min mening avgörande misstag:

Of course, we should see to it that we do not overpopulate the planet in a manner that threatens the future existence of mankind. But we’re nowhere near that point yet, at least not if we also see to it that we solve pressing problems such as the one with global warming. In the mean time, we’re ethically obligated to make as many people as possible.

Påståendet att vi inte är i närheten av den punkt då överbefolkning sätter mänsklighetens framtida överlevnad på spel är ogrundat och troligen felaktigt. Mänskligheten står inför en rad existentiella risker som vi behöver hantera. Vårt överutnyttjande av naturresurser, till vilket överbefolkning bidrar, kan resultera i sociala spänningar och om det vill sig riktigt illa krig och social kollaps, vilket i sin tur kan slå hårt mot vår förmåga att hantera de existentiella riskerna. Ett girigt maximerande av antalet människoliv här och nu riskerar på så vis att försämra utsikterna för mångdubbelt (understatement!) fler människoliv i framtiden.

2) Ämnet för Peaces text - sexuella tjänster utförda av unga kvinnliga sjuksköterskor åt förlamade unga manliga patienter - är mig alltför obekant för att jag skall ha någon bestämd uppfattning om det han skriver.

Superintelligence odds and ends II: The Milky Way preserve

My review of Nick Bostrom's important book Superintelligence: Paths, Dangers, Strategies appeared first in Axess 6/2014, and then, in English translation, in a blog post here on September 10. The present blog post is the second in a series of five in which I offer various additional comments on the book (here is an index page for the series).

*

Concerning the crucial problem of what values we should try to instill into an AI that may turn into a superintelligence, Bostrom discusses several approaches. In part I of this Superintelligence odds and ends series I focused on Eliezer Yudkowsky's so-called coherent extrapolated volition, which Bostrom holds forth as a major option worthy of further consideration. Today, let me focus on the alternative that Bostrom calls moral rightness, and introduces on p 217 of his book. The idea is that a superintelligence might be successful at the task (where we humans have so far failed) of figuring out what is objectively morally right. It should then take objective morality to heart as its own values.^1,2

Bostrom sees a number of pros and cons of this idea. A major concern is that objective morality may not be in humanity's best interest. Suppose for instance (not entirely implausibly) that objective morality is a kind of hedonistic utilitarianism, where "an action is morally right (and morally permissible) if and only if, among all feasible actions, no other action would produce a greater balance of pleasure over suffering" (p 219). Some years ago I offered a thought experiment to demonstrate that such a morality is not necessarily in humanity's best interest. Bostrom reaches the same conclusion via a different thought experiment, which I'll stick with here in order to follow his line of reasoning.³ Here is his scenario:

The AI [...] might maximize the surfeit of pleasure by converting the accessible universe into hedonium, a process that may involve building computronium and using it to perform computations that instantiate pleasurable experiences. Since simulating any existing human brain is not the most efficient way of producing pleasure, a likely consequence is that we all die.

Bostrom is reluctant to accept such a sacrifice for "a greater good", and goes on to suggest a compromise:

The sacrifice looks even less appealing when we reflect that the superintelligence could realize a nearly-as-great good (in fractional terms) while sacrificing much less of our own potential well-being. Suppose that we agreed to allow almost the entire accessible universe to be converted into hedonium - everything except a small preserve, say the Milky Way, which would be set aside to accommodate our own needs. Then there would still be a hundred billion galaxies devoted to the maximization of pleasure. But we would have one galaxy within which to create wonderful civilizations that could last for billions of years and in which humans and nonhuman animals could survive and thrive, and have the opportunity to develop into beatific posthuman spirits.

If one prefers this latter option (as I would be inclined to do) it implies that one does not have an unconditional lexically dominant preference for acting morally permissibly. But it is consistent with placing great weight on morality. (p 219-220)

What? Is it? Is it "consistent with placing great weight on morality"? Imagine Bostrom in a situation where he does the final bit of programming of the coming superintelligence, to decide between these two worlds, i.e., the all-hedonium one versus the all-hedonium-except-in-the-Milky-Way-preserve.⁴ And imagine that he goes for the latter option. The only difference it makes to the world is to what happens in the Milky Way, so what happens elsewhere is irrelevant to the moral evaluation of his decision.⁵ This may mean that Bostrom opts for a scenario where, say, 10²⁴ sentient beings will thrive in the Milky Way in a way that is sustainable for trillions of years, rather than a scenarion where, say, 10⁴⁵ sentient beings will be even happier for a comparable amount of time. Wouldn't that be an act of immorality that dwarfs all other immoral acts carried out on our planet, by many many orders of magnitude? How could that be "consistent with placing great weight on morality"?⁶

Footnotes

1) It may well turn out (as I am inclined to believe) that no objective morality exists or that the notion does not make sense. We may instruct the AI to, in case it discovers that to be the case, shut itself down or to carry out some other default action that we have judged to be harmless.

2) A possibility that Bostrom does not consider is that perhaps any sufficiently advanced superintelligence will do so, i.e., it will discover objective morality and go on to act upon it. Perhaps there is some, yet unknown, principle of nature that dictates that any sufficiently intelligent creature will do so. In my experience, many people who are not used to thinking about superintelligence the way, e.g., Bostrom and Yudkowsky do, suggest that something like this might be the case. If I had to make a guess, I'd say this is probably not the case, but on the other hand it doesn't seem so implausible as to be ruled out. It would contradict Bostrom's so-called orthogonality thesis (introduced in Chapter 7 of the book and playing a central role in much of the rest of the book), which says (roughly) that almost any values are compatible with arbitrarily high intelligence. It would also contradict the principle of goal-content integrity (also defended in Bostrom's Chapter 7), stating (again roughly) that any sufficiently advanced intelligence will act to conserve its ultimate goal and value function. While I do think both the orthogonality thesis and the goal-content integrity principle are plausible, they have by no means been deductively demonstrated, and either of them (or both) might simply be false.⁷

3) A related scenario is this: Suppose that the AI figures out that hedonistic utilitarianism is the objectively true morality, and that it also figures out that any sentient being always comes out negatively on its "pleasure minus suffering" balance, so that the world's grand total of "pleasure minus suffering" will always sum up to something negative, except in the one case where there are no sentient creatures at all in the world. This one case of course yields a balance of zero, which turns out to be optimal. Such an AI would proceed to do as best as it can to exterminate all sentient beings in the world.

But could such a sad statement about the set of possible "pleasure minus suffering" balances really be true? Well, why not? I am well aware that many people (including myself) report being mostly happy, and experiencing more pleasure than suffering. But are such reports trustworthy? Mightn't evolution have shaped us into having highly delusional views about our own happiness? I don't see why not.

4) For some hints about the kinds of lives Bostrom hopes we might live in this preserve, I recommend his 2006 essay Why I want to be a posthuman when I grow up.

5) Bostrom probably disagrees with me here, because his talk of "nearly-as-great good (in fractional terms)" suggests that the amount of hedonium elsewhere has an impact on what we can do in the Milky Way while still acting in a way "consistent with placing great weight on morality". But maybe such talk is as misguided as it would be (or so it seems) to justify murder with reference to the fact that there will still be over 7 billion other humans remaining well and alive?

6) I'm not claiming that if it were up to me, rather than Bostrom, I'd go for the all-hedonium option. I do share his intuitive preference for the all-hedonium-except-in-the-Milky-Way-preserve option. I don't know what I'd do under these extreme circumstances. Perhaps I'd even be seduced by the "in fractional terms" argument that I condemned in Footnote 5. But the issue here is not what I would do, or what Bostrom would do. The issue is what is "consistent with placing great weight on morality".

7) For a very interesting critique of the goal-content integrity principle, see Max Tegmark's very recent paper Friendly Artificial Intelligence: the Physics Challenge and his subsequent discussion with Eliezer Yudkowsky.

Implosion istället för explosion?

Singulariteten, som jag upprepade gånger tagit upp till diskussion här på bloggen, är ett hypotetiskt framtidsscenario där skapandet av en övermänsklig artificiell intelligens (AI) leder till en självförstärkande spiral och en explosionsartad utveckling mot allt intelligentare maskiner, med radikala men extremt svårförutsägbara följder för våra liv och för samhället. Den mest rimliga hållningen i förhållande till det troliga i Singulariteten är enligt min mening än så länge agnosticism. Visserligen är jag, när jag t.ex. läser David Chalmers uppsats The Singularity: a philosophical analysis (plus de många svar han fick, och hans egen sammanfattande rejoinder), böjd att tycka att argumenten för att en Singularitet är trolig (förutsatt att inte en civilisationskollaps av ett eller annat slag hinner före) förefaller starkare än dem emot. Men jag är naturligtvis ändå intresserad av att ta del av argumenten emot.

Ett visserligen starkt spekulativt (i likhet med mycket av diskussionen kring Singulariteten), men ändå intressant, argument för att Singulariteten inte kommer att inträffa, presenterades för en tid sedan av matematikern och författaren David Eubanks i en bloggpost på Institute for Ethics and Emerging Technologies. Ett centralt element i de flesta Singularitets-scenarier är att tillräckligt intelligenta robotar kan ha förmågan att mixtra med sina egen mjuk- eller hårdvara för att på så vis bli ännu intelligentare. Eubanks tar fasta på detta, men med en annorlunda twist, där den tänkta intelligensexplosionen ersätts av något som mer liknar en implosion:

A robotic mining facility has been built to harvest rare minerals from asteroids. Mobile AI robots do all the work autonomously. If they are damaged, they are smart enough to get themselves to a repair shop, where they have complete access to a parts fabricator and all of their internal designs. They can also upgrade their hardware and programming to incorporate new designs, which they can create themselves.

Robot 0x2A continually upgrades its own problem-solving hardware and software so that it can raise its production numbers. It is motivated to do so because of the internal rewards that are generated—something analogous to joy in humans. The calculation that leads to the magnitude of a reward is a complex one related to the amount of ore mined, the energy expended in doing so, damages incurred, quality of the minerals, and so on.

As 0x2A becomes more acquainted with its own design, it begins to find ways to optimize its performance in ways its human designers didn’t anticipate. The robot finds loopholes that allow it to reap the ‘joy’ of accomplishment while producing less ore. After another leap in problem-solving ability, it discovers how to write values directly into the motivator’s inputs in such a way that completely fools it into thinking actual mining had happened when it has not.

Idén att en robot skulle kunna balla ur på detta vis känns inte särskilt kontroversiell. Eubanks bloggpost väcker emellertid frågan om en mycket radikalare möjlighet, nämligen att varje tillräckligt intelligent varelse kommer att bete sig på detta vis.

Varianter av det slags manipulation av det egna belöningssystemet som roboten 0x2A ägnar sig åt är inte okända hos människor, och Eubanks nämner flera exempel. Med hjälp av preventivmedel njuter vi frukterna av det belöningssystem för reproduktion som det Darwinska naturliga urvalet försett oss med, men utan själva reproduktionen. Med kemiska medel eller med hjälp av böcker och filmer försätter vi oss i sinnestillstånd som inte (med de avbildningar som evolutionen försett oss med) korrekt motsvarar hur verkligheten därute är beskaffad. Kanske är den på den inslagna vägen av belöningssystemsmanipulation vår framtid står att finna?

Den amerikanske politiska filosofen Robert Nozick gillade inte den hedonistiska utilitarism enligt vilken maximering av världens totala mängd njutning minus dito mängd lidande är det enda fundamentalt eftersträvansvärda och grunden för den sanna etiken. För att påvisa dess orimlighet föreslog han som ett tankeexperiment den så kallade upplevelsemaskinen. En sådan maskin skickar optimala elektriska signaler (samtidigt som den kopplar bort alla de sinnesstimuli som normalt strömmar in från yttervärlden) direkt in i den mänskliga hjärnan och stimulerar lustcentrum på ett sätt som skänker oss maximal njutning. Hur skulle du, kära läsare, ställa dig till ett erbjudande om att koppla upp dig mot Nozicks upplevelsemaskin (plus dropp och övriga nödvändiga livsuppehållande åtgärder) resten av livet?

Jag tror att de flesta spontant ryggar för ett sådant erbjudande. Nozick säger bestämt nej, och menar att hedonismen därmed måste vara fel ute: det finns annat som är viktigt än den rena njutningsnivån. Men vad är det då som fattas i livet som uppkopplad mot upplevelsemaskinen? Autenticitet! Du må ha aldrig så underbara upplevelser där i uppelvelsemaskinen, men de är ju inte autentiska, inte på riktigt.

När Neo i filmen The Matrix valde det röda pillret istället för det blå, så drevs han av en önskan om autenticitet. Men varför är då autenticitet så viktigt? Begreppet förtjänar att problematiseras (och i detta sammanhang vill jag varmt rekommendera David Chalmers uppsats The Matrix as Metaphysics). Tänk om Nozick har fel, tänk om autenticitet i själva verket visar sig vara betydelselöst, tänk om det enda som egentligen betyder något är den hedonistiska njutningsnivån, och tänk om varje tillräckligt intelligent varelse är dömd att inse detta? Det skulle kunna vara så, och det kan hända att i takt med att vi blir allt intelligentare (något som redan pågår och som kan väntas accelerera), alltmer närmar oss den till synes absurda framtid där hela mänskligheten ligger uppkopplad mot lyckomaskiner, och all annan verksamhet (förutom viss automatiserad kraftförsörjning) ligger nere. Om detta rentav är ett universellt fenomen, så förklarar det den Fermis paradox som jag diskuterat i några tidigare bloggposter.

Låt oss säga att vi råkar ut för att våra klipskaste robotar beter sig som 0x2A i Eubanks scenario. Vi skulle då kunna försöka stävja sådant urartat beteende genom att programmera in en stark preferens för autenticitet i dessa och framtida robotar. Det är emellertid inte självklart att detta fungerar. 0x2A kanske upptäcker att han kan kortsluta även det motivationssystemet genom att helt enkelt ställa sin autenticitetsdetektor på maximum oavsett verklig autenticitetsnivå.

Så tror jag att Eubanks har rätt? Nja, kanske inte. Datalogen, fysikern och mångsysslaren Stephen Omohundro föreslår i sin läsvärda uppsats The basic AI drives att preferens för och bevarande av autenticitet inte bara är något som vi kan programmera in i våra AI:n, utan rentav något som i tillräckligt intelligenta sådana kommer att tendera att upptså spontant. Varken Eubanks eller Omohundro ger några slutgiltigt avgörande argument för sina ståndpunkter, och bådas texter bygger minst lika mycket på spekulation som på rigorösa resonemang, men båda är enligt mening värda att ta på allvar i framtida forskning kring avancerade AI:n och deras motivationssystem.

För ovrigt har xkcd ett helt annat förslag på hur teknikutvecklingen kan komma att stanna upp innan vi når fram till Singulariteten:

Till trolleyologins försvar

Scenario 1: Ett herrelöst lok skenar fram mot en grupp om fem personer som befinner sig på rälsen och inte kan ta sig därifrån, och som kommer att dödas av loket om inte du ingriper. Du har möjlighet att rädda dessa fem genom att slå om en växel så att loket styrs in på ett stickspår, där det dessvärre finns en annan person som inte kan ta sig därifrån och som därför kommer att dödas om du slår om växeln. Vad gör du?

Scenario 2: Ett herrelöst lok skenar fram mot en grupp om fem personer som befinner sig på rälsen och inte kan ta sig därifrån, och som kommer att dödas av loket om inte du ingriper. Du står på en bro ovanför järnvägsrälsen tillsammans med en tjock herre som du kan knuffa ned på rälsen, vilket skulle kosta honom livet, men också stoppa lokets framfart och därmed rädda de fem personerna där nere.¹ Vad gör du?

Ur strikt konsekvensutilitaristisk synvinkel är dessa båda problem ett och samma - ty i båda fallen dör en person om du skrider till handling, medan fem andra dör om du underlåter att agera.² Ändå visar studier på området att folk i allmänhet är betydligt mer benägna att skrida till handling i Scenario 1 än i Scenario 2. Det är intressant att fundera över varför.

De båda moraliska dilemman som scenarierna presenterar hör till vad som på engelska kallas trolley problems, och studiet av dem kallas trolleyology (någon etablerad svensk term finns inte, men trolley betyder väl ungefär "mindre spårburet fordon"). De kan varieras - och har varierats - näst intill i det oändliga. En lättläst och trevlig lekmannaintroduktion till detta område av etikfilosofin presenterades för en tid sedan i tidskriften The Prospect, och en annan läsvärd text återfinns i senaste numret av Philosophy Now.

Mer än en gång har jag träffat på reaktionen "Löjligt!" inför trolleyologin. Den negativa reaktionen tycks bottna i observationen att trolleyologins scenarier är verklighetsfrämmande, på så vis att verkliga etiska dilemman alltid är betydligt mer komplicerade. Jag vill gärna försvara trolleyologin mot denna kritik. Förvisso är scenarierna osannolika och starkt stiliserade, men jag menar att det i denna överförenkling också finns något gott.

Det är en angelägen uppgift för etikfilosofin att kartlägga och försöka förstå våra grundläggande moraliska intuitioner - oavsett om avsikten är att skapa ett koherent moralsystem som överensstämmer med dessa, eller om vi vill försöka korrigera vissa av intuitionerna för att de står i alltför stark konflikt med andra och viktigare moraliska principer. Inför våra ställningstaganden i mer verklighetstrogna och komplicerade situationer kan det vara vanskligt att identifiera vilka som är de avgörande faktorerna som leder oss att vilja handla på ett visst sätt. Som ett led i identifierandet av dessa, och i linje med den reduktionism³ som framför allt inom naturvetenskapen banat väg för så stora vetenskapliga landvinningar, är det klokt att försöka studera de enskilda faktorerna i så avskalade och isolerade sammanhang som möjligt. Det är just detta som trolleyologin söker åstadkomma. När man på så vis lyckats identifiera goda kandidater till avgörande faktorer kan man sedan gå vidare med att plugga in dessa i mer verklighetsnära sammanhang för att få grepp om hurpass robusta trolleyologins resultat är.

Fotnoter

1) Det hjälper inte om du kastar dig själv framför loket - du är för klent byggd för att kunna stoppa dess framfart och rädda de fem där nere.

2) Den rättrogne utilitaristen finner också att det i båda fallen är rätt att skrida till handling, av det enkla skälet att fem människoliv väger tyngre än ett.

3) Se Hanno Esséns utmärkta essä i Folkvett häromåret för en introduktion till (det ofta missförstådda) begreppet reduktionism.

Utilitarism och utomjordingar

En eventuell framtida konfrontation mellan mänskligheten och en fientligt sinnad utomjordisk civilisation är ett kärt tema i science fiction. Mer sällsynt är det i den vetenskapliga litteraturen, men det förekommer faktiskt.¹ En sammanfattning av kunskapsläget, som i brist på empiri domineras av spekulationer över tänkbara scenarier, publicerades för ett par månader sedan i tidskriften Acta Astronautica. I den översikten finns bl.a. en överraskande (men spekulativ) koppling till klimatfrågan, vilken, som jag rapporterade om på Uppsalainitiativet häromdagen, ledde den till att en nyhet om risken för utomjordisk invasion i veckan valsat runt i pressen. Min egen syn på saken är att den risken inte är mycket att bry sig om så länge som kunskapsläget i frågan är så utomordentligt magert som det är i dag, i synnerhet som en rad hot mot vår mänskliga civilisation föreligger vilka (troligtvis) är mer akuta och för vilka vi har ett avgjort bättre grepp om vad som behöver göras.

En i mitt tycke (åtminstone i dagens kunskapsläge) mer fruktbar tillämpning av idéer om möten med utomjordingar är att använda dem som inspiration för filosofiska tankeexperiment. Ett känt exempel är Newcombs paradox, ett något mindre känt är Eliezer Yudkowskys berättelse Three Worlds Collide som i novellform erbjuder högintressant input för moralfilosofiska funderingar. I denna bloggpost skall jag skissera ett tänkt möte med utomjordingar i ett försök att kasta ljus (eller möjligen skugga) över den moralfilosofiska inriktning som kallas utilitarism.

Enligt utilitarismen bör vi välja de handlingar som kommer till störst total nytta. Ett specialfall är den hedonistiska utilitarismen, som likställer nytta med graden av välbefinnande, summerat över alla varelser med förmåga att uppleva välbefinnande eller dess motsats lidande; även lidandet kommer med i kalkylen, i form av minusposter. (Om vi inte insisterar på det hedonistiska perspektivet är vi fria att räkna in sådant som t.ex. kunskap eller estetiska värden, såsom värden i sig själva och inte bara medel för att uppnå välbefinnande.) Det finns goda argument för ett utilitaristiskt synsätt. Personligen är jag emellertid skeptisk till att dogmatiskt binda mig vid en enda morallära, och är således inte beredd att oreserverat ansluta mig till utilitarismen, och i synnerhet inte till den hedonistiska. Men det finns många andra som är mer övertygade om den hedonistiska utilitarismens grundläggande riktighet, däribland (om jag förstått dem rätt) filosoferna Peter Singer och Torbjörn Tännsjö. Jag undrar hur de ställer sig till följande tankeexperiment.

Jorden angrips av en militär styrka av kentuarianer, så kallade därför att de kommer från en planet i omloppsbana runt stjärnan Alpha Centauri. Kentaurianernas avsikt är att tillfångata alla oss människor (eller så många de kan få tag i) i syfte att, för deras eget höga nöjes skull, hålla oss vid liv i små burar och utsätta oss för svår tortyr så länge som möjligt. Det står och väger huruvida invasionen skall lyckas, och det etiska dilemma jag härmed föreslår är huruvida man bör ställa upp för den mänskliga försvarsarmén eller hellre desertera och gå över till den kentaurianska anfallsstyrkan.

Jag gissar att de flesta, inklusive Singer och Tännsjö, spontant tar mänsklighetens parti i denna militära konflikt. Jag har emellertid inte redogjort för samtliga förutsättningar ännu. Så här ligger det nämligen till:

Kentaurianerna har ojämförligt mycket större förmåga än vi människor att känna välbefinnande. Deras sensitivitet i förhållande till vår är närmast att jämföra med hur vi föreställer oss att vår sensitivitet förhåller sig till flugors eller bacillers. Maximalt välbefinnande kan kentaurianerna uppnå på ett enda vis, nämligen genom att se oss stackars människor sprattla under bestialisk tortyr. När de får uppleva detta mår de så bra inombords att det lidande vi stackars människor utsätts för blir till försumbara växelpengar i den hedonistiska uträkningen.

Nå, Peter Singer och Torbjörn Tännsjö, på vilken sida ställer ni er i denna konflikt - människornas eller kentaurianernas? (Själv avser jag kämpa till sista blodsdroppen i den mänskliga försvarsstyrkan.)

Fotnot

1) I den häromåret utkomna antologin Global Catastrophic Risks, om existentiella hot mot mänskligheten, upptar konfrontationer med utomjordingar tre av totalt mer än 500 sidor, vilket jag uppfattar som närmast en överrepresentation i förhållande till temats förekomst i litteraturen som helhet.