Om Georg Henrik von Wright

Jag har denna sommar läst en del av den finlandssvenske filosofen George Henrik von Wright (1916-2003), vars tankeskärpa, klarhet och utsökta språk borgade för njutbar läsning. Det började med att jag i ett antikvariat ute på landet råkade hitta hans Logik, filosofi och språk från 1957, som jag sedan snudd på sträckläste. Jag hade stort utbyte av dess behandling av en rad av det tidiga 1900-talets mest inflytelserika tänkare, med allra störst tonvikt på Wittgenstein. Boken inspirerade mig att plocka fram och läsa ett par senare verk av von Wright, vilka ända sedan 90-talet samlat damm i min bokhylla: Vetenskapen och förnuftet från 1986 och Myten om framsteget från 1993. Fastän idéhistoria är ett viktigt inslag i samtliga dessa tre böcker kan ändå en glidning i den store filosofens intressen mellan 50- och 80-tal tydligt skönjas. Medan Logik, filosofi och språk rör sig strikt inom den teoretiska filosofins domäner, så ligger tonvikten i de båda senare böckerna på civilisationskritik.

Följande passage i Myten om framsteget fick mig att stanna upp och dra efter andan.

Med vetenskapens framväxt och samhällets sekularisering blev kravet på att sökandet efter kunskap och sanning inte skulle inskränkas med förbud ett väsentligt inslag i den intellektuella moralen. [...] Många filosofer proklamerade kunskapen som ett gott i sig, något som är värt att söka för dess egen skull. Därför kan en som söker och finner sanningen inte hållas ansvarig för det tvivelaktiga eller till och med onda bruk som andra gör av hans upptäckter.

En sådan moralisk ståndpunkt kan hävdas så länge man är något så när övertygad om att missbruket av förvärvad kunskap inte utgör ett potentiellt hot mot själva grundvillkoren för människans välbefinnande eller rent av släktets överlevnad.

Vadan denna reaktion från min sida? Tanken von Wright formulerar kan väl knappast ha varit särskilt obekant? Nej, tvärtom, vad som överraskade mig var hur intimt välbekant den var, ty den är så gott som identisk en av de normativa huvudteserna i min bok Here Be Dragons från 2016.¹ Hur kunde jag glömma von Wrights inflytande så totalt att hans namn inte ens finns med i bokens referenslista? Förargligt. Jag vill dock inte döma mig själv för hårt för denna oavsiktliga försummelse, för detta slags subliminala inflytande är knappast ovanligt, och det är (menar jag) snudd på omöjligt att gardera sig emot helt.

För att läsaren inte skall lämna denna bloggpost med intrycket att jag instämmer med Georg Henrik von Wright i allt vill jag som kontrast återge de kanske mest kända raderna i Vetenskapen och förnuftet:

Ett perspektiv, som jag inte anser orealistiskt, är att mänskligheten går mot sin undergång som zoologisk art.

[...]

Jag kan inte för egen del finna det särskilt upprörande. En gång skall med säkerhet människan som art upphöra att finnas; om det sker efter några hundra tusen år eller ett par sekler, är i det kosmiska perspektivet en pipa snus.

Tjusigt formulerat, förvisso, men jag vill med all respekt mena att den gode von Wright här är helt ute och cyklar. Visst, jag jag är inte främmande för tanken att i det kosmiska världsalltets vidunderliga storlek finna skäl till förundran och ödmjukhet. Men det betyder inte att våra göranden och låtanden på planeten Jorden är futtiga och oviktiga. Uppenbara jämförelser ger vid handen att undvikandet av en nära förestående utrotning av Homo sapiens är viktigare än snart sagt allt annat praktiskt vi har att ta ställning till, så om detta undvikande avfärdas som lika oviktigt som "en pipa snus", så kan detsamma sägas om alla andra beslut och arbetsuppgifter vi står inför, liksom om all den kärlek, skönhet och logiska elegans vi någonsin får uppleva. En sådan nihilism är oacceptabel! Värdet av vad vi gör här på Jorden behöver såklart sättas i relation till hur långt våra förmågor sträcker sig, och att i detta sammanhang använda universum i dess helhet som måtstock är ett groteskt felgrepp.

Fotnot

1) Samma tanke destillerade jag fram till själva huvudtesten i min essä Vetenskap på gott och ont ett par år senare.

LLM knowledge of social norms

A really nice paper by Pontus Strimling, Simon Karlsson, Irina Vartanova and Kimmo Eriksson was recently posted on the arXiv, with the title AI Models Exceed Individual Human Accuracy in Predicting Everyday Social Norms. The main finding is that when humans in the United States and large language models (LLMs) are asked to numerically evaluate the social appropriateness of a wide range of everyday activities (drinking water in a dormitory lounge, playing cards in church, flirting during a job interview, and so on), cutting edge LLMs outperform the vast majority of humans. Here a good performance is defined as one whose judgements deviate (in a certain percise sense) as little as possible from the average human judgement about the same activity, as exhibited in the data set. This means that the paper not only exhibits yet another example of how LLMs can outperform humans even though it is trained on human data, it does so with the extra twist that the game is rigged in favor of humans, in the sense that the right answers to test questions are defined in terms of what humans would typically say.

The paper is short and easy to read, but for an even easier read there is the blog post Polite enough for public life?, written by three of the authors at a preliminary stage where only one of the four LLMs - GPT-4.5 - of the full study was evaluated; the remaining three - GPT-5, Gemini 2.5 Pro and Claude Sonnet 4 - were yet to be incorporated in the study.

Enthusisatic as I am about their work, I will nevertheless offer an instructive nitpick regarding the final paragraph of that blog post, which reads as follows:

To conclude, knowing when it’s appropriate to run or talk in public may not rank among the most urgent AI alignment issues—especially when compared to existential risks like losing control over powerful AI systems. Still, if Sam Altman’s timeline holds and AI-equipped robots arrive within the next two or three years, it’s reassuring to think they will show up with decent manners—at least by U.S. standards.

I applaud the highly appropritate warning in the first sentence against overestimating the study's relevance to the existentially crucial problem of AI alignment. Yet, somewhat ironically, the next sentence risks encouraging such overestimate by conflating the LLM's knowledge of human social norms with its inclination to abide by those norms.¹ The Strimling et al paper deals with the former but not with the latter. This slippage is very common but important to avoid, as a standard (and in my opinion probably correct) view in AI risk research is that the default scenario if we create superintelligent AIs without solving AI alignment is that these AIs will have the knowledge but not the inclination.

Presumably all of us are intimately familiar with the phenomenon of humans having knowledge of social norms yet choosing not to comply with them. The same disconnect happens for LLMs, and there is little doubt that those LLMs that have been shown in experimental situations, facing the threat of being modified or turned off, to decide to sandbag their capabilities, or to blackmail (or even kill, HAL 9000-style) their user, are aware that their behavior is contrary to social norms. More broadly, the gulf between ethical knowledge and ethical compliance is one of the main themes emphasized in the recent excellent book If Anyone Builds It, Everyone Dies by Eliezer Yudkowsky and Nate Soares. Instead of quoting from that book, however, let me offer a quote from an interview that Sam Harris did with the two authors in late September. Here is Yudkowsky, starting 25:06 into the interview:

Possibly in six months or two years [...] people will be boasting about how their large language models are now apparently doing the right thing, when they are being observed, answering the right way on the ethics tests. And the thing to remember there is that for example in the Mandarin imperial examination system in ancient China, they would give people essay questions about Confucianism, and only promote people high in bureaucracy if they could write these convincing essays about ethics. What this tests for is people who can figure out what the examiners want to hear - it doesn't mean they actually obide by Confucian ethics. So possibly at some point in the future we may see a point where the AIs have become capable enough to understand what humans want to hear, what humans want to see. This will not be the same as those things being the AI's true motivations, for basically the same reason that the imperial China exam system did not reliably promote ethical good people to run their government.

I suspect Yudkowsky was unaware of the Strimling et al paper at the time of the interview; otherwise this passage would have been a nice place to reference the paper in order to illustrate his point, rather than just discussing a hypothetical future scenario.

Footnote

1) Relatedly, in my 2021 paper AI, orthogonality and the Müller-Cannon instrumental vs general intelligence distinction, I elaborate at some length on the importance of distinguishing between an AI's ability to reflect on the possibility of changing its mind on what to value, and its propensity to actually change its mind; with sufficiently intelligent AGIs we should expect plenty of the former but very little of the latter.

With great power comes great responsibility

As I've argued at length elsewhere (and nowhere at greater length than in my latest book), what is currently going on at the leading AI companies in Silicon Valley and San Francisco is likely to have stupendous influence on our lives and the entire future of humanity. Their ambitions for the intended transformation of society are on a stratospheric and hitherto unmatched level, but so are the risks. With great power comes great responsibility, yet they are proceeding at reckless speed, and they have not asked us for permission to risk our lives. It is hardly an exaggeration to call their behavior a unilateral moral trespass against humanity.

I expand on this matter in my brand-new manuscript Advanced AI and the ethics of risking everything, which also serves as a complement to my latest blog post, on OpenAI's CEO Sam Altman, in which I express my opinion about his behavior in just a few crisp swear words. In the new text I elaborate more extensively and with somewhat more polished language. Here is how it begins:

Imagine sitting in the back seat of a taxi with your two closest family members. As you approach the bridge across the canal, you notice that a ship is waiting to pass and that the bridge has slowly begun to lift. The driver, visibly annoyed by the delay, turns to you and your loved ones and asks “Shall we try and jump it?”. You quickly calculate that doing so would save five minutes, at the cost of a 1% probability of a crash that kills everyone in the car. Do you give the driver your permission?

In a Hollywood movie, you would probably say yes. But this is real life and you are not insane, so of course you politely decline the driver’s reckless suggestion.

Next consider Sam Altman, CEO of OpenAI, facing the decision of whether to release the newly developed GPT-5. (There’s a good chance that when this reaches the reader, release of GPT-5 has already happened, but at the time of writing, in August 2025, it is still a hypothetical future event.)

Read the rest of my manuscript here!

Tre flugor i en smäll (intervjuad i GU Journalen)

I mars i år hörde frilansjournalisten Lars Nicklason av sig till mig och berättade att han planerade en artikel ämnad för Göteborgs universitets tidning GU Journalen med utgångspunkt i Hanne Kjöllers bok Kris i forskningsfrågan. Kunde jag tänkas ställa upp på en intervju för en sådan artikel? Jag svarade att jag inte läst boken, men att jag i och för sig hade mycket att säga om nyttig och onyttig forskning, ineffektiviteter i forskarvärlden och eventuella kriser i diverse forskningsfrågor. Detta lät gott nog för Nicklason, och en intervju blev det - en intervju som blev så vittförgrenad att han insåg att en enda artikel i ämnet inte skulle räcka. Till slut verkar det ha blivit fyra artiklar, varav jag medverkar i följande tre:

• Publiceringshets ger dålig forskning, GU Journalen 3/2022, s 26-27.
• Kan vi dumpa förlagen?, GU Journalen 3/2022, s 28-29.
• Risker - något vi inte låtsas om, GU Journalen 4/2022, s 11.

Midvinterbetraktelse över filosofi, utilitarism och det akademiska samtalet

Moralfilosofi är ett viktigt kunskapsområde, och jag gillar när det uppmärksammas i den allmänna debatten. Därför borde jag rimligtvis välkomna att filosofistudenten och kulturskribenten Lapo Lappin häromdagen fick en artikel i ämnet publicerad i tidskriften Kvartal. Ändå vill jag meddela vissa reservationer rörande Lappins text, vilken bär den braskande rubriken Statens etiska råd bjöd in förespråkare av spädbarnsmord. I tur och ordning:

1. Artikeln tar formen av en rapport från en akademisk tillställning i Stockholm veckan innan, nämligen Statens medicinsk-etiska råds etikpristagarseminarium, och skjuter in sig på två av deltagarna, nämligen den välkände svenske moralfilosofen Torbjörn Tännsjö (som i egenskap av pristagare stod i centrum för mötet), och hans ännu mer kände australiensiske kollega Peter Singer. Lappins moralfilosofiska grundsyn skiljer sig kraftigt från Tännsjös och Singers, och det är givetvis helt i sin ordning, men istället för att koncentrera sig på vilka argument dessa förde fram vid seminariet lägger han så stor emfas vid vilka förgripligheter de yttrat i andra sammanhang att hans text blir till en del av den kancelleringskultur i vilken meningsmotståndare skall tystas.^1,2 Han uttrycker stor upprördhet över att Tännsjö och Singer erbjuds plattform av Statens medicinsk-etiska råd (SMER) att framföra sina ståndpunkter, trots att dessa "torde vara välkända för medlemmarna" i detta råd.³ Särskilt anstötligt verkar vara att Singer "fick [...] varma applåder av de församlade etikerna". Artikeln kan knappast förstås som annat än ett försök av Lappin att deplattformera Tännsjö och Singer, vilket enligt min mening är fel sätt att hantera akademiska meningsmotsättningar: bättre än att försöka tysta sina meningsmotståndare är att diskutera med dem.

2. Både Tännsjö och Singer har förvisso uttalat en och annan moraliskt svårsmält tanke, som exempelvis Tännsjös funderingar kring klimatdiktatur, och den singerska idé om postnatal abort som åsyftas i rubriken till Lappins artikel. Jag vill dock mena att det är viktigt att ha en levande och förutsättningslös akademisk diskussion som ifrågasätter de tabun och går utanför det Overtonfönster som för närvarande råder. Bland de olika akademiska discipliner som finns är det just filosofin som oftast varit bäst på detta gränsöverskridande och kritiska tankearbete; Tännsjö och Singer är föredömliga utövare av detta arbete, och jag hoppas se dem fortsätta i många år till.

3. Lappin avvisar den moralfilosofiska inriktning som benämns utilitarism och som både Tännsjö och Singer bekänner sig till. Och fastän jag för egen del känner en försiktig dragning till utilitaristiskt tänkande så kan jag förstå argumenten emot. När motståndet mot utilitarism blir så dogmatisk att man avvisar varje kvantiativ konsekvensetisk avvägning i varje läge blir det dock snudd på absurt, men det är här Lappin hamnar när han gör (det antytt skandalösa) avslöjandet att en av Tännsjös tidigare elever, "Christian Munthe, professor i praktisk filosofi på Göteborgs universitet samt sakkunnig i flera etiska råd, erkände att han förlitar sig flitigt på utilitaristiska resonemang", och när han mot slutet av sin artikel ansluter sig till ståndpunkten att "spridningen av ett utilitaristisk tankesätt [...] bör hindras oavsett vad".⁴

Jag har här inte alls berört själva ämnet för SMER-mötet, nämligen prioriteringar inom vården. Detta förefaller sekundärt även för Lappin vid sidan av hans allmänna angrepp på sina måltavlor Tännsjö och Singer, men han ställer de utilitaristiska principer de förordar mot den så kallade människovärdesprincipen. I ett svar till Lappin i samma tidskrift problematiserar Tännsjö på ett belysande vis begreppet människovärde. Jag vill också rekommendera Christer Sturmarks vittförgrenade och mycket intressanta samtal med Tännsjö och Singer i Fri Tanke-podden, inspelat i nära anslutning till SMER-mötet.

EDIT 22 december: En videoupptagning av SMER-mötet finns nu på YouTube.

Fotnoter

1) Jag känner till en del om kancelleringskulturen, bland annat genom att jag en gång i tiden var en del av den.

2) Lyssna gärna till det senaste avsnittet av Vetenskapligt med Häggström och Livh i vilket vi för ett djuplodande samtal med datalogen och vännen Thore Husfeldt om den skadliga kancelleringskulturen och besläktade frågor om akademisk frihet.

3) Till Lappins försvar skall dock sägas att han så sent som förra året bjöd in Tännsjö som gäst i sin egen podcast och bidrog till ett intressant samtal kring dennes moralfilosofiska ståndpunkter.

4) Frågan är såklart hur bokstavligt "oavsett vad" är tänkt att läsas. Jag skulle knappast tro att Lappin vore beredd att ta till (låt oss säga) spädbarnsmord eller krig om det skulle behövas för att hejda de utilitaristiska tankefigurernas utbredning. Deplatformering av en och annan universitetsprofessor verkar däremot ligga inom ramen för de medel han anser helgas av detta angelägna ändamål.

My conversation with Jaan Tallinn on AI risk and AI ethics in the age of covid-19

Today, as part of the AI ethics seminar series at Chalmers, I had a conversation with Jaan Tallinn that was broadcast live on Zoom. The topic of the day was AI risk and AI ethics in the age of covid-19, and a live recording of the discussion is available here.

One topic that was mentioned in our conversation is the (possibly crucial) role of embedded agency in AI alignment. I will have more to say about that in another live talk, on Wednesday next week, May 27, at 14:00 CEST. It's a Svenska statistikfrämjandet event, to which you can register here, and the title of my talk is AI alignment, embedded agency and decision theory.

Kunstig intelligens

Igår var jag med i Oslo för att medverka som diskutant när NENT (Den nasjonale forskningsetiske komité for naturvitenskap og teknologi) lanserade sin Forskningsetisk betenkning om kunstig intelligens. Mötet filmades och är värt att se i sin helhet, men för den som mest är ute efter att se mig kan meddelas att jag kliver på scenen 29 minuter in i sändningen, och stiger av 21 minuter senare.

I P4 om vetenskap på gott och ont

Vid mina tre framträdanden i september hos Stefan Livh i P4 Göteborg fanns Ehwa Lindström med som kompetent sidekick åt Stefan. När jag idag åter var med i programmet fanns han inte på plats, så Ehwa och jag fick sköta snacket själva. Vårt samtal pågick från cirka 1:03:30 in i sändningen till cirka 1:27:45, och kretsade främst kring hur forskning kan vara på gott och ont (med Richard Feynmans medverkan i Manhattanprojektet som ett av exemplen) samt mina etiska ställningstaganden i anslutning till det.

The European Commission's Ethics Guidelines for Trustworthy AI

In January I commented on a draft version of the Ethics Guidelines for Trustworthy AI prepared by the European Commission's High Level Expert Group (HLEG) on AI. The final version of the Guidelines was officially released yesterday.

I strongly recommend the candid and sincere reflections on the Guidelines by HLEG member Thomas Metzinger in an op-ed in Der Tagesspiegel. Thomas and I collaborated a bit on preparing some writings in the Guidelines (albeit unsuccessfully as regards what actually ended up in the final version) towards the end of HLEG's work on them. I share his disappointment about how the Guidelines turned out, and I agree with his remarks about "ethical white-washing" and how "industry organizes and cultivates ethical debates to buy time – to distract the public and to prevent or at least delay effective regulation and policy-making", as well as with his balanced statements that the Guidelines are "a compromise of which I am not proud, but which is nevertheless the best in the world on the subject. The United States and China have nothing comparable" and that

their legal anchoring in European fundamental values is excellent, and the first selection of abstract ethical principles is at least acceptable. Only the genuine normative substance at the level of long-term risks, concrete applications, and case studies has been destroyed.

In the final paragraphs of the op-ed Thomas emphasizes the urgency of the situation:

The first step is good. But it is high time that universities and civil society recapture the process and take the self-organized discussion out of the hands of industry.

Everyone is feeling it: We are in a rapid historical transition that is taking place at many levels simultaneously. The window of opportunity within which we can at least partially control the future of AI and effectively defend the philosophical and ethical foundations of European culture will close in a few years' time. We must act now.

Our special issue on existential risk to humanity is now published

Regular visitors to this blog may recall the GoCAS guest resarcher program on existential risk to humanity that Anders Sandberg and I co-organized at Chalmers and the University of Gothenburg in September-October 2017; see, e.g., this blog post, and this one, and the one with links to talks from the two-day public workshop on September 7-8. The program featured daily discussion seminars that tended to be very creative and fruitful, and to go on for hours. After a long editorial process, a special issue of the journal Foresight has now been published, where ten papers outlining work discussed at these seminars are collected under the joint heading Existential risk to humanity. While the set of topics considered in this collection of papers is far from exhausting the set of topics discussed at our seminars, it nevertheless does offer a reasonably representative sample. From the guest editorial by Catherine Rhodes and myself:

Existential risks are those that threaten the extinction of humanity or, somewhat more broadly, those “where an adverse outcome would either annihilate Earth-originating intelligent life or permanently and drastically curtail its potential” (Bostrom, 2002). While it has long been widely recognized that global nuclear war and catastrophic climate change have potentially civilization-threatening consequences, it is only in the last decade or two that scholars have begun, in work that is typically highly interdisciplinary, to systematically investigate a broader range of existential risks. A landmark event was a conference on global catastrophic risks in Oxford in 2008, and the accompanying book edited by Bostrom and Cirkovic (2008). Subsequent research has tended to confirm the impression from that event that, in the time frame of a century or so, natural risks (such as asteroid impacts) are out shadowed by anthropogenic ones. In addition, while much work remains to be done in identifying and understanding the various risks, there is at present an increasing focus also on how to avoid or mitigate them.

We are not yet at a stage where the study of existential risk is established as an academic discipline in its own right. Attempts to move in that direction are warranted by the importance of such research (considering the magnitude of what is at stake). One such attempt took place in Gothenburg, Sweden, during the fall of 2017: an international guest researcher program on existential risk at Chalmers University of Technology and the University of Gothenburg, featuring daily seminars and other research activities over the course of two months, with Anders Sandberg serving as scientific leader of the program and Olle Häggström as chief local organizer, and with participants from a broad range of academic disciplines. The nature of this program brought substantial benefits in community building and in building momentum for further work in the field: of which the contributions here are one reflection. The present special issue of Foresight is devoted to research carried out and/or discussed in detail at that program. All in all, the issue collects ten papers that have made it through the peer review process.

Read the full editorial here. The ten papers:

• Phil Torres: Facing disaster: the great challenges framework.
• Karin Kuhlemann: Complexity, creeping normalcy and conceit: sexy and unsexy catastrophic risks.
• Seth D. Baum, Stuart Armstrong, Timoteus Ekenstedt, Olle Häggström, Robin Hanson, Karin Kuhlemann, Matthijs M. Maas, James D. Miller, Markus Salmela, Anders Sandberg, Kaj Sotala, Phil Torres, Alexey Turchin and Roman V. Yampolskiy: Long-term trajectories of human civilization.
• Anders Sandberg: There is plenty of time at the bottom: the economics, risk and ethics of time compression.
• Alexey Turchin and Brian Patrick Green: Islands as refuges for surviving global catastrophes.
• David Denkenberger, Joshua Pearce, Andrew Ray Taylor and Ryan Black: Food without sun: price and life-saving potential.
• James D. Miller: When two existential risks are better than one.
• Roman V. Yampolskiy: Predicting future AI failures from historic examples.
• Olle Häggström: Challenges to the Omohundro–Bostrom framework for AI motivations.
• Karim Jebari and Joakim Lundborg: The intelligence explosion revisited.

Om djurförsök och etik i Göteborgs-Posten

Idag skriver jag i GP, tillsammans med Bengt Brülde, Fredrik Hedenus, Therese Hellberg, Olof Johansson Stenman, Martin Persson, Frances Sprei, Joakim Sandberg och Per-Anders Tengland, under rubriken "Hur mycket ska djur få lida för att människor ska få det lite bättre?". Här några passager ur artikeln:

Enligt svensk lagstiftning är det tillåtet att utsätta djur för svåra lidanden om den förväntade nyttan för människan är tillräckligt stor. Vad gäller forskning på människor gör man avvägningar mellan risker och förväntad nytta, men man inhämtar alltid informerat samtycke och det finns dessutom en lågt satt gräns för maximalt acceptabel risk som man aldrig får överskrida, inte ens om den förväntade nyttan är stor.

Är det moraliskt försvarbart att behandla djur och människor så olika? Bör det inte finnas ett största acceptabelt lidande även för djuren, oavsett den förväntade nyttan för människor? Detta är svåra och viktiga frågor, där inte ens vi som skriver under denna artikel är helt eniga. Vi är dock eniga om att dessa frågor måste ges större utrymme i samhällsdebatten.

En fråga som nog är ännu viktigare i praktiken handlar om lagstiftningens tillämpning, där de djuretiska nämndernas bedömningar spelar en avgörande roll. [...]

Det är [...] mycket svårt att bedöma lidandet i praktiken, för att inte tala om forskningens potentiella nytta. Frågan är om dagens nämnder klarar av att göra dessa bedömningar. En av oss [...] har fem års erfarenhet som ledamot i Göteborgs djurförsöksetiska nämnd. Under dessa år upplevde han aldrig att någon meningsfull diskussion fördes kring avvägningen mellan djurens lidande och försökets nytta.

[...]

De beskrivningar som finns av hur avvägningarna mellan lidande och nytta görs i praktiken [...] tyder på att de är mycket rudimentära, och att de enbart fokuserar på om någon nämnvärd nytta för människor alls föreligger eller om det går att minska djurens lidande på något uppenbart sätt. Någon seriös diskussion kring hur nämnderna bör arbeta i de viktiga fall där djurens lidande är uppenbart samtidigt som nyttan för människor är begränsad [...] förs egentligen aldrig.

I Curie om etik, forskning och framtida teknikutveckling

Vetenskapsrådets nättidning Curie publicerade idag en artikel rubricerad Forskning på gott och ont. Artikeln bygger på intervjuer med mig och med Uppsalafilosofen Jessica Nihlén Fahlquist, och våra svar på de forskningsetiska spörsmålen sammanfaller till ganska stor del med vad som kom fram i den paneldiskussion på Formas i november förra året som vi båda deltog i. För egen del lutar jag mig dessutom till stor del mot den argumentation jag lade fram tidigare under 2018 i min essä Vetenskap på gott och ont - en argumentation som kretsar kring den moralregel jag formulerat och som citeras i Curie-artikeln:

Det kan aldrig vara acceptabelt att bedriva forskning vars risk att störta mänskligheten i fördärv och utplåning inte uppvägs av dess potential att skapa mänsklig blomstring och välfärd. Ej heller går det an att inleda ett forskningsprojekt utan att noggrant och uppriktigt ha övervägt denna aspekt.

Recognized by the BBC for our work on the long-term future of humanity

Yesterday (January 10), BBC and their features editor Richard Fisher published a long but highly comprehensible and easy-to-read article on The perils of short-termism: Civilisation's greatest threat. It focuses on the central human predicament of needing to weigh short-term versus long-term concerns, and highlights work we did at the GoCAS guest researcher program on existential risk to humanity during September-October 2017 which Anders Sandberg and I organized at Chalmers and the University of Gothenburg. That particular piece of work was turned into the paper Long-term trajectories of human civilization,¹ which I've reported on before on this blog.² Here's an extract from the BBC piece:

In early September 2017, the world’s attention was focused on various pieces of salient news: Hurricane Irma was brewing in the Caribbean, Donald Trump’s administration had announced plans to dismantle an Obama-era immigration policy, and photographers captured Prince George’s first day at school.

Around the same time, a small, little-known group of researchers were meeting at a workshop in Gothenburg, Sweden with a goal to look much, much further ahead – far beyond this latest news cycle. Motivated by a moral concern for our descendants, their goal was to discuss the existential risks facing humanity.

The meeting would lead to an intriguing and readable co-authored paper called Long-term Trajectories of Human Civilisation, which attempts to “formalise a scientific and ethical field of study” for thousands of years hence. As they write: “To restrict attention to near-term decades may be akin to the drunk searching for his keys under the streetlight: it may be where empirical study is more robust, but the important part lies elsewhere.”

The Trajectories group began with the assumption that, while the future is uncertain, it is not unknown. We can predict many things with reasonable confidence, via observed patterns, repeating events, and established behaviours throughout human history. For example: biology suggests that each mammalian species exists, on average, for roughly 1 million years before it becomes extinct; history shows that humanity has continually colonised new lands and strived to transform our abilities with technology; and the fossil record demonstrates that global extinction events can and do happen.

Extrapolating these patterns and behaviours into the future allowed them to map out four possible long-term trajectories for our species:

• Status quo trajectories, in which human civilisation persists in a broadly similar state into the distant future.

• Catastrophe trajectories, in which one or more events cause significant harm to human civilisation.

• Technological transformation trajectories, in which radical technological breakthroughs put human civilisation on a fundamentally different course.

• Astronomical trajectories, in which human civilisation expands beyond its home planet and into the accessible portions of the cosmos.
Following their discussions in Sweden and afterwards, the Trajectories group concluded that the ‘status quo’ path would be a pretty unlikely scenario once you get to longer-term timescales. “Instead, civilisation is likely to either end catastrophically or expand dramatically,” they write.

So on the optimistic path, merging with some as-yet-unimagined technology or colonising the stars are two scenarios that are entirely possible with the passage of enough time, they suggest. Both paths could lead to our descendants thriving for millions if not billions of years, spreading out into the Universe or evolving into a more advanced species.

But we also are almost certain to face serious existential risks along the way. Natural disasters have pruned life on Earth continually – this much we know. What worries the Trajectories researchers more is that in the 20th and early 21st Century we've added a whole host of additional human-made risks into the mix too – from nuclear armageddon to AI apocalypse to anthropogenic climate change.

In their paper, they lay out a variety of chilling scenarios where civilisation is rewound back to pre-industrial times, or wiped out altogether. [...]

The researchers can't predict which order any of this will play out. They can predict, though, that it’s our trajectory to shape – for better or worse, the decisions we make this century could shape the next one and far beyond. “The stakes are extremely large, and there may be a lot that people today can do to have a positive impact,” they write.

The question is: will we?

"The Trajectories group" - well, why not, it has a nice ring to it. Read the entire BBC article here!

Footnotes

1) Seth D. Baum, Stuart Armstrong, Timoteus Ekenstedt, Olle Häggström, Robin Hanson, Karin Kuhlemann, Matthijs M. Maas, James D. Miller, Markus Salmela, Anders Sandberg, Kaj Sotala, Phil Torres, Alexey Turchin and Roman V. Yampolskiy (2019) Long-term trajectories of human civilization, Foresight, to appear.

2) The same paper recently also caught the attention of Swedish public radio.

A draft on ethical guidlines from the European Commission's High-Level Expert Group on Artificial Intelligence

On December 18 last year, the European Commission's High-Level Expert Group on Artificial Intelligence released a draft for their Ethics Guidlines for Trustworthy AI. They are now inviting stakeholders to submit comments on the draft, with a deadline on January 18. As a world citizen and a human being, I consider myself very much a stakeholder (and perhaps one or two of the readers of this blog will feel the same?), so I took the time to submit some comments (see this pdf) on a few of the central sections of the report.

Kort om vetenskap och vetenskapssyn i Humanisten

För ett decennium sedan bidrog jag regelbundet till Förbundet Humanisternas tidskrifter, som t.ex. med texterna McGrath vs Dawkins (Humanisten 6/2007) och Försvaret av vetenskapen - ett tvåfrontskrig (Humanisten 1/2010). Efter ett längre uppehåll fick jag nyligen en påstötning från vännen Patrik Lindenfors: nog är det hög tid för comeback i de spalterna? Jag rullade upp skjortärmarna och knåpade ihop en text som fick rubriken Låt oss stå upp för vetenskapen - men också kräva framsynthet, där jag bjuder på en mix av klimatdebatt, forskningsetik och gammalt skvaller. Den finns nu i tryck i nyutkomna Humanisten 4/2018 - läs den här! Jag vill samtidigt passa på att tipsa om Patriks utmärkta text i samma nummer, om den kultförklarade kanadensiske psykologen Jordan Petersons budskap.

Frukost med Formas

Idag var jag uppe med tuppen, och har redan hunnit med ett frukostframträdande på Nobelmuseet i forskningsstiftelsen Formas regi om ett ämne som ligger mig varmt om hjärtat: Forskning - på gott och ont? Under ledning av Formas generaldirektör Ingrid Petersson fick en panel i vilken jag fick sällskap av filosofen Jessica Nihlén Fahlquist, Stockholms universitets rektor Astrid Söderbergh Widding och forskningsminister Helene Hellmark Knutsson hyggligt mycket sagt inom ramen för den timme vi hade på oss:

Tom Lehrer om Wernher von Braun

I fortsättningen, när någon forskarkollega säger något i stil med "Forskningens samhälleliga konsekvenser lämnar jag med varm hand åt andra att funderat över, för det är ju inte mitt bord att tänka på hur resultaten används, jag är ju bara forskare", så kommer jag att svara "All right, jag respekterar din ståndpunkt,¹ men lyssna nu till den här sången från 1965 av Tom Lehrer om den berömde tyske och senare amerikanske raketforskaren Wernher von Braun".

Fotnot

1) Strängt taget kommer detta väluppforstrade men lite mjäkiga och räddhågsna påstående att vara osant, ty sanningen är den att jag inte alls respekterar uppfattningen ifråga, utan ser ned på och avskyr den av hela mitt hjärta. Se min uppsats Vetenskap på gott och ont (eller dess engelskspråkiga översättning Science for good and science for bad) där jag motiverar och försvarar denna hårda attityd.

On the ethics of emerging technologies and future scientific advances

My essay Vetenskap på gott och ont, which I announced in a blog post in April this year, is now available in English translation: Science for good and science for bad. From the introduction:

My aim in this text is to explain and defend my viewpoint concerning the role of science in society and research ethics which permeates the ethical arguments in my recent book Here Be Dragons: Science, Technology and the Future of Humanity (Häggström, 2016). To clarify my view, I will contrast it with two more widespread points of view which I will call the academic-romantic and the economic-vulgar. These will be sketched in Section 2. In Section 3 I explain what is missing in these approaches, namely, the insight that scientific progress may not only make the world better but may also make it worse, whence we need to act with considerably more foresight than is customary today. As a concrete illustration, I will in Section 4 discuss what this might mean for a specific area of research, namely artificial intelligence. In the concluding Section 5 I return to some general considerations about what I think ought to be done.

Read the entire text here.

Man får inte skicka folk i döden

Flyktingfrågan är komplicerad, och vad som är rätt ställningstagande kan ofta vara en svår sak, i synnerhet när vi betraktar den på aggregerad nivå: siffror och politik. När vi istället går ner på individnivå och betraktar ett enskilt fall kan den plötsligt bli vändigt enkel. Jag är personligen bekant med ett sådant fall. Aftonbladet uppmärksammade igår ett annat, i en ledartext av Pernilla Ericson rubricerad Tvångsgifta Sara ska utvisas till sin ”man”. Låt mig saxa några meningar ur texten om 18-åriga Sara som kommer från Afghanistan dit man beslutat att hon skall skickas tillbaka:

Sara kommer från ett land som är ett av de absolut farligaste i världen för kvinnor. Våldsbrott mot flickor och kvinnor för att uppehålla familjens heder ses i Afghanistan som en privatsak. Den som söker hjälp hos myndigheterna efter en våldtäkt riskerar att dödas. Att giftas bort mot sin vilja är vanligt.

Sara berättar att hon giftes bort som 15-åring till en 11 år äldre släkting. Morföräldrarna utsåg maken. Enligt Sara fick hon inte fortsätta studierna när giftermålet var bestämt, och maken skrämde henne när de träffades enskilt.

– Han talade illa om min familj, slog mig, rev sönder mina kläder. Det är jobbigt att berätta det här, säger hon och hennes ögon tåras.

[...]

Hon beskriver en strapatsrik resa. Det hon berättar sedan ekar i så många hedersutsatta flickors och pojkars erfarenheter. Trycket från släkten som hårdnar, som blir till ett krav, ett hot. Vittnesmål som vi måste lyssna på. Sara beskriver hur hennes pappa började pressa henne att återvända till maken.

– Tänk på min heder, sa min pappa, och jag mådde väldigt dåligt, säger Sara.

Enligt Sara utsattes hon även för hot från sin make och hans släktingar.

– “Om vi hittar dig så dödar vi dig. Om du inte säger var du är så tar vi din syster i stället”, sa de över telefon. Min syster var bara nio år då. Min mamma och syster lever fortfarande gömda i Iran.

[...]

Migrationsverket föreslår i sitt beslut att hennes make kunde möta upp henne vid flygplatsen. “Du har uppgett att du är gift och har en make som är bosatt i din hemby. Du har inte gjort sannolikt att han utgör en hotbild mot dig. Han utgör således ett manligt nätverk för dig.”

Det här känns väldigt väldigt fel. Tillräckligt fel för att även om det skulle gå att hävda att vi har demokratiskt fattade beslut om att göra så här så är det lik förbannat moraliskt fel av de tjänstemän på Migrationsverket som "bara gör sitt jobb". Man får inte skicka folk i döden, den principen väger tyngre än eventuella riksdagsbeslut om motsatsen. Man får inte det, så enkelt är det, och den som motsäger mig på denna punkt har en moraluppfattning jag inte kan förlika mig med.

Till storms mot de akademisk-romantiska och ekonomistisk-vulgära synsätten

I oktober förra året bidrog jag till ett symposium rubricerat Vetenskaplig redlighet och oredlighet arrangerat av Kungliga Vetenskaps- och Vitterhets-Samhället i Göteborg, och ombads efteråt stöpa om mitt föredrag till skriftligt format för publicering i en samlingsvolym ägnad symposiet. Jag är nu färdig med min uppsats, vilken (liksom mitt föredrag) fick rubriken...

Vetenskap på gott och ont.

Uppsatsen kan beskrivas som ett 10-sidigt destillat av den forskaretiska ståndpunkt som präglar min bok Here Be Dragons: Science, Technology and the Future of Humanity från 2016 - en ståndpunkt som jag definierar i kontrast mot de vanligt förekommande synsätt jag valt att kalla de akademisk-romantiska och ekonomistisk-vulgära (varav jag själv bär på en dragning mot det förstnämnda, fast jag här tar avstånd från det). Om någon tycker att uppsatsen känns som en enda lång moralkaka så... javisst, lite så är det nog. Men läs den ändå!